Мне кажется, тебе надо в контексте культпоходов первую очередь разобраться не с проблемой "не могу отказать людям", а с другим -что ты считаешь, что ты как мать должна ребенка "окультуривать" Если бы ты для себя четко знала, что "нет, мне это не нужно", то проблемы отказать знакомым бы не было.
А с первым пунктом - да, досуг в разумных пределах нужен, конечно. Это и расширение кругозора, и подходящие ситуация для тренировки правил поведения и прочее. Просто надо подбирать досуг с умом и не требовать от ребенка невозможного для его возраста. Но отрицательный опыт - тоже опыт. Иногда можно рискнуть и пойти туда, где по твоему мнению сыну будет не очень интересно - а по факту окажется, что ребенка что-то заинтересует и он увлечется!
Думаю, что не надо сильно рефлексировать на тему неудачных ваших вылазок, все равно ребенок так или иначе получил опыт, а ты сделала выводы. И это в любом случае ценно.