твой вариант самый оптимальный. потому что старость заслуживает уважения как минимум.
Можно сгладить тем, что ты в воскресенье рано утром приедешь на дачу к брату (это если дачи недалеко и тебе и ребенку это будет удобно).
А вообще я бы еще вариант предложила, зверский.. Муж с дочкой - к брату веселиться, ты - к бабушке скучать. что-то подсказывает, что муж будет именно "веселиться" в этом варианте.