отпускать мужа с ребенком туда - опасно
ехать самим всем туда - сомнительный смысл и удовольствие
пусть дедушка приедет к вам - причем как я понимаю вы готовы оплатить ему проезд и устроить с внучкой культурную программу. Причем это может быть совсем не в майские - вы можете поехать как планировали на карибы, а дедушку пригласить в др время в течение весны-лета например