А вы можете к ним приезжать и оставлять ненадолго ребенка? если да, то лично для меня это был бы идеальный вариант. В принципе, общаться-то надо (ребенку с бабушкой-дедушкой, в конце концов), но вот гостей У СЕБЯ дома я совсем не люблю...
Ну а вообще, интересно, чем они мотивируют свое нежелание ездить к вам.