Ну можешь звать его родителей к вам в гости - пусть общаются с ребенком у вас. Они-то в общем не должны страдать от ваших взаимоотношений.
Но думай, на что он может пойти. У меня подруга так отказывалась отдавать дочь мужу, чтоб он общался с ней у своей девицы, к которой ушел из семьи. Теперь в итоге муж не дает разрешение на вывоз ребенка в отместку... Так что думай сама, как тебе будет проще.