А он ничем его не напугал? Голос не повысил?
Или просто ему не не нравиться когда папа его обнимает. Пусть общается как со взрослым.