Конечно, его просто-напрсто устраивает такое положение вещей, плюс идти некуда. Общение (а может и секс) до сих пор не прекратилось. Тут вы сами должны решить, хотите с этим мириться или нет. Если нет, то выгоняйте его. Совершенно понятно, что после того раза он ничего не прекратил и это будет продолжаться. Если хотите так и дальше, то молчите и живите как есть. Понимаю, что двое детей, и наверняка вы не работаете. Но все будет, работу найдете, детей по садикам-школам, да и родители у вас рядом.