Ну раз ребенок маленький, да еще и ипотека, то конечно ругаться нет смысла, а вообще многие мои "старые" знакомые мужчины периодически хотят "взбодриться" это совершенно не значит, что они не любят жену и детей и тем более хотят развода, просто такая у них природа ))
Я бы ничего не делала, хоть и сложно в такой ситуации молчать, может наоборот уделяй ему побольше времени, ласки, побалуй даже, чтоб знал, что дома все равно лучше )))