Дааа, ситуация....
Я бы к нему шла на разговор, как Лолита написала.. Не угрозы, а объяснить, что давайте жить как жили...
А к жене идти, имхо...смысл какой?
Встаем на место жены - здрасьте, я Люся, видела вашего с глашей в леруа... Иии?
Скорее всего, он огласки в компании больше боится, что начнутся разговоры, что пользуется положением, двигает ..вот по этому поводу и говорила бы с ним, что тебе все равно