У вас был просто флирт или роман настоящий, со свиданиями, сексом, совеместным отдыхом?
просто флирт - это одно, а совместная жизнь с ребенком - это совершенно иное. Если был флирт только, то по сути ты его и не знаешь...
Ну и тот факт, что он будучи женатым с тобой крутил, а потом от жены ушел... Мне кажется, что ты тоже когда-нибудь можешь оказаться на месте его предыдущих жен.
Кроме того, надо учитывать, что за отношения у вас с отцом ребенка. Если вы в любом случае с мужем жить не хотите, не можете и это все невыносимо, тогда понятно, уходите и все, а с тем коллегой потом решите быть вместе или не быть, в любом случае на алименты мужа будете жить первое время.