Вот ревность - да, это проблема и это на мой взгляд как раз страшно. Вы пишете "попало пару раз мне". Попало - это как, бил что ли?

Вот в этом случае я бы конечно думала о разводе.