Уходить надо тогда, когда понимаешь, что будущего нет с этим человеком.
Если есть перспектива потом приобрести свое жилье, то выходить на работу, отдавать ребенка бабушке, решать вопрос с жильем и перевозить ребенка к себе.
Если нет перспективы с жильем тут, то уезжать туда, где живет бабушка и там устраивать жизнь.