да уж, сложно тут советовать.
ты спрашиваешь:
"С чего начать? Как начать строить отношения заново? При условии, что живём не вместе, видимся пару раз в неделю."

прежде всего было бы хорошо, если ты для мужа стала источником положительных эмоций, а не отрицательных.

во-вторых, было бы еще лучше, раз муж такой пассивный в плане смены работы, сделать такой шаг первой, а именно самой найти такую работу, которая позволит снять жилье и позвать туда его.

да, это вглядит так как будто ты мужик, а он баба, но ведь это тебе надо вас снова объединить? его похоже и так все устраивает. а если даже и не устраивает, у него недостает энергии на решительные поступки. так и будет тихо сидеть на попе, если ты ничего не сделаешь.

вот так мне видится со стороны. но конечно могу ошибаться, ибо это не та ситуация, когда со стороны виднее...