Думаю, дело не в том, что он ведомый, иначе кто бы помешал тебе его вести за собой? Скорее всего он понимает, что ты от него зависишь гораздо больше, чем он от тебя, поэтому сам диктует свои условия. На словах говорит одно, чтобы мозг не выносила, но поступает по-другому, как ему самому удобнее.
Не пустить в общий дом нельзя. Но сказать "Не ходи больше туда" вполне. Если все же пойдет в гости, то отселяешься от него в другую комнату/на диван (сама отселяешься, а не его выгоняешь, это важно). В остальном создаешь максимальную дистанцию - никаких обвинений, объяснений, обсуждений бытовухи, формальной вежливости и т.п., никакого обслуживания типа постирать, погладить, накормить - сам не мальчик, справится. В общем, не то, чтобы игнор, но везде, где можно промолчать - молчишь, а вместо обслуживания его занимаешься собой и детьми, активно. Ну и хорошо бы снизить свою зависимость от его денег, найти способ самой себе обеспечивать хоть минимальный уровень.. Если выдержишь, думаю, он довольно быстро согласится на твои условия. Только важно сразу определить достаточный для твоего спокойствия минимум, и только такое требование и предъявлять, не больше. Условно, если хватит, чтобы "ходил в гости не чаще раза в неделю и приходил не позже 2 часов ночи", то ограничиваешься им, а если важно, чтобы "вообще не ходил в гости к этим людям", то им, и никаких поблажек..