отпустила бы
вторая бабушка, как умеет пытается выстроить общение с внучкой, я считаю, чем больше людей любят ребенка и занимаются им тем лучше. в твоей квартире им возможно некомфортно, чувствуют себя не дома, квартира же твоя кажется, т.е. их сын живет у тебя.
мои родители с 2х лет забирают сына летом в деревню на 2-3 месяца, а весь год практичеки его не видят, они живут за 1600 км
пусть муж с дочкой поедет в пятницу и посмотрит. как ребенок себя там чувствует, если нормально, оставит пусть на неделю

вот у тебя сын родится и твоя невестка по каким -либо причинам будет тебя оттодвигать, ну тяжело ж будет. конечно, мы все сейчас скажем, что будем золотыми свекровями, а не такой, как моя и меня будут любить, но по факту я думаю ребенок будет копировать поведение родителей и если твои дети видят, что можно не общаться с мамой, то и тебя тоже смогут отодвинуть