Категорически бы не отдавала. При этом вероятно в опеку подать какое-то письмо, что отец забирает детей и оставляет их в опасности. Если просто не давать, он наверняка будет орать, что у него есть право. У вас установлено по суду время на общение отца с детьми? Если да, то тут ты его права конечно попираешь, если не отдаешь. Поэтому скорее всего надо сначала обратиться в опеку. А может и не в опеку... вот тут даже не знаю, юристы наверное тебе подскажут.
Если он будет настаивать на общении, то я бы поехала следом, когда увидела бы, что они гуляют одни, посадила бы их в машину и увезла. И посмотрела бы, как быстро их хватится бабушка и как будет себя чувствовать. Хотя конечно это жестоко.... Но у меня было бы столько возмущения, что я бы всеми способами старалась защитить своих детей.