Так и сказать, дорогой, а понимаю что ты обижен, но из-за этого ты лишаешь детей не только деда, но и любимой бабушки.
А в целом я бы тоже на причину ориентировалась, если по-твоему это ерунда - просто ласково поговорила бы с мужем и объяснила свою точку зрения.