По-моему, надо брать. Потихоньку-потихоньку адаптируешь его, а тебе, действительно, полегче будет дома. И ребенку активность-общение, и тебе 5 минут на передышку. Если сад хороший, всё хорошо у вас будет, он не младенец уже, хотя, конечно, дети до старости маленькие %)
Грудничка, конечно, немного жалко, но он защищен маминым иммунитетом (говорят, ибо мой болеет все разы вместе с сестрой - но переносит легче, факт), да и старший всё же не обязательно будет постоянно болеть. Не все болеют много. Главное как-то правильно обыграть мысль, что младший ребенок и сад никак не связаны.