Ты же пишешь "Он успокаивается, как только за мной закрывается дверь". Значит плачет и истерит он только когда его туда отводишь, так? Это нормально, даже взрослому человеку грустно расставаться бывает, а уж ребенку подавно.
Мне кажется, ходить стоит. Я пришла к выводу, что эта адаптация - она не для детей нужна. Дети все равно за лето половину забудут и придется снова адаптироваться. Адаптация для родителей! Помогает понять. что сад - это не какое-то ужасное место. там ребенку вполне хорошо и нормально. И помогает не сильно нервничать, когда на следующий год будешь отводить ребенка в сад. А если ты будешь спокойно на все это реагировать, то и ребенок будет спокойнее - это я про следующий год. А если ты будешь в раздевалке вместе с ним рыдать и нервничать - то и ребенок это почувствует и в сад не захочет, будет думать "мама переживает, значит это плохое место и со мной там может случится что-то плохое".