Не имеет значения. Больно не от "куда", а от "почему". Если уходит, то значит считает, что без тебя ему будет лучше, чем с тобой, больно ведь именно от этого.