Если муж принципиально не против, давайте твою!
Если ребёнок подрастёт и ситуация изменится или он почувствует такое желание, он всегда сможет поменять на фамилию отца. А пока маленький, пусть будет попроще ребёнку.
У меня фамилия матери была (у отца еврейская, его тоже бывало тыкали, хотя он не с еврейскими, а с польскими корнями). Папа сам предложил... Я хотела потом поменять, но решила что всё равно замуж выйду))))
У подруги была фамилия Мартышкина.. и внешность ну... похожа) Как в садик отдали, послушали родители... так и поменяли на мамину. Все счастливы)
У другой родители, когда в Россию приехали, поменяли окончание с ян на ов :).
ИМХО, если в фамилии нет какой-то особенной цености, то пусть она лучше будет нейтральной. Кому нужны лишние сложности?