Лишить отца родительский прав. Делается через суд. Моя подруга так поступила в аналогичной ситуации. Но только и алиментов тоже от него не будет, никаких.
А вообще не факт, что доверенность попросят и вроде бы это не законно даже, на мамском форуме такие темы неоднократно поднимались.