Собственник квартиры в любом случае имеет ключи и теоретически может зайти в квартиру, когда вас нет.
Поставьте задвижку, чтобы можно было закрыть дверь изнутри. Будет ломиться в пьяном виде, пригрозите, что милицию вызовете, или вызывайте ее реально. То, что он собственник, еще не означает, что он может в пьяном виде ломится к вам в любое время суток. Ну и договор аренды должен быть в порядке (не истекший), чтобы к вам претензий не было.
Ну а мирное решение вопроса возможно только в случае переезда.