Как защититься от второго собственника?

Не впускать в квартиру второго собственника я не могу, а он регулярно приводит сюда сомнительных людей, которые применяют физ. силу (не до побоев, но начинают толкать, хамить). уходят до приезда полиции. второй собственник здесь и не проживает, но такими действиями просто морально давит. полиция беседует с ним, но он все равно делает свое. уже стали эти люди собственника угрожать, но доказать это не могу. пока суд все решит, пройдет время, а за это время уже неизвестно, что будет. как мне защититься? есть ли возможность ограничить второго собственника от прихода в эту квартиру?