Приобретение земли с постройками.

Такая ситуация:
стоит сарай. половина сарая на нашем участке, половина на свободном участке.
той половиной что стоит на нашем участке пользовались мы, а та половина что на свободном участке пользовались соседи (с соседней улице).
с прошлого года мы решили приобрести свободный участок (расширить территорию). в течении года приезжали замерщики, эколог и т. д. замеряли территорию, смотрели на гнилой сарай, на заросли, в итоге спустя год мы купили этот участок.
сообщили об этом соседям что мол купили территорию собираемся сносить сарай, если есть что нужное забирайте от туда. после этого пошли замечания от них, что это земля теперь им нужна, что он на этом месте (свободном участке) собирался гараж построить.

теперь узнали что подал в суд то что мы захватили территорию.

какого ваше мнение на эту ситуацию, и есть ли чего боятся?