Проблемы при покупке участка

Договорились о покупке участка через агентство. всей суммы на руках не было, поэтому подписали договор купли-продажи с рассрочкой: в течении определенного времени мы должны передать остаток суммы. в договоре, что мы подписали, был пункт о том, что продавец гарантирует, что за участком нет судебных тяжб и т. п., и что сообщил нам все. сейчас выяснилось, что до нас владелец продавал этот участок без агентства, подписал договор предварительной продажи, взял задаток. покупатель ввез свой кирпич на участок, спилил деревья (нам было сказано, что кирпич принадлежит другу нашего продавца, и его уберут, соседи нам сообщили, что участок куплен, но продавец соврал, якобы это был его родственник и он отказался). первый покупатель тогда почему-то отказался совершать покупку, брать задаток и неустойку тоже отказался. уже после того, как мы с продавцом подписали договор, первый покупатель подал в суд, участок арестован. продавец сказал нам, что 100% выиграет дело. мы, в принципе, можем забрать те деньги, что передали продавцу (есть расписки, и в договоре указано, что при нарушении условий деньги возвращаются нам), но не хочется отказываться от участка. судиться с другим претендентом в будущем тоже нет желания. посоветуйте, что делать? я в шоке просто от этой ситуации.