Можно отказаться от сделки покупки дома и не платить неустойку?

Здравствуйте. Покупаю дом по материнскому капиталу и продавец тоже по материнскому капиталу. Сказали, что нужно две сделки проводить одновременно, поскольку дети.

Вот был подписан договор у моего продавца с другими людьми на покупку. И потом меня ставят перед фактом, что их договор подписан, надо и мне.

Могу ли я отказаться от этой сделки и не выплачивать неустойку? Поскольку они все сделали, не предупредив меня. И ещё угрожают, мол, мы хотели по хорошему, что меня замучают вопросами, почему сорвали сделку. А я отказываюсь от нее, потому что они задерживали почти три месяца и была словесная договоренность, что вместе будем подписывать.

И говорят, я мешаю покупать моему продавцу дом взамен этого. В замен это, потому что там тоже двое детей. Вопрос, надо ли мне платить неустойку и что мне делать? Отказаться я могу, но нужно ли платить неустойку?

Александра