二手房买卖履行合同中，买方在卖方不知情的情况下，私自霸占了并未过户的房屋。我是卖方，我该怎么做？

本人作为卖方在9月1日签订了房屋买卖合同，当日晚收到定金五万元整。按照合同对方应7日内将首付款打到我的账户，但在我多次催促下对方于9月19日才将70万元整打入我账户（合同约定首付款为90万元，但对方解释说没想到房子能够多贷出20万，就首付款少给一些。再三纠缠下，我只好妥协，帮卖方办理了后续的贷款，做了银行面签）。贷款审批下来是9月24号，因为有事要处理，我说过两天再办理后续手续。9月28日晚，我回房子拿东西，刚一进院里就愣住了，我家居然开着灯！（房子之前有租客，但租客15日就已经交接完毕，钥匙都在我手上）我快步跑到家门前，发现买方拖家带口的住了进来，还买了床、柜子等家居用品。而我完全不知他们怎么进来的，惊呆了！！！（买方说门是开着的，呵呵了）出于个人安全着想，我表示他们可以暂住一晚，但明天必须全部搬出我家，任何事情白天商量。过了两三天，对方没有主动联系我，我只好再次去家中看看，却发现此时家中的防盗门锁被换了！！！我气愤的联系中介，中介说也不知是怎么回事，我只好报了警，警察说现在房屋处于买卖中，无法断定此时性质。事情发展至此，住了十多年的房子被这样抢劫式的入住，我心里实在不是个滋味。10月4号我再次和中介联系，表示终止合同，把收到的款项退给他家。正在和中介协商的过程中，10月13号下午我收到仲裁委打来的电话，说买家将我告到仲裁委，让我去拿材料。以上就是事情发生的全部过程。走到这一步我无论如何都不想把房子卖给这家土匪了，但我咨询了一些相关人士，说这样我更吃亏，因为他们破门而入不算根本性违约，而我不将房子过户给他家就算是根本性违约，需要赔付大额违约金。根据我家现在这个情况，违约金的赔付会酌情考虑吗，大概会是多少？（合同上面写的是违约方承担总房价的10%，我家房子总价为150万元）我家在卖房过程中十分配合买家，首付款过了19天还少了20万打过来（此时房价疯涨）都十分配合的做了面签。不知这些小依据，是否对我家有利，还是说因为我接受了他家这些请求，而不算做前期积极配合履行合同的依据。@徐斌律师见闻徐大师专业性极强，所以劳驾帮忙回答！万分感谢！