个人房屋买卖合同签署时未确定买方付款的具体日期，买房一直不付钱是否可以解除合同

房子为个人在村里的自建住宅，在六年前家父经村里人介绍将其卖给一老板，签署的合同为手写，签名盖指纹的两份房屋买卖合同，对方预付二十万元定金，但家父在与买方签订合同时在付款日期上未做具体签订，（当时买方在村中购置了很多地，用于建小户型楼盘售卖，加之为村里人介绍，家父故也相信了对方会很快房款两清）且在当时签署买卖协议后买方口头上应承了会在一年后房款两清，但时间一拖就是六年，其中也多次和买方沟通协商，买方也总是口头承诺会在半年或一年后房款两清，后中途家中因为突发情况急需用钱三番五次联系，买方才零零散散的挤出了10来万元交于我们用于应急，算是在预付定金内（此时买方一直在建楼中，并与家父协商由于工人在建楼时，无房屋居住，可否将该房做为工人临时住房，家父基于已和其签订房屋买卖合同，遂同意将房子做为工人临时住所），现买方资金链断裂，加之拖欠时间长达六年（房屋目前未过户，但房产证被其拿着，其理由是便于向他人推销售卖），故现在家父想将房出售他人，在与买方沟通协商过程中，其现以生病治疗为由，躲着家父，拨打其电话也是隔三差五才能打通，并称家父如想将房子转卖他人，房子出售后的所得需与其对半平分，不然将在房屋售卖他人后与家父打官司，索要违约赔偿金一千万元整。所以在这里想咨询下各位律师，该如何去处