375万元买一套住房，在签订买房协议并支付20万元定金后，了解到这套房屋竟是“凶宅”，可以要求解除合同吗？

问法网律师您好，2018年3月初，家在北京东城的潘先生在房屋中介公司的推介下，与徐先生签订了房地产买卖居间协议，约定潘先生以375万元的价格购买徐先生名下的一套住房。签约后，潘先生支付了20万元定金。几天后，潘先生再次查看所购房屋时，从邻居处了解到，十多年前曾有人在这套房屋内自缢死亡。潘先生大为惊讶，就委托律师进行调查。律师调查的结果显示，2000年4月，一名户籍在该房屋内的女性因“自缢”报死亡。同时，2018年1月，该房屋因存在敲承重墙及卫生间改造的行为被小区物业公司发出过《违章建筑整改通知书》，现潘先生以所购房屋为“凶宅”且对方擅自改动房屋结构为由，向东城区法院起诉，要求撤销房地产买卖居间协议、单倍返还定金。可以吗？