农民维权

我家是大理古城的，辛苦了了几年村了点钱，就盖了房子共三层，农村人对材料经验也不足在买砖的时候找了一个拉砖师傅送来砖头。现在三层已经完工封顶了，可是有一天做工师傅突然发现砖头很松软还开裂让我去看，结果我检查了第二层和第三层的墙面有一些砖头自己会风化了用手轻轻就散了，我联系了卖砖师傅他带了砖厂的老板来看现场，墙面上有一些开裂砖没使用过的也有一部分，他回去后跟我说赔付一万块钱损失给我们，可是后来我们辛苦事多年才能盖一次房子可能几代人也不能再盖房子了。现在材料出现质量问题让我们一家人很不安，决定要求厂里把房子上的砖换了，按我们咨询的建筑师傅说打了砖墙对主体和板面伤害很大，要全部拆了重新做损失在20万上下。可是砖厂老板坚持说他的砖没问题只愿意赔一万。我想请问律师我该怎么维权。