迁坟纠纷

2004年母亲去世葬在异地河北农村。因亲生父亲去世，母亲外出打工经人介绍在河北农村后组家庭，没有婚礼没有结婚证，只是单纯的带着我和弟弟住进了人家，后又为男方生育一儿一女，共同生活几年夫妻感情一般，母亲为了我们上学方便带着我们四个孩子在镇里租房子，男方打工极少回家也很少拿给母亲钱，生活拮据，无奈之下母亲在家里养獭兔整点小钱却也不够贴补家里费用，母亲从120多斤瘦到90多斤。2003年我和弟弟回到老家黑龙江生活，2003年夏天到2004年10月份期间母亲依旧生活在河北。也是仅仅一年多的时间不知道母亲了什么，致使服用老鼠药身亡。我们赶到河北时见到的是已经看不出模样的母亲的尸体，经过协商母亲暂时葬在河北，我和弟弟成年后由河北迁坟至黑龙江老家与我的亲生父亲合葬。现在的问题是河北男方不遵守承诺不让我们迁坟，我是否有权利迁坟。