“房屋土地所有权归属咨询”

2006年在农村做了房子，当时房基土地的使用权是我小爷爷家的，因为关系好，所以就在他们的土地上面盖了房子（当时因为关系好只是口头协商这屋基就给我家了，我们家拿另一块土地跟他们换，未做书面协议，他们承诺后期还把屋后面的土地分一部换给我们家，）然后我家帮他们家盖房子出了人力，过了几年，小爷爷因病去世，在患病期间，我们家不太好跟他们提这屋基的事情，一直就没提，一直过了十多年，我们家一直在那一块除了屋基，什么土地都没有，没有厨房、没有菜园子，包括上厕所都用别人家的厕所，期间也跟他们提过，换地 或者从他们手中购买这块土地的使用权，他们一直不同意，所以一直没换成功，今年，因为一直没有厨房，做饭不方便，故此在房屋的后面属于我们家的部分做了一间厨房，但是因为后面的场地有限，做的厨房以后，就显得他们家的后面就比较小了，但没有占用他们那边的地，（农村的房屋情况您那边应该也知道），我们家的房屋2018年的时候办理了产权证，大致情况是这样的，而且我们家在这栋房子生活了十几年了，周围的邻居都知道我们家的情况，我想咨询下，如果因为这事发生了法律纠纷，这属于什么行为，我们这样做可有什么不妥，同时我这边应该如何处理这起事件？ 如果还有其他的需要了解的情况可以再问我 希望能得到您的解惑，谢谢！