在有土地证的别墅区内建围墙是否属于违法搭建

本人为上海市民，2009年底在江苏省苏州市昆山市石浦镇某别墅区（独立小区）购买了一幢别墅。由于邻近小区的居民经常在本别墅区内小河钓鱼，并在各别墅土地上种菜施肥（属于别墅业主土地证的范围），并有照片为证。这些当地居民把别墅区当作他们的后花园，随意出入，随意在别墅的阳台和平台上晒衣物、晒菜。更有邻近小区精神病人赤身裸体在业主临河的平台上洗澡。由于我们只是周末才去别墅，因此我们在2010年6月装修时，在土地证的范围内建了围墙，以保证自身的安全。别墅区内共18幢别墅，除一家无法联络上个，其它17幢小区居民都强调要求在各自土地证的范围内建围墙，保证安全，并共同签字，现已有数家业主建了围墙。但邻近小区有些人在当地居委会任职，他们认为别墅区虽与他们一墙之隔，但仍属于他们的后花园，他们有权在此活动，强调树是开发商种的，业主的土地就是公共绿地，甚至近日一夜间把小区内所有的花全部摘光。今年4月中旬，他们与物业公司、当地建设管理所建设监察中队和当地行政管理执法大队共同发出整改通知书，要求我们限期拆除。我们的围墙是违法建筑吗，我们该怎么办？