加盟一米线店后,感觉受欺骗,如何退加盟费?

我在2012年10月份加盟了一家摆地摊方式的米线店,花了8000元加盟费,但是不交怎么做这个米线,还需要第二次投资去买他做米线的大料(秘方),其他什么都不管,只管交钱拿料。当时他说的是永久加盟,说如果他们总店不摆地摊了,我们也可以跟着开店面且不用第二交次加盟费,这听着挺好的,当时问有没有合同,也说没有合同,就打了个条,但是就在2013年1月6是我去找他批发原料,他说漏嘴了,他说交8000块钱只管加盟2年,如果两年后到期了,如果两年后加盟费涨到2万了,那么到时候就必须再交2万才可以再续两年,反正两年交一次加盟费,我当时很气愤,我问他为什么当初加盟时不告诉我这些约束性要求,他竟然耍赖说当时我交8000元时,他让我看过合同,并给我说过这件事!并说你有没有录音,你凭什么说我没让你看合同,没给你说这件事。我现在只想把我8000元加盟费要过来,请问我该怎么办,他的行为属于诈骗行为吗?