加盟合同能约定在什么情况下都不退加盟费吗?

一个不怎么样的小物流公司,在签订合同前说他的物流业务在我所在地挺多,但是实际签订合同后业务量很少很少,收了我一万元加盟费和一万元的押金,合同的条款约定任何情况下加盟费都不退还。合同约定合作的条件是双方都是独立法人资格的经营实体,具有独立法人的财务手续。当初签订时我告知他我不是合作的条件,他说没事能签。第四十一章三十三条约定本合同经双方法人代表或授权代表签字并加盖公章生效。我是以个人身份签的字。第十二章的声明和保证的第四十一条,乙方为依法设立并合法续存的企业或具有没事责任的个人,有权签署并有能力履行合同。我是乙方,签署日期是2012年1月14日。有效期为一年。在合同期内由于货量少的问题一直和他交涉,有时给他打电话故意不接,或以种种原因推脱,一年送到我这里的货每次都很少,送货总次数二十多次。到了年终也不和我结账,多次找见他,他总说他到我这里结账,每次承诺每次失言。一拖再拖,拖到现在,现今把我的手机号设置了黑名单,我打他电话已无用。合同约定可以续约的,但是如今我感觉他就是以签合同加盟为手段,骗取加盟费为目,骗取加盟费。签订的合同现在在他的一拖再拖,已过了时效。我怎样能使他退回我的加盟费?谢谢