离婚后，孩子抚养权归男方，后男方不尽抚养义务，女方怎么维权？

我是一名女公务员,十七年前和丈夫离婚,当地法庭判决我是净身出户,四岁的女孩子归男方,我不负担一切费用。后来历经坎坷我终于找到了现在的丈夫,我们艰辛起家,如今过的很好,属于中等家庭,这时候前夫见我们日子好起来,决定不供我女儿读书和一切费用,这期间前夫再婚又生一女孩如今10岁,女方没工作,我见女儿哭的厉害,在电话对我说妈妈我爸爸不要我了。我只好和爱人商量把我的女儿的经济负担承担起来。但是男方还不想放弃我女儿的监护权,说白了,或者用我自己女儿的话说他们还不想为她花钱,还预想女儿今后兴许能出息了,他们好借光什么的,女儿如今大三。读的是对外学院,每年的学费2,3万,生活费大概是每月2千,加一起大概一年女儿的开销得5万。我如今的丈夫没说什么,但是不甘心也时刻在表现出来,但他最终还是很理解我,和我共同承担女儿的费用。我想如果打官司,会对女儿影响很大,她夹在中间会受伤害,如果不打官司,我还气不过,很纠结。请律师朋友在百忙之中,为我出良策。谢谢各位。