离婚时孩子判给女方但女方未尽抚养义务，男方可以要回抚养权吗？

情况如下,本人于己于08年10月与妻子结婚.婚后得一子(半周岁).由于各方面原因导致双方感情破裂.其实大家都已同意离婚.只是女方现提出儿子归她,每月20%工资的抚养费,另外还要我给10万元赔偿. 其实女方已一个多月没有在家,现时儿子也是由我母亲代照顾.(其实女方在的时候,儿子也是多数由我母亲照顾)一星期会来探儿子一两次,但每次不超过20分钟. 我想请问一下,如果我想提出单方面离婚.请需要做哪些申请?另外女方所提出的10万元赔偿(或其它赔偿)我真的需要付吗？本人的婚后财产并不多,也根本支付不了她所说的赔偿费用.扶养权是否会判给女方?问题较多,但真的希望能够得到实际的答复,谢谢!!