离婚协议:女儿归女方,儿子归男方,但是2个孩子都由女方在抚养,男方未支付一分钱抚养费,并且之前协商房子租出去的房租钱,还有液化气店铺的营业额作为孩子的学费和生活费,但是男方父亲一直故意收走液化气店铺的营业额,女方只有暑假和过年的时候回去收过一次,其他每月营业额都被其父亲收走。现在,男方已经与另一个女人有了一个儿子,并且常年未来看望孩子,可以要回儿子的抚养权吗?