孩子不到三岁时男方出轨我们分开生活了,孩子一直跟着我生活一直到六岁。期间他也没怎么管过看过,后来他要求办理离婚手续,我们协议离婚,孩子抚养权归他,但是想着孩子可怜,突然换环境的话,对孩子影响很大所以协议离婚之后,孩子还是跟着我生活和上学。去年七月份因为他和我之前的一个朋友在一起了我们吵了几句,他跑到我们家要给孩子拽走,孩子不走他就威胁和对我们家人动手,而且带走孩子转了学校。现在孩子七岁,我经常过去探望孩子,每次都看到孩子穿的又脏又臭,而且也问了老师说孩子从以前的学习很好,到后来的退步特别大,孩子上学的地方也很远每天都是早上起得很早,坐车到学校晚上去接。看到这一切我非常心疼,孩子哭着说,还想跟我在一起生活,而且我也跟他商量,让孩子过来我这边上学,他不同意。还有听孩子说他要去别的地方打工,准备给孩子再转一个学校。我现在非常非常心疼孩子,感觉这样非常影响孩子的成长和学习。而且现在他从来不会因为孩子的事跟我商量,我现在该怎么办?如果我想要回孩子的抚养权,该怎么办?能有多大的几率?