之前男方本来同意离婚,并且互相协商,手写一份离婚协议,双方都签字,按了手印,后来男方家人挑唆并指使男方反悔,现在男方不同意离婚了,非要剥夺孩子的抚养权,又以种种理由为难女方,请问之前我们手写的协议是否有法律效应,如果我起诉,会不会按先前的协议离婚。