我有家庭孩子,但是我爱上另外一个女人,我们彼此都很相爱,这个女人很在乎我,对我特别好,她想跟我在一起,她说过,就算我离婚了,就算我净身出户就算我一无所有,她也愿意跟我在一起,她说她要的只是我这个人,我现在很纠结,我很爱她,放不下她,我可以放弃家庭跟她在一起吗