我今年27岁找对象一直高不成低不就,直到去年年底偶尔结识了一位已经离异的女人,比我大三岁。我们交往了,但是正如这个社会伦理道德还有家庭的因素带来的阻碍,我觉得我和她如果真的在一起,两人都将背负沉重的压力。我深深的爱着她,而她离婚的原因也是因为男方犯了不可饶恕的错误。她说她不想再婚了,而不久前我才知道她其实有个男友,但很少见面。我该怎么办?