我老公1个前女同事(有男朋友的),老是趁我不在家的时候跑来我家找我老公玩,被我发现过几次,前几天来又被我发现了,然后我和我老公大吵了一架,后来我老公也跟我道歉了,说没做对不起我的事情,以后再不也跟别的女的搞暧昧了,并把那个女的联系方式给删了,但是现在我一想起他们2个曾经孤男寡女在一个房间内,单独相处了那么多次,就觉得心里还是放不下这个事情......老是这样纠结自己也很痛苦,我该怎么办?老公说是我的思想太阴暗了......