我和我男友在一起4个月了,他长的不怎么样,别人说我和他不配,1个月前我把他带回家了,家人也不同意,也是因为他长的丑,我也觉得,可是他对我很好很好,我舍不得离开他,开始别人说他丑我并不在意,可是人说的多了,我心里就发毛了,现在该怎么办?