我父母和我均为农村户口,想用爷爷留下的老宅翻建新房。我父亲共兄弟三人,另外两个为城市户口,常年居住在外。老宅为四间小瓦房共91平方。爷爷在世时分家,兄弟三人各分得一间住房(26平方)。现在我已结婚,居住面积过于狭小,房屋也很破旧。想把老宅推翻盖新房。我父亲和兄弟协商,可他们坚绝不答应我家盖房,原因是他们继承老宅一间住房。不知此事怎么处理呢?