我老公总嫌弃我们结婚的时候娘家没出钱,现在对我很吝啬,不给我钱花管他要他还不给,觉得我有工作有工资其实我娘家有给我钱只是没在他手里,他还想我们一起赚钱养家,所以现在我过的反而没婚前好,我是否该考虑离婚呢?