1、如果是只有一家，可以不搬。这种情况下扶贫都是自愿的，没人会强迫你搬迁的。但是搬迁的地方肯定生活环境好一些，或者交通便利一些，如果想要更好的生活条件，搬迁为好。

2、如果是集体搬迁，就不可以不搬，属于政府强制措施，必须搬迁。这种情况下，有的新址就不太好，这种情况下可以与政府人员协商，协商不成，可以上访，但理论上，必须搬迁。