双目视频视差图变化剧烈

我对双目视频每一帧图像做视差图，但发现每一帧视差图之间变化剧烈，同一位置不动的物体视差值也会发生变化，什么情况？？？