复杂背景下红外视频多目标检测

 本人的视频是:夜晚城市路面的 **红外** 视频,高架桥上下各有路,路面交错穿插,有车,有行人。高架桥旁边有高楼建筑!视频不是静止的,拍摄的摄像头有时候是在旋转拍摄,旋转无规律,可向左或向右,并伴随一定的上下抖动!
 要求是:检测出所有移动目标,包括行人。
 我在做检测分析的时候,对静止的背景下目标检测没有问题,但对背景移动的情况下目标检测会出现很多误检目标,也就是错把建筑上比较亮、特征明显的地方检测成为目标。
 我采用的方法是:基于OpenCV的光流检测算法!
 请问,如何能够去除背景移动时的误检点?以及如何把弱小目标检测出来?