摄像头监控 写字这个过程

小弟需要写一个图像处理算法,摄像头拍着书桌,监控我什么时候在写字什么时候不在写字。有什么好的方法呢,摄像头不动,但是背景会变,书本会移动

这个需要涉及到图像识别技术,估计很难实现,可以从笔入手,从报像头里判断笔的角度来判断是否在写字还是偷懒了