用python或者matlab如何实现梦幻西游端游不同地图场景的坐标匹配?

现在用的是matlab中
import Java.awt.Robot
实现移动鼠标到屏幕固定坐标。
但是玩游戏的时候会有很多地图场景,坐标系和刻度都不相同,怎么办?
最近突然想看看十几年前玩的游戏,想用直接调用鼠标键盘的程序试试做固定任务。

这个需要对屏幕画面进行识别,找到你需要的场景坐标,试试看cnn神经网络,需要一些截图,你手工标注下,让机器学习