关于解决自动化操作中无法对软件下拉菜单数据获取及点击的问题！

问题遇到的现象和发生背景

是一个CS架构的电商软件，有部分工作是重复的，需要不断的点选菜单，分类等等。

所以想开发一个软件，自动点选分类，自动保存。

目前用autoit结合python的pyautogui联合开发。

问题相关代码，请勿粘贴截图

运行结果及报错内容

主要问题是：
1.菜单是内嵌动态获取的，用autoit等定位元素没办法获取数据。
2.尝试过用图像识别定位，点击，但是每个图像识别准确性有限，而且位置不精确，误差率高。
3.无法判断是否点击正确。

我的解答思路和尝试过的方法

我只能想到图像识别的方式。但是效果差。出现的问题如上。
不知道各位，还有没有什么方法及方式，获取用其他软件科实现。

我想要达到的结果

1.获取菜单数据。
2.精确点击指定的菜单内容。

你看看有没有生成frame框架，有的话要先转入到对应的frame框架下面switch_to.frame(id)，不然找不到的，QQ邮箱就有这样的反机器手段，不转入对应框架就找不到元素

多个图像的识别叠加在一起，
或者对于鼠标的位置进行判断，按和屏幕大小比例判断或者是单纯的数值判断

可以查一下图像文字识别的库内嵌到你脚本中。

看你的截图，是用autoit和pyautogui自动化操作手机模拟器是吗？如果操作是重复的，那为啥不直接定位像素呢

电商软件是用什么框架写的？如果是.Net的话会很容易，直接用.Net UIAutomation框架绝对可以办到你想做的。
如果其他语言，也可以用UIAutomation做下尝试。
这里有一个UIA的demo可以做下参考，用来获取QQ的好友数据
https://blog.csdn.net/sxc176/article/details/86701977

https://blog.csdn.net/zai_xia/article/details/80003778

可以结合图像特点，开发出专门识别你的图片的模型

【TW自动化测试下拉框遇到的问题及解决方法 - 51Testing软件测试网-软件测试人的精神家园】http://www.51testing.com/mobile/view.php?itemid=3718765
看能不能解决，建议多利用搜索引擎

直接去获取后台接口应该更容易些
https://www.cnblogs.com/ybf-yyj/p/7351493.html
你看看这个对你有帮助否

来学习+1