我这边想爬取大型的电商平台，遇到了几个问题
1，他们的数据是ajax的，还是动态加载的。使用scrapy我如何爬取这种动态数据？除了selenium和splash这两种还有其他的吗？
2，他们数据位置都是随机变动的，没有规律，我无法使用xpath或者css选择器来在每个网页进行定位，这个只能将网页数据保存下来然后解析吗？但是里面网页本身会有空的值，使用正则解析的数值不对。这个如何处理啊
3，如果只是针对他们的页面的信息，是否会涉及到js逆向的问题？
4，最后有个问题怎么来记录日志文件啊？比如说，我只想将报错信息存入到我的日志文件，方便来观察
1，没用过scrapy，接触过，感觉不适合中小型项目，东西冗杂不方便。 除了selenium 还有requests 也就是最简单的https请求
2.进阶的爬虫一般都不用xpath 或者 css 如您所说的，很多都找不到，你也提到有很多数据都是ajax加载的，那么用按f12去看具体的请求网址比较效率。其实selenium也有一个这个功能，可以获取所有的ajax 但是比较冷门，具体可以看我 github上的项目 1688爬虫 resphinaa作者，你也可以百度查一下，我当时查了好几天才解决。
3，一般页面可以看到的，都能用selenium解决，所以没必要js。除非你一定要非selenium解决，一般可以通过栈逆推找到相关的值，在通过nodejs等进行解密，然后做个接口。
4.自己造....或者 有一个叫做logging的库你可以看看Python内置库，实现了事件日志系统的函数与类；loguru，第三方库，轻松记日志，一个函数搞定。