我这边想爬取大型的电商平台，遇到了几个问题
1，他们的数据是ajax的，还是动态加载的。使用scrapy我如何爬取这种动态数据？除了selenium和splash这两种还有其他的吗？
2，他们数据位置都是随机变动的，没有规律，我无法使用xpath或者css选择器来在每个网页进行定位，这个只能将网页数据保存下来然后解析吗？但是里面网页本身会有空的值，使用正则解析的数值不对。这个如何处理啊
3，如果只是针对他们的页面的信息，是否会涉及到js逆向的问题？
4，最后有个问题怎么来记录日志文件啊？比如说，我只想将报错信息存入到我的日志文件，方便来观察
你是否听说过有一种东西叫做反爬虫？