想在mi.aliyun.com抓域名列表
F12找到异步加载数据的地址:
https://domainapi.aliyun.com/onsale/search?fetchSearchTotal=true&token=tdomain-aliyun-com:F5xVzdlo8JooVbanZRVdX8JqWFH9nanp¤tPage=1&pageSize=50&searchIntro=false&keywordAsPrefix=false&keywordAsSuffix=false&exKeywordAsPrefix=false&exKeywordAsSuffix=false&exKeywordAsPrefix2=false&exKeywordAsSuffix2=false&callback=jQuery1113015312080506485137_1601455959187&_=1601455959188
但是用浏览器访问时却得不到内容,用postman也一样。而且没有找到其他地址去传递jQuery后面的参数。
下面另一个地址也是一样的,如图,preview里内容和浏览器打开不一样,而且这个地址还没有变量。
我该如何抓取网页上的域名列表呢?
我的问题跟你一样,我爬取的是基金净值数据,也遇到这种问题
https://www.cnblogs.com/shengulong/p/8795493.html