使用httpwebrequest获取的百度搜索结果,与手动搜索显示的页面不一致,有时候差别很大两个页面几乎没有相同的内容,这是怎么回事?
例如:在程序中使用(HttpWebRequest)WebRequest.Create("http://m.baidu.com/?wd=北京最有名的小吃"),获取到的搜索结果和在地址栏直接输入http://m.baidu.com/?wd=北京最有名的小吃,获取的页面差别较大。
这是什么原因造成的,有好的解决方案吗?
用fiddler比较下你的请求和浏览器的请求有什么不同
一个可能性是百度发现你不是浏览器的请求 返回的结果做了处理 一般百度等应该都有防爬虫处理
URL中的中文部分没转码。用fiddle比较下,就很清楚了哦。