写了一个客户端软件向某个网站页面发起查询请求并获取返回的JSON数据,函数代码如下:
public string doGetRequest(string cookie, string url)
{
Uri uri = new Uri(url);
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
request.Method = "GET";
request.AllowAutoRedirect = false;
request.Accept = "application/json";
request.ContentType = "application/x-www-form-urlencoded";
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0";
if (cookie.Length > 0)
{
request.Headers.Add("Cookie", cookie);
}
HttpWebResponse response;
try
{
response = (HttpWebResponse)request.GetResponse();
}
catch (WebException ex)
{
response = (HttpWebResponse)ex.Response;
StreamReader sr = new StreamReader(response.GetResponseStream());
MessageBox.Show(sr.ReadToEnd());
}
if (response.StatusCode != HttpStatusCode.OK)
{
MessageBox.Show("服务器返回请求错误!");
return "";
}
string encoding = response.ContentEncoding;
if (encoding == null || encoding.Length < 1)
{
encoding = "UTF-8"; //默认编码
}
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(encoding));
string result = reader.ReadToEnd();
//释放资源
response.Close();
reader.Close();
return result;
}
调用该函数时传入事先获取的cookie和请求url,url的值如下(网站域名用*省略):
http://*********/tcatsds/tcaTsdApprover/searchAllTcatsd?APPLYNO=P20190098290
可是程序总是报错,说GetResponse返回502错误,查看返回的详细信息如下:
从返回的详细信息上看是无权访问该页面,但是我如果在浏览器中直接输入该url,是能看到返回的JSON数据的,实在想不通为什么,哪位大神能指导一下该怎么办?
和fiddler或者浏览器抓包的数据精确对比,特别是你的cookie,你说是“事先获取”,这个就不对,你看下你浏览器访问这个网站,把浏览器关掉再开,这个cookie会变化么?
如果会变化,说明你必须通过访问网站返回的set-cookie设置你的cookie,而不能固定不变。特别需要登录的网站。
搞明白了,问题不是出在Cookie上,是因为服务器返回的Encoding为gzip,而我的请求Header中没有设置这个Accept-Encoding为gzip,导致无法获取数据。
caozhy 提到的Cookie也是一种可能,不过对于我这个案例不是,但是你提到用fiddler抓包分析还是很有用的,写这类软件的时候还是得多用用这个工具才能搞清楚问题出在哪儿
使用HttpWebRequest重点要关注以下几个标头字段,供其它人参考:
Method
Accept
Accept-Encoding
UserAgent
Cookie
如果确认这几个字段设置没问题,那么就借助于fiddler软件去抓包分析吧,跟浏览器访问时的数据包对比,总能找出原因来