HttpWebRequest用GET方式请求数据时,总是提示无权访问该页面

写了一个客户端软件向某个网站页面发起查询请求并获取返回的JSON数据,函数代码如下:

public string doGetRequest(string cookie, string url)
        {
            Uri uri = new Uri(url);
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
            request.Method = "GET";
            request.AllowAutoRedirect = false;
            request.Accept = "application/json";
            request.ContentType = "application/x-www-form-urlencoded";
            request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0";
            if (cookie.Length > 0)
            {
                request.Headers.Add("Cookie", cookie);
            }
            HttpWebResponse response;
            try
            {
                response = (HttpWebResponse)request.GetResponse();
            }
            catch (WebException ex)
            {
                response = (HttpWebResponse)ex.Response;
                StreamReader sr = new StreamReader(response.GetResponseStream());
                MessageBox.Show(sr.ReadToEnd());
            }
            if (response.StatusCode != HttpStatusCode.OK)
            {
                MessageBox.Show("服务器返回请求错误!");
                return "";
            }
            string encoding = response.ContentEncoding;
            if (encoding == null || encoding.Length < 1)
            {
                encoding = "UTF-8"; //默认编码
            }
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(encoding));
            string result = reader.ReadToEnd();
            //释放资源
            response.Close();
            reader.Close();
            return result;
        }

调用该函数时传入事先获取的cookie和请求url,url的值如下(网站域名用*省略):
http://*********/tcatsds/tcaTsdApprover/searchAllTcatsd?APPLYNO=P20190098290

可是程序总是报错,说GetResponse返回502错误,查看返回的详细信息如下:
图片说明

从返回的详细信息上看是无权访问该页面,但是我如果在浏览器中直接输入该url,是能看到返回的JSON数据的,实在想不通为什么,哪位大神能指导一下该怎么办?

和fiddler或者浏览器抓包的数据精确对比,特别是你的cookie,你说是“事先获取”,这个就不对,你看下你浏览器访问这个网站,把浏览器关掉再开,这个cookie会变化么?

如果会变化,说明你必须通过访问网站返回的set-cookie设置你的cookie,而不能固定不变。特别需要登录的网站。

搞明白了,问题不是出在Cookie上,是因为服务器返回的Encoding为gzip,而我的请求Header中没有设置这个Accept-Encoding为gzip,导致无法获取数据。

caozhy 提到的Cookie也是一种可能,不过对于我这个案例不是,但是你提到用fiddler抓包分析还是很有用的,写这类软件的时候还是得多用用这个工具才能搞清楚问题出在哪儿

使用HttpWebRequest重点要关注以下几个标头字段,供其它人参考:
Method
Accept
Accept-Encoding
UserAgent
Cookie
如果确认这几个字段设置没问题,那么就借助于fiddler软件去抓包分析吧,跟浏览器访问时的数据包对比,总能找出原因来