List<String> arrayList= FileUtil.readLines("E:\\功能测试\\代理爬虫测试\\daili.csv","utf-8");
HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
for (int i=0;i<arrayList.size();i++){
String[] tem=arrayList.get(i).split(",");
httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(new Proxy(tem[0],Integer.parseInt(tem[1]))));
}
Spider.create(new DaiLiTest()).setDownloader(httpClientDownloader).addUrl("http://www.baidu.com").run();
这是写在主函数里面的代码,读取代理信息文件,通过httpClientDownloader设置代理,但是这样执行时,发现访问不了百度页面,但是什么信息也没有弹出,也不知道这个ip代理有用。请问各位,webmagic的代理是怎样设置的?会检查出哪些ip不能用的。