用webmagic写Java爬虫的问题?

刚开始学习Java爬虫,跟着B站的视频做的一个小demo,可是结果就是运行不出来,希望知道哪里出现问题了,以及怎么改,谢谢大家了

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import us.codecraft.webmagic.*;
import us.codecraft.webmagic.downloader.HttpClientDownloader;
import us.codecraft.webmagic.pipeline.Pipeline;
import us.codecraft.webmagic.processor.PageProcessor;

public class Demo {
    public static void main(String[] args) {
        HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
        Spider.create(new MyPageProcessor())
                .addPipeline(new MyPipeline())
                .setDownloader(httpClientDownloader)
                .addUrl("http://www.sikiedu.com/")
                .run();
    }

}
class MyPageProcessor implements PageProcessor{

    public void process(Page page) {
        Document document = page.getHtml().getDocument();
        Element span = document.select(".subtitle").get(0).previousElementSibling().select("span").get(0);
        String text = span.text();
        page.putField("title",text);
    }

    public Site getSite() {
        return new Site();
    }
}

class MyPipeline implements Pipeline{

    public void process(ResultItems resultItems, Task task) {
        String title = resultItems.get("title").toString();
        System.out.println("拿到标题:"+title);
    }
}


![img](https://img-mid.csdnimg.cn/release/static/image/mid/ask/16329315439616.png "#left")



【相关推荐】



  • 这篇文章:java网络爬虫框架:Webmagic学习总结 也许有你想要的答案,你可以看看
  • 除此之外, 这篇博客: 使用WebMagic进行java爬虫的总结中的 4. 把爬取数据存入数据库 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:

    在官方文档的《4.3 使用Pipeline保存结果》中有“控制台输出结果”和“生成本地json文件的两种方案”,这一节的最后说第7章会讲“实现保存结果到文件、数据库等一系列功能。”结果没发现第7章 = = 。


如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^