使用webmagic,怎么批量爬取一些网站(网站数量大概有100多个)??爬取的网站,爬出来的东西比较固定,大都是时间.内容,标题等等 ....难道要每个网站都手写一个类??有没有比较通用的方法,比如配置文件等方法解决???
可以通过配置文件解决
http://my.oschina.net/flashsword/blog/145796
我一开始也是做成配置文件的,但是通用性不强.