如题,想试用heritrix爬虫,不知道怎么配置..
最简单的配置是只配置以下两个参数:user-agent: Mozilla/5.0 (compatible; [b]heritrix/1.14.0 [/b]+[b]http://192.168.1.111[/b])
from: test@163.com
然后点击 submitjob 确认参数设置就可以了。
注意:user-agent中,只需要修改上面两处就可以;from中,只要是e_mail格式就可以。你可以点击问号,查看每个参数的作用。