爬虫jsoup对robots.txt支持吗？可以不抓取Disallow规定的目录下的网页吗？
http://blog.csdn.net/dongfengkuayue/article/details/48138661