如题，假如你发现某个网站下的某些图片或文档可以单独访问，例如www.xxx.com/photo/12.jpg 或者 www.xxx.com/doc/abc.doc。如何下载www.xxx.com/photo/下的所有图片？www.xxx.com/doc/下的所有文档？注意，不是保存网站而是网站某目录下的可用文档！
google 爬虫 你用的语言
想知道有没有现成的软件，能够像访问ftp服务器一样访问http服务器