用Python 怎么写出一个 遍历网站所有url的小工具， 包括首页的url和所有子网页url
不能有重复的url，我自己写的只能遍历一个网页的 首页，子网页的遍历不出来，新人 没币 ，求好心人帮助！！！
http://download.csdn.net/detail/alalmn/6365561
http://www.cnblogs.com/fnng/p/3576154.html
http://www.oschina.net/code/list_releted_codes?id=25402
直接用scrapy，专业的爬虫框架。帮你解决各种问题，只用自己稍微代码设置i 就既可以调用
python爬虫脚本：pyspider