想把自己网站的所有url抓取下来，方便生成sitemap时用，如何通过python获取到网站的所有url？？？求指导
csdn过滤了我的代码,如:
<a href="http://www.qq.com">
可以用
r'<a href="(.*?)">'
匹配
正则表达式,如:可以用r''匹配
可以用scrapy等框架，它就是一个爬虫框架，你直接在对应的回调函数中处理获取到各个URL