使用队列广度优先抓取一个网站上的所有外链

问题(1)怎么区分外链和内链
(2)如果链接里存在重复的，怎么解决啊