请问数据抓取系统(spider)怎样发现web上出现的一些链接啊？

比如网络上出现一个新的网站和域名，spider怎么样知道这个网站的链接呢？

访问html，其中包含<a href=地址>标记，它们就是链接。对html解析就可以得到。