我正在尝试爬取一个文档网站，因为没什么经验，所以在这里说一下我的大致思路，请各位师傅指出各种不成熟的地方。
我用的爬虫是最常见的通过url进入页面爬取的，所以我想如果我要爬取整个网站的话，那么我就要需要先进入到一个页面之中，将所有的链接收集保存起来，然后爬取完进入的这个页面信息后，再遍历保存的连接，进行爬取。如果遇到同样的连接就不爬。这个是我的大致思路。
但是我有点担心通过这个模式真的能爬取完一个网站上所有的页面信息么？会不会因为页面之间关联性不强导致有一部分页面爬取不到呢？
有没有什么工具能检测爬取网站页面的百分比呢？
望各位提出宝贵的意见与批评。
链接给出来， 一般网站都会有导航栏，按导航栏爬就行