最近想学习python爬虫,拓展一下知识储备,爬虫需要学习哪些语言
参考:https://www.cnblogs.com/cherish-cxh/p/10025979.html
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到)
反爬相关,cookie、ip池、验证码等等
熟练使用分布式
了解企业级爬虫和个人爬虫的差异(企业级爬虫,首先在数据量上跟我们平时学习的时候爬虫,不是同一数量级,数据量大很多。其次,企业级爬虫代码一般部署到专门的爬虫服务器上,采取7*24小时运行,所以需要日志监控,异常维护。)
知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;
能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
如有帮助望采纳。
你不是都说了python了嘛
爬虫需要的是你有基础的python知识,对网络协议有了解。如果是做类似app等需要了解多线程,框架等等,基本上程序开发的流程都需要知道。如果只是简单的爬取一些知识,前两基本上够了。