爬虫工程师在日常工作时,对于爬取到的数据存入数据库后,一般后续会需要对数据做怎么样的处理?或者说一个爬虫工程师的日常工作流程是怎么样的呢?有没有工作的爬虫工程师解答一下?
现在很少名义上的爬虫工程师了,都是由公司的安全部门人员兼任,第一个是现在网站内容少了,大部分内容都在app上,就算爬其他网站,也是经过其他公司授权的,所以大部分都是兼任,你可以理解爬虫就是个工具,达不到说要在这领域深耕