各位如何看待python爬虫,又该如何学好爬虫呢?

每次在网上都会看到某些程序员因为爬虫导致触犯法律,那到底我们该如何去解决呢?

img

爬虫本身只是个工具,它就好像一把钳子
看你用它干什么
你用它去撬别人家锁当然就犯法了
比如你去别的网站盗用付费资源,或者有版权的视频,这就跟你到底是爬到的数据还是从别的渠道获取的数据没有什么直接关系了
各大搜索网站本身为了搜索功能,就是每天在用爬虫爬来爬去的,这种合理的用法是受支持的
你自己用的话,比如你爬个天气预报每天看看,这也不犯法呀

爬虫触发法律主要有两点:1.知识是私有的,没有授权,属于非法获取。2.频繁的访问网站服务器会导致服务器卡顿、崩溃,所以就统一对爬虫进行了限制,网站允许爬虫的你随便爬,没有允许的你爬了并导致网站受损,那你就犯法了。

撇开法律不谈,要学好爬虫,http协议需要知道一些,各种爬虫框架要会用,至少精通一种,前端的知识诸如css,js都要了解一些,起码能看懂代码的大概作用,了解反爬的一些手段,最后就是不停的练,不停的试,反正就是不付费的内容你随便爬,但是不能影响对方网站的正常运营,被抓的那些都是玩的太狠了,

不是我吹牛逼
第一 做爬虫起码本科起步
第二 你放开学 一两年以内你怎么爬都不会触犯法律 因为你技术不行
第三 爬虫真的不简单 不只是单纯的requests 楼上说的那些都是屁话 一看就不是搞逆向的