为什么在爬煎蛋网时已经加入头文件，还是会被视为机器人

服务器反机器人的手段很多，比如说有的通过js监控鼠标在页面的操作，有的判断操作间隔，有的判断ua,referer，这个你只有很细心去尝试才知道。

在ua里面可能加入了判断机器人的字段，而且字段可能是定时更新的。

你可以尝试爬一下糗百和不得姐，另外爬Bing也可以。