想请教一些练习爬虫时候遇到的问题

练习爬虫时，爬取今日头条网页代码的时候发现网页的内容集在doc，看到一些以前的回答，他们需要的网页信息都是集中在xhr，以及这个sourcemapping里面的内容通过requests请求是的不到的，这是什么原因

requests.get得到的是和浏览查看源代码一样的内容，js动态生成的内容requests.get无法获取，需要用Selenium来解析才行。

要么就找到数据接口直接reqeusts.get接口获取数据，头条搜索结果内容是在页面里面的用beautifulsoup解析下就行了。有帮助或启发麻烦点个采纳【本回答右上角】，谢谢~~有其他问题可以继续交流~

题主你好，首先如果你使用浏览器的检查功能的话，的确实能够查看到网页的代码，不过这些都是javascript动态生成的，如果右击浏览器直接点击查看源代码这个选项，针对你给出的这个页面，咱们打开后发现页面是这样的

这就说明头条前端开发人员用了一些手段做出了限制，这种情况在很多其他平台比如淘宝京东是一样的，外部人与那是看不到源代码的，所有这种界面requests库是得不到真正的源码的

又没有采纳，凭啥给你说呢😱😱，今日头条也不算小站点