python爬取数据

用python爬取http://www.anjuke.com/fangjia/shandong2021/上的数据

这样?帮助到你能点个采纳吗,谢谢~~

import requests
from bs4 import BeautifulSoup
import csv
def getHtml(url):
    try:
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'}
        r=requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "fail"
def getDATA(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    lis=soup.select('li.up')
    for li in lis:
        cols=[li.find('b').text,li.find('span').text,li.find('em').text]
        
        ulist.append(cols)
def main():
    unifo=[]
    url='https://www.anjuke.com/fangjia/shandong2021/'
    html=getHtml(url)
    getDATA(unifo,html)
    print(unifo)
main()

 

您好,我是有问必答小助手,您的问题已经有小伙伴解答了,您看下是否解决,可以追评进行沟通哦~

如果有您比较满意的答案 / 帮您提供解决思路的答案,可以点击【采纳】按钮,给回答的小伙伴一些鼓励哦~~

ps: 问答会员【8折】购 ,仅需→¥23.2,即可享受5次/月 有问必答服务,了解详情>>>https://t.csdnimg.cn/RW5m