import requests
import bs4
from bs4 import BeautifulSoup
import re
def getHTMLText(url):
try:
r = requests.get(url, timrout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string,tds[1].string,tds[2].string])
def printUnivList(ulist, num):
print("{:^10}\t{:^10}\t{:^10}".format("排名","大学名称","总分"))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:^10}\t{:^10}".format(u[0],u[1],u[2]))
def main():
#num = int(raw_input("请输入您要查询的大学数："))
unifo = []
url = "http://www.gaokaopai.com/paihang-otype-2.html?f=1&ly=bd&city=&cate=&batch_type="
html = getHTMLText(url)
fillUnivList(unifo, html)
printUnivList(unifo,10)
main()
错误提示：AttributeError: 'NoneType' object has no attribute 'children'
已解决，原来是getHTMLText（)中出错了,连最基本的网页都没有获取到，soup.find('tbody')返回的对象肯定是空的，也就不可能有children属性
用python爬数据的时候很容易遇到这种问题，有时候有些节点是空的，有时候父子节点之间有可能夹了一层未知的节点，没什么好办法，只能一点一点地踩坑，这是我之前爬取数据的时候写的一段代码，希望能对你有帮助：
https://github.com/Tangworld/CodeDefectLocation/blob/master/getdata/Aspectj/core/CrawlerForBugs.py
一步一步调试把，参照着官方中文文档