基于bs4+requests爬取世界赛艇男运动员信息(进阶篇)

bs4中文叫做美丽汤第4版，是用Python写的一个HTML/XML的解析器。中文文档链接：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
requests中文叫做请求，是用来发起http请求和接收http相应的库。官方文档链接：
http://docs.python-requests.org/zh_CN/latest/api.html
在详情页面，部分页面具有5个字段信息，部分页面具有2个字段信息。
每个字段信息都在li标签中，对每个li标签做循环遍历。
将li标签中的第1个class等于dt的div标签作为字典的键，将li标签中的第1个class等于dd的div标签作为字典的值。
将数据收集结果item_list数据持久化为excel时，对变量item_list进行循环遍历，excel表格的字段名要赋值为最多键值对的字典的所有键。

from bs4 import BeautifulSoup as bs
import requests

response = requests.get('http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/')
soup = bs(response.text, 'html.parser')
athlete_list = soup.select('tr.resultsDetails li')
item_list = []
for athlete in athlete_list:
    item = {}
    item['name'] = athlete.select('h4 a')[0].text
    item['position'] = athlete.select('p.yPadding')[0].text.strip()
    item['img_url'] = 'http://www.worldrowing.com' + athlete.select('img')[0]['src']
    detail_url = 'http://www.worldrowing.com' + athlete.select('h4 a')[0]['href']
    response = requests.get(detail_url)
    soup = bs(response.text, 'html.parser')
    li_list = soup.select('div.athleteInfoBody li')
    for li in li_list:
        key = li.select('div.dt')[0].text
        value = li.select('div.dd')[0].text
        item[key] = value
    item_list.append(item)

longest_keys = item_list[0].keys()
for item in item_list:
    if len(item.keys()) > len(longest_keys):
        longest_keys = item.keys()
        
import pandas as pd
df = pd.DataFrame(item_list, columns=longest_keys)
df.to_excel('athleteRecord3.xlsx')