感觉比上一章的作业简单,十几分钟搞定了。
from bs4 import BeautifulSoup
import requests
def get_information(url):#这个函数完成了爬取其中一个页面商品信息的任务
# url = 'http://bj.xiaozhu.com/fangzi/1508951935.html'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
title = soup.select('div.pho_info > h4')[0].text
address = soup.select('div.pho_info > p')[0].get('title')#[0]代表取数组的第1个元素,因为soup.select返回的是一个数组,然后获取title属性
price = soup.select('div.day_l > span')[0].text
pic = soup.select('#curBigImage')[0].get('src')
fangdong_name = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a.lorder_name')[0].text
fangdong_gender = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')[0].get('class')[0]
gender="男"
if fangdong_gender=='member_ico':
gender="男"
elif fangdong_gender=='member_icol':
gender="女"
data={
'标题':title,
'地址':address,
'价格':price,
'图片地址':pic,
'房东名字':fangdong_name,
'房东性别':gender
}
return data
for i in range(1,13):
oriurl="http://bj.xiaozhu.com/search-duanzufang-p"+str(i)+"-0/"
# oriurl="http://bj.xiaozhu.com/"
wb_data_ori = requests.get(oriurl)
soup_ori = BeautifulSoup(wb_data_ori.text,'lxml')
links=soup_ori.select('#page_list > ul > li > a')
for link in links :
link=link.get('href')
print(get_information(link))
输出结果
C:\Users\XingLi\AppData\Local\Programs\Python\Python35-32\python.exe F:/code/python/scap-mooc-netease/1_3_xingli_homework.py
{'地址': '北京市朝阳区新都市计划大厦', '价格': '698', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,24,2692,1800,1200,4a3c697f.jpg', '标题': '\n到鸟巢去散步,安慧东里敞亮大三居\n', '房东性别': '男', '房东名字': 'ocheese'}
{'地址': '北京市朝阳区大屯路西段(15号线北沙滩站)', '价格': '428', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,89,4242,825,551,5d65b66f.jpg', '标题': '\nD15号 鸟巢 水立方 国家会议中心大两居\n', '房东性别': '男', '房东名字': '蓝加菲'}
{'地址': '北京市朝阳区呼家楼街道', '价格': '598', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,37,4642,1800,1200,7b756ae5.jpg', '标题': '\n东大桥地铁口,毗邻三里屯工体朝阳门世贸天阶\n', '房东性别': '男', '房东名字': 'himhimhuang'}
{'地址': '北京市朝阳区劲松10号线劲松地铁旁农光东里小区31号楼(天客隆商场南300米)', '价格': '328', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,36,5618,1800,1200,cf427c5a.jpg', '标题': '\n自己的家,温馨两居,给您家的感觉\n', '房东性别': '男', '房东名字': '水泡泡'}
{'地址': '北京市海淀区地铁8号线西小口D口文龙家园二里(地铁8号线西小口D口出来即是,小营桥东700米)', '价格': '149', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/5,0,24,799,1800,1200,295e36e4.jpg', '标题': '\n【主卧特价】8号线地铁口,直达鸟巢南锣鼓巷\n', '房东性别': '男', '房东名字': '花花he浩子的家'}
{'地址': '北京市朝阳区红军营南路', '价格': '128', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,42,4845,825,550,57c0343f.jpg', '标题': '\n北五环5.13号地铁高档的温馨公寓\n', '房东性别': '男', '房东名字': '幸福姐姐'}
内容太多了我就不写了
网友评论