美文网首页
python实战作业1-3

python实战作业1-3

作者: 星罹 | 来源:发表于2016-05-22 12:45 被阅读0次

    感觉比上一章的作业简单,十几分钟搞定了。

    from bs4 import BeautifulSoup
    import requests
    
    
    def get_information(url):#这个函数完成了爬取其中一个页面商品信息的任务
        # url = 'http://bj.xiaozhu.com/fangzi/1508951935.html'
        wb_data = requests.get(url)
        soup = BeautifulSoup(wb_data.text,'lxml')
    
    
        title = soup.select('div.pho_info > h4')[0].text
        address = soup.select('div.pho_info > p')[0].get('title')#[0]代表取数组的第1个元素,因为soup.select返回的是一个数组,然后获取title属性
        price = soup.select('div.day_l > span')[0].text
        pic = soup.select('#curBigImage')[0].get('src')
        fangdong_name = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a.lorder_name')[0].text
        fangdong_gender = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')[0].get('class')[0]
    
        gender="男"
        if fangdong_gender=='member_ico':
            gender="男"
        elif fangdong_gender=='member_icol':
            gender="女"
    
    
        data={
            '标题':title,
            '地址':address,
            '价格':price,
            '图片地址':pic,
            '房东名字':fangdong_name,
            '房东性别':gender
        }
    
        return data
    
    
    for i in range(1,13):
        oriurl="http://bj.xiaozhu.com/search-duanzufang-p"+str(i)+"-0/"
        # oriurl="http://bj.xiaozhu.com/"
        wb_data_ori = requests.get(oriurl)
        soup_ori = BeautifulSoup(wb_data_ori.text,'lxml')
        links=soup_ori.select('#page_list > ul > li > a')
    
        for link in links :
            link=link.get('href')
            print(get_information(link))
    
    

    输出结果

    C:\Users\XingLi\AppData\Local\Programs\Python\Python35-32\python.exe F:/code/python/scap-mooc-netease/1_3_xingli_homework.py
    {'地址': '北京市朝阳区新都市计划大厦', '价格': '698', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,24,2692,1800,1200,4a3c697f.jpg', '标题': '\n到鸟巢去散步,安慧东里敞亮大三居\n', '房东性别': '男', '房东名字': 'ocheese'}
    {'地址': '北京市朝阳区大屯路西段(15号线北沙滩站)', '价格': '428', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,89,4242,825,551,5d65b66f.jpg', '标题': '\nD15号 鸟巢 水立方 国家会议中心大两居\n', '房东性别': '男', '房东名字': '蓝加菲'}
    {'地址': '北京市朝阳区呼家楼街道', '价格': '598', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,37,4642,1800,1200,7b756ae5.jpg', '标题': '\n东大桥地铁口,毗邻三里屯工体朝阳门世贸天阶\n', '房东性别': '男', '房东名字': 'himhimhuang'}
    {'地址': '北京市朝阳区劲松10号线劲松地铁旁农光东里小区31号楼(天客隆商场南300米)', '价格': '328', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,36,5618,1800,1200,cf427c5a.jpg', '标题': '\n自己的家,温馨两居,给您家的感觉\n', '房东性别': '男', '房东名字': '水泡泡'}
    {'地址': '北京市海淀区地铁8号线西小口D口文龙家园二里(地铁8号线西小口D口出来即是,小营桥东700米)', '价格': '149', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/5,0,24,799,1800,1200,295e36e4.jpg', '标题': '\n【主卧特价】8号线地铁口,直达鸟巢南锣鼓巷\n', '房东性别': '男', '房东名字': '花花he浩子的家'}
    {'地址': '北京市朝阳区红军营南路', '价格': '128', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,42,4845,825,550,57c0343f.jpg', '标题': '\n北五环5.13号地铁高档的温馨公寓\n', '房东性别': '男', '房东名字': '幸福姐姐'}
    

    内容太多了我就不写了

    相关文章

      网友评论

          本文标题:python实战作业1-3

          本文链接:https://www.haomeiwen.com/subject/wciorttx.html