美文网首页
【week1】day3:爬取真实网页

【week1】day3:爬取真实网页

作者: 霍淇三公子 | 来源:发表于2016-09-01 11:35 被阅读0次

1,基础知识

  • step1:使用requests.get()获取网页源代码
  • step2: 使用BeautifulSoup解析网页

2,自己试着爬取小猪租房的房源信息

注:题目要求爬取300个房源信息,为节约时间及内存,我仅试着爬了两页。

  • The Result:
part of the information
  • The Code:
from bs4 import BeautifulSoup
import requests
urls = ["http://bj.xiaozhu.com/search-duanzufang-p{}-0/".format(number) for number in range(1, 3)]
#print(urls)

def get_details(url, data = None):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')
    ads = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')
    big_imgs = soup.select('#curBigImage')
    prices = soup.select('#pricePart > div.day_l > span')
    names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
    member_pics = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')
    sexes = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
    for title, ad, big_img, price, name, member_pic, member_sex in zip(titles, ads, big_imgs, prices, names, member_pics, sexes):
        title = title.get_text()
        ad = ad.get_text()
        big_img = big_img.get('src')
        price = price.get_text()
        name = name.get('title')
        member_pic = member_pic.get('src')
        member_sex = judge_sex(member_sex.get('class')[0])
        print(title, '地址:',ad, '图片:',big_img, '价格(RMB):',price, '房东姓名:', name, '房东美皂:',member_pic, '房东性别:', member_sex )

def judge_sex(sex):
        if sex == 'member_ico1':
            return '女'
        elif sex == 'member_ico':
            return '男'
        else:
            return '未知'

def get_link(url, data = None):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    #print(soup)
    links = soup.select('#page_list > ul > li > a')
    #print('links = ', links)
    for link in links:
        single_link = link.get('href')
        #print(single_link)
        get_details(single_link)

for single_url in urls:
    get_link(single_url)

##page_list > ul > li:nth-child(3) > a
#http://bj.xiaozhu.com/search-duanzufang-p1-0/
#body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em

3,反思与总结

  • 对函数运用更加熟练
  • copy selector的时候看看是否有其他可供选择的地方
  • 第一次失败的原因是手打错了链接,浪费了很多时间找错误,今后还是应该用“复制-粘贴”的方式填写链接
  • if, elif, else后面有“:”

相关文章

  • 【week1】day3:爬取真实网页

    1,基础知识 step1:使用requests.get()获取网页源代码 step2: 使用BeautifulSo...

  • Python实战学习笔记 爬去真实网页信息

    爬取URL结果 爬取代码 爬取心得通过这次爬去学会从网页找不同页面地址之间的规律爬去网页,单次爬取的网页可以作为循...

  • Python实战课程1-3练习:爬取租房信息

    前面写了自己的本地网页并爬取,然后就真枪实战地爬取真实网站了。这节的练习项目是爬取房源的详细信息(北京短租房)。分...

  • (二)爬取豆瓣网的书名(BeautifulSoup库)|Pyth

    1.爬取网页的步骤2.爬取网页的代码1结果显示3.爬取网页的代码2结果显示4.代码分析最近更新:2018-01-1...

  • 前程无忧职位信息爬取

    分析网页 通过浏览器查看网页源代码,可以找到相应的职位信息,可知目标网页为静态网页,因此可以直接爬取。 爬取思路 ...

  • 网络爬虫与信息提取(二)

    爬取网页的通用代码框架 Requests库的异常 爬取网页的通用代码框架 协议 HTTP http://host[...

  • 爬虫

    URL管理器:管理待爬取的url集合和已爬取的url集合,传送待爬取的url给网页下载器。网页下载器(urllib...

  • 集搜客爬取数据方法

    1.安装集搜客软件 2.确定目标网页地址,确定爬取内容类型:只涉及本网页内容列表还是需要层级爬取?层级爬取就是需要...

  • 爬虫作业2

    分析要爬取目标的网页的网页结构与元素标签位置信息 任务回顾 1.爬取网页:看准网 http://www.kanzh...

  • 学习笔记 2018-10-22

    第一单元小结 通用代码框架try - except 网络爬虫引发的问题爬取网页,玩转网页 requests爬取网站...

网友评论

      本文标题:【week1】day3:爬取真实网页

      本文链接:https://www.haomeiwen.com/subject/rhbcettx.html