美文网首页
假期充电--爬虫第二天

假期充电--爬虫第二天

作者: 小喵周周 | 来源:发表于2017-12-24 01:36 被阅读0次
# -*- coding:utf-8 -*-
import urllib.request
import re
import xlwt#用来创建excel文档并写入数据

#获取原码
def get_content(page):
    url ='http://search.51job.com/list/000000,000000,0000,00,9,99,python,2,'+ str(page)+'.html'
    a = urllib.request.urlopen(url)#打开网址
    html = a.read().decode('gbk')#读取源代码并转为unicode
    return html

def get(html):
    reg = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',re.S)#匹配换行符
    items = re.findall(reg,html)
    return items
def excel_write(items,index):

#爬取到的内容写入excel表格
    for item in items:#职位信息
        for i in range(0,5):
            #print item[i]
            ws.write(index,i,item[i])#行,列,数据
        print(index)
        index+=1

newTable="test.xls"#表格名称
wb = xlwt.Workbook(encoding='utf-8')#创建excel文件,声明编码
ws = wb.add_sheet('sheet1')#创建表格
headData = ['招聘职位','公司','地址','薪资','日期']#表头部信息
for colnum in range(0, 5):
    ws.write(0, colnum, headData[colnum], xlwt.easyxf('font: bold on'))  # 行,列

for each in range(1,10):
    index=(each-1)*50+1
    excel_write(get(get_content(each)),index)
wb.save(newTable)

前程无忧爬职位信息正则表达式(from http://www.cnblogs.com/Beyond-Ricky/p/6771028.html)

基本确定爬虫项目轮廓:获取实习僧上数据分析和风控的职位要求,分析词频得到带次数的词云。另外选择网易云/知乎/微博进行模拟登陆和动态操作。

相关文章

  • 假期充电--爬虫第二天

    前程无忧爬职位信息正则表达式(from http://www.cnblogs.com/Beyond-Ricky/p...

  • 假期充电--爬虫第一天

    爬虫第一天从内链外链学起,上一个简单的获取内链外链程序,现阶段的疑惑是我认为这个程序是以外链作为内链节节寻找,不知...

  • 假期充电

    这个假期我报了演讲班,每天忙于打卡,陪伴双方家人,一晃假期就已经倒数第二天了。 今年疫情从我3月份开始学习和实践心...

  • 假期充电

    许多时候,我们总是想着要如何提升自己,但当你拿起手机不肯放下时,一天天的时间就这么消磨过去了! 知...

  • 假期充电!

    虽说是暑假,但是,好像自己比平时都忙! 一日三餐自不必说,孩子在家,也不能太随便,前后两个小时,三顿,就是六个小时...

  • 开启充电模式

    暑假生活即将拉开序幕,老师们如何度过一个愉快而有意义的假期呢?——充电,开启假期充电模式 假期是...

  • 充电假期(杂文)

    哇哈,假期就要开始啦~ 最近特别喜欢跟别人交流,喜欢听对方说话,聊天的过程中常常可以得到意想不到的惊喜,这对于我来...

  • 充电假期(日记)

    2014.10.02 厦门大学的同学来找我跟小冉玩,我们出去吃饭看电影聊天,在泉州这座寂寞的城市走走停停,心情也起...

  • 充电假期(计划)

    充电假期转眼之间就已经过了四天了,所以从明天开始,我就要正式开始好好读书了。 这个假期给我带来了些什么呢?是片刻的...

  • 假期充电打卡

    8.6 ✅英语晨读 ✅积极心理学 ✅听书,看书 晚上有客人临时来访,晚上未来得急记录

网友评论

      本文标题:假期充电--爬虫第二天

      本文链接:https://www.haomeiwen.com/subject/utecgxtx.html