Python-爬取智联招聘

import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
import json
import time
class ZhiLianSpider(object):
#url中不变的内容，要和参数进行拼接组成完整的url#
url='http://sou.zhaopin.com/jobs/searchresult.ashx?'
def init(self,jl,kw,start_page,end_page):
#将上面的参数都保存为自己的成员属性#
self.jl=jl
self.kw=kw
self.start_page=start_page
self.end_page=end_page
#定义一个空列表，用来存放所有的工作信息#
self.items=[]

#根据page拼接指定的url，然后生成请求对象#
def handle_request(self,page):
    data={
        'jl':self.jl,
        'kw':self.kw,
        'p':page
    }
    url_now=self.url+urllib.parse.urlencode(data)#拼接get参数
    print(url_now)
    #构建请求对象#
    headers={
         "User-Agnet":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"
    }
    request=urllib.request.Request(url=url_now,headers=headers)
    return request

#解析内容函数#
def parse_content(self,content):
    #生成对象#
    soup=BeautifulSoup(content,'lxml')
    #思路：先找到所有的table，因为一个工作岗位就是一个table，遍历这个table的列表，然后通过table对象的select、find方法去找每一条记录的具体信息#
    table_list=soup.select('#newlist_list_content_table>table')[1:]
    #遍历这个table_list,依次获取每一个数据#
    print(table_list)
    print(len(table_list))
    for table in table_list:
        #获取职位名称#
        zwmc=table.select('.zwmc > div > a')[0].text
        print(zwmc)#选择器返回是一个列表，需要通过下标访问 #
        #获取公司名称#
        gsmc=table.select('.gsmc > a')[0].text
        #获取职位月薪#
        zwyx=table.select('.zwyx')[0].text
        #获取工作地点#
        gzdd=table.select('.gzdd')[0].text
        #获取发布时间#
        gxsj=table.select('.gxsj > span')[0].text
        #存放到字典中#
        item={
            '职位名称':zwmc,
            '公司名称':gsmc,
            '职位月薪':zwyx,
            '工作地点':gzdd,
            '更新时间':gxsj,
        }
        #再存放到列表中#
        self.items.append(item)
    
    
 #爬取程序#
def run(self):
    #循环爬取每一页#
    for page in range(self.start_page,self.end_page+1):
        print('开始爬取第%s页'%page)
        request=self.handle_request(page)
        #发送请求，获取内容#
        content=urllib.request.urlopen(request).read().decode()
        #解析内容#
        self.parse_content(content)
        print('结束爬取第%s页'%page)
        time.sleep(2)
        
    #将列表数据保存在文件中#
    string=json.dumps(self.items,ensure_ascii=False) #将字典形式的数据转化成字符串,想要输出中文需要指定ensure_ascii=False#
    with open(r'/Users/marine/Desktop/python/zhilian.txt','w',encoding='utf8')as fp:
        fp.write(string)

def main():
jl=input('请输入工作地点：')
kw=input('请输入工作关键字：')
start_page=int(input('请输入起始页码：'))
end_page=int(input('请输入结束页码：'))

#创建对象，启动爬取程序#
spider=ZhiLianSpider(jl,kw,start_page,end_page)
spider.run()

if name=='main':
main()