1. 我为什么要爬取招聘信息

其实我就是太懒了，虽然我是个做Android的，但是挡不住我使用Python的热情。

2. 如何实现

懒得说了，你自己看代码吧。

2.0 一些说明

1. 为什么需要Cookie

按照现在网站的尿性，没有Cookie，你什么信息也拿不到。
所以老实的登录吧，然后使用自己的Cookie，反正我的Cookie是不会给你用的。

2. 如何获取网页URL

我觉得这个问题太简单了，我拒绝回答！
哈哈，Chrome啊等浏览器自带的开发工具，足够分析使用了。

3. 严重警告

代码写的一般，大家随便看看就好，想用的自己去改造。

2.1 LagouSpider

 #!/usr/bin/env python3
# -*- coding: utf-8 -*-
# Date: 2018-12-04 09:56:28

from bs4 import BeautifulSoup
from urllib import request, parse
import os
import json
from Utils import CsvWriter


class LagouSpider:
    '''
    抓取拉勾上的招聘信息。
    因为限制的原因，必须要求你登录自己的账号后，截取所需的Cookie。
    '''

    def __init__(self, url):
        self.page_header = {
            'Accept': 'application/json, text/javascript, */*; q=0.01',
            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
            'Host': 'www.lagou.com',
            'Origin': 'https://www.lagou.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
            'Connection': 'keep-alive',
            'Referer': 'https://www.lagou.com/jobs/list_Android?labelWords=&fromSearch=true&suginput=',
            'X-Anit-Forge-Token': 'None',
            'X-Requested-With': 'XMLHttpRequest',
            'Cookie': '填写你登录拉勾网后的Cookie信息'
        }
        self.url = url
        self.tags = [('positionId', '职位ID'), ('positionName', '职位名称'), ('salary', '薪资'), ('createTime', '发布时间'), ('workYear', '工作经验'), ('education', '学历'), ('positionLables', '职位标签'), ('jobNature', '职位类型'), ('firstType', '职位大类'), ('secondType', '职位细类'), ('positionAdvantage', '职位优势'), ('city', '城市'),
                     ('district', '行政区'), ('businessZones', '商圈'), ('publisherId', '发布人ID'), ('companyId', '公司ID'), ('companyFullName', '公司名'), ('companyShortName', '公司简称'), ('companyLabelList', '公司标签'), ('companySize', '公司规模'), ('financeStage', '融资阶段'), ('industryField', '企业领域'), ('industryLables', '企业标签')]

    def fetch_page_info(self, page_num, keyword, file_path):
        '''
        根据url来获取网页内容。
        page_num:页数。
        keyword:关键字
        file_path:写入文件的路径，要求必须为csv文件。
        '''
        if self.url is None:
            print('Url为空，无法获取信息。')
            return

        file_name = os.path.basename(file_path)
        if not file_name.endswith('csv'):
            print("请使用csv文件来记录信息。")
            return

        if not keyword.strip():
            print("关键字不能为空。")
            return

        page_data = parse.urlencode(
            [('pn', page_num), ('kd', keyword)])

        req = request.Request(self.url, headers=self.page_header)
        page = request.urlopen(req, data=page_data.encode('utf-8')).read()
        page = page.decode('utf-8')
        print('Get content is:{}'.format(page))
        if page is None:
            print('Text is Null.')
            return
        data = json.loads(page)
        postionResult = data.get('content').get('positionResult').get('result')

        # 将数据记录至CSV中
        # 首先写入头
        headers = []
        for tag in self.tags:
            headers.append(tag[1])
        rows = []
        rows.append(headers)
        for position in postionResult:
            row = []
            for tag in self.tags:
                row.append(position.get(tag[0]))
            rows.append(row)
        CsvWriter.writeRows(filePath=file_path, rows=rows)

        # # 将数据写入文件中
        # with open('Position.txt', 'w+') as f:
        #     for position in postionResult:
        #         f.write("---------------------------\n")
        #         for tag in tags:
        #             f.write(str(tag[1])+":"+str(position.get(tag[0]))+"\n")
        # print("解析完毕。")


if __name__ == '__main__':
    url = r'https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7'
    spider = LagouSpider(url)
    filePath = os.path.dirname(__file__)+os.sep+'Position_Patch.csv'
    for index in range(1,9):
        spider.fetch_page_info(
            page_num=index, keyword='Android', file_path=filePath)
    print("解析完成，请查看文件。")

2.2 Utils

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# Date: 2018-12-04 14:21:39

import csv


class CsvWriter:
    @staticmethod
    def writeRow(filePath, row):
        with open(filePath, newline='', mode='a') as f:
            csv_writer = csv.writer(f)
            csv_writer.writerow(row)

    @staticmethod
    def writeRows(filePath, rows):
        print(len(rows))
        with open(filePath, newline='', mode='a') as f:
            csv_writer = csv.writer(f)
            csv_writer.writerows(rows)


class CsvReader:
    @staticmethod
    def printRows(filePath):
        with open(filePath, 'r+') as f:
            reader = csv.reader(f)
            for row in reader:
                print(row)