最近总被智联招聘广发骚扰，烦死个人了简直。索性点进去看了看爬虫工程师现在市场需求到底怎么样了？发展前景如何？看完了之后感觉目前还不错，根据北京来看职位需求还是蛮多的，薪资也还行，于是就对智联招聘职位信息的爬取发起了一次小小的挑战，今天给大家分享一个爬取招聘网站的工作信息，效果图如下（部分截图）。
(更多效果图在后面)
功能需求分析
主要功能需求如下：
用户输入工作地点和感兴趣的职位信息；
根据指定输入信息进行多线程的网页爬取；
解析提取结构化的招聘信息；
将数据存入指定的数据库；
这里由于篇幅和时间原因，功能并没有那么复杂，但是博主会在后续加入更加丰富的功能，并与大家分享，包括：
ip池的加入;
爬取和解析效率的优化；
对爬取数据进行数据分析，提供可视化的统计和简单预测；
其它反爬功能;
功能实现分析
明白了要完成的任务，就需要开始分析我们的目标网站了。
1.网页爬取分析
打开智联招聘的搜索界面，输入 “爬虫” 二字为例， 如下：
然后我们通过fiddler抓包工具抓取浏览器操作时的信息如下：这里还是要推荐下小编的Python学习裙:【五 八 八，零 九 零，九 四 二】不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2018最新的Python资料和0基础入门教程，欢迎初学和进阶中的小伙伴。在不忙的时间我会给大家解惑
职位信息输入后看到这个请求是 GET 模式，GET 请求的链接是 sou.zhaopin.com/jobs/search…
浏览器发出请求的headers头信息，copy到代码headers中。
由于浏览器正常操作下是通过点击“搜索按钮”或者“回车”来进行职位搜索的，而我们并不希望使用浏览器内核webdriver的使用来解决此问题。
因此，思路是：我们需要从发出的GET请求的URL进行分析。
在浏览器中显示的URL是这样子的，有汉字。
“北京” 和 “爬虫” 关键词都以汉字形式显示。感觉这和上面蓝色的链接差不多一样啊！没错，上面的URL是北京和爬虫关键字进行编码之后的样子，而我们向服务器提交的正是上面那个编码之后的URL。
后面 “p=1” 的意思是第一页，“adv=0” 经其它数字测试后没有影响，固不做改变。
好了，捋明白了。我们需要做的其实就是将我们输入的关键词汉字进行编码，然后替换掉上面蓝色URL的lj=“”和kw=“”中的内容，再用这个新的URL发出请求就OK了。
2.网页解析分析
这是浏览器搜索之后得到的结果，从招聘信息中我们希望得到一些有用的信息。博主这里定义了五个字段信息：职位名称、反馈率、公司名称、职位月薪、工作地点。这些信息关系到你如何创建数据库表单，后面会提到。
这里博主决定使用BeautifulSoup方法解决网页的解析，那么先用F12 element看看网页的结构再说。
博主经分析后发现，其它四个信息提取方式都是一样的，但是工作名称的标签结构是有所不同的，为什么呢？
来，先看一条数据的标签，它是这样的：
再看，另一条数据的标签，是这样的：
发现有什么不同了吗？第一个工作名称的标签里有，而第二个标签里什么都没有。
看看上面这两个名称不难发现，导致这个问题的原因其实是关键字的存在（第一个标签中有红色关键字）。
而又想到，我们正常搜索的时候一般不会输入完整的工作名称，比如我只输入 “爬虫” 二字，由于可能存在以上关键字的问题，那么标签的结果就会不同。因此，我们需要在代码解析的时候进行特殊处理，下面进行代码实现分析。
代码实现分析
由于需要将解析后的数据存入数据库，因此需要先在命令窗口创建一个数据库（也可以在Python中完成），这里简单提一下所需的操作。
使用了MySQL数据库进行储存
数据库表单包含了之前提到的五个字段信息
下面是具体代码的实现。
1.URL的重组实现
# 接收工作名称关键字 @property def job_name_cmd_get(self): return self._job_name @job_name_cmd_get.setter def job_name_cmd_get(self, job_name_input): if not isinstance(job_name_input, str): raise ValueError('请输入正确的关键词字符串') self._job_name = job_name_input # 接收输入的工作地点 @property def job_loc_cmd_get(self): return self._job_loc @job_loc_cmd_get.setter def job_loc_cmd_get(self, job_loc_input): if not isinstance(job_loc_input, str): raise ValueError('请输入正确的关键词字符串') if job_loc_input not in job_loc_list: print('请输入主要的城市。') self._job_loc = job_loc_input def url_cook(self): """ 根据输入工作信息拼接url :return: """ url_crawl = self.url_base + 'jl=' + parse.quote(self._job_loc) \ + '&kw=' + parse.quote(self._job_name) + '&p={}&isadv=0' return url_crawl
使用了property修饰器定了函数来接收用户信息
将输入信息用quote进行编码重组，生成爬取所需的目标URL
2.html下载
def html_crawl(self, url_crawl): """ 根据url下载网页 :param url_crawl: :return: """ try: response = request.Request(url_crawl, headers=headers) html_requested = request.urlopen(response) html_decoded = html_requested.read().decode('utf-8') self.html_pool.append(html_decoded) print('-----正在下载-----') sleep(3) except error.HTTPError as e: if hasattr(e, 'code'): print(e.code)
将重新生成的URL放入函数中进行html的下载。
3.html解析
def html_parse(self, html_docoded): """ 解析下载的html信息 :param html_docoded: :return: """ job_fb = [] job_name = [] soup = BeautifulSoup(html_docoded, 'lxml') # 提取工作名称 for td_tag in soup.find_all('td', class_='zwmc')[1:]: sub_soup = BeautifulSoup(str(td_tag), 'lxml') if '' in str(sub_soup.a): raw_name = re.findall(r'(.+?)?(.+?)(.+?)?', str(td_tag.a))[0] job_name_fill = '' for name in raw_name: if isinstance(name, str): job_name_fill += name.strip() job_name.append(job_name_fill) else: job_name.append(sub_soup.a.string) # job_href.append(sub_soup.a.get('href')) # 提取反馈率 for td_tag in soup.find_all('td', class_='fk_lv')[1:]: sub_soup = BeautifulSoup(str(td_tag), 'lxml') job_fb.append(sub_soup.span.string) # 提取公司名称、薪水、地点 job_company = [td_tag.a.string for td_tag in soup.find_all('td', class_='gsmc')[1:]] job_salary = [td_tag.string for td_tag in soup.find_all('td', class_='zwyx')[1:]] job_location = [td_tag.string for td_tag in soup.find_all('td', class_='gzdd')[1:]] self.parse_pool.append(zip(job_name, job_fb, job_company, job_salary, job_location))
使用BeautifulSoup和正则表达式从网页解析五个字段信息。
4. 储存解析数据
def job_info_store(self, job_info): """ 将工作信息储存到数据库里 :param job_info: :return: """ for elem in job_info: self.cur.execute("insert into jobs (job_name, feedback_rate, company_name, salary, location)" " values('{}', '{}', '{}', '{}', '{}')" .format(str(elem[0]), str(elem[1]), str(elem[2]), str(elem[3]), str(elem[4]))) self.conn.commit()
以上是代码的核心内容
展示效果图均为部分截图，用于示意。
（搜索关键词：广告策划，地理位置：北京）
（搜索关键词：电子工程师，地理位置：上海）
（搜索关键词：会计，地理位置：深圳）
（搜索关键词：客户经理，地理位置：广州）
总结
本篇分享了一个从智联招聘网站爬取工作信息的实战内容，完成了需求的基本功能。
在此实战内容基础上，更多复杂和精彩功能会在后续陆续分享
网友评论