爬取58同城单页商品数据

小白一枚，学习python爬虫中······纯当学习笔记了，大神勿喷。

今天，带来的是58同城单页商品数据爬取。

要用到的：
　　pycharm
　　chrome浏览器
　　python库：requests，Beautifulsoup4

任务分析：
　　　１.解析当前页面
　　　２.获取当前页面里每个商品的链接
　　　３.剔除推广和转转商品
　　　4.解析商品的链接，获取商品标题，价格，发布时间，区域的信息

一、解析当前页面
　　导入所需要的库文件

定义当前网址，提前创建一个空的列表用来放商品链接

定义一个函数用来获取商品链接

用requests的get方法发起网页请求

解析网页

右键检查商品列表


确定定位位置

用for循环和if条件判断结合剔除转转商品和推广商品，把剩余商品的链接（即获取的结果里的href里的内容）添加到列表real_url_list中

二、获取商品信息
定义获取商品信息的函数

调用获取商品链接的函数

用for循环遍历每一个商品链接，把商品信息装进data字典里并打印data

三、调用函数获取结果

完整代码如下：

import requests
from bs4 import BeautifulSoup

url='http://bj.58.com/pbdn/0/'
real_url_list=[]
def get_link():
　　wb_data=requests.get(url)
　　soup=BeautifulSoup(wb_data.text,'lxml')
　　real_url=soup.select('td.t a.t')
　　for i in real_url:
　　　　if str('jump')in str(i) or str('zhuanzhuan')in str(i):
　　　　　　pass
　　　　else:
　　　　　　real_url_list.append(i.get('href'))
　　return real_url_list

def get_item_info():
　　get_link()
　　for i in real_url_list:
　　　　wb_data=requests.get(i)
　　　　soup=BeautifulSoup(wb_data.text,'lxml')
　　　　data={
　　　　　　'title':soup.title.text,
　　　　　　'price':soup.select(' span.price')[0].text,
　　　　　　'time':soup.select('li.time')[0].text if soup.find_all('li','time')else None,
　　　　　　'area':list(soup.select( 'span.c_25d')[0].stripped_strings )if　soup.find_all('span','c_25d')else None,
　　　　 }
　　　　print(data)

get_item_info()

运行结果如下：

注意：
　　python对于缩进有着严格的要求，因为简书的markdown不太会用，所附代码的缩进并非是python默认的格式，但是对齐是正确的，若要复制代码运行参考对齐格式就好。

下期预告：
　　　老司机带你飞，把煎蛋网的妹子图带回家