前言：
这篇文章是真正的干货，我会尽力的把自己所要表达的东西表达出来。这次所完成的小程序缺点第一，不符合python面向对象的思想。第二，东西没有做到函数化，而且挺多参数都是写死的。本人也是做中学，下次再写会尽力让它完美一些。
目标：
本人最近新有了一个ipad mini，体会到了苹果公司科技的力量，怪不得果粉这么多。（ipad用wps看pdf书籍真的好用，一般人我不告诉他。不过希望大家还是买正版书，纸质书真的比电子的强）。所以想获得二手平板的信息，去吧就决定是你了：
58同城：http://bj.58.com/pbdn/0/pn1/
58
我们要爬取这个页面的所有个人的信息
就是这种↑
点进去
隐约看到了卖家的脸我们要：标题，价格，时间，地点，商家还是个人。
为了完成这个小工程，我们需要引入几个第三方库：lxml，requests，BeautifulSoup。这几个库的用法请自行查阅官方文档，首先在最开始import所要用的库
from bs4 import BeautifulSoup
import requests
然后通过观察页面网址的变化:
广告真多聪明的你一定发现了，商家和个人的区别就在于网址的一处变化，商家为http://bj.58.com/pbdn/1/个人为http://bj.58.com/pbdn/0/，所以写一个简单的函数：
def who_sell(who_sells=0):
list_view ='http://bj.58.com/pbdn/{}/pn1/'.format(str(who_sells))
return list_view
通过你改变函数参数，返回一个字符串，这里参数0就是个人1是商家，0为默认参数。接下来就是选出这个页面中你想要的信息的连接：
main_url = who_sell(0) (1)
web_data = requests.get(main_url) (2)
soup = BeautifulSoup(web_data.text,'lxml') (3)
select = soup.select('td.t a.t') (4)
leimu = who_sell(0)[:22] (5)
print(leimu) (6)
page_link = [] (7)
for href in select:
page_link.append(href.get('href')) (8)
（1）：我们先通过调用函数选中个人，返回一个网址，复制给main_url
（2）：通过向这个选中的网址发送request请求，把得到的结果赋值给web_data
（3）：对web_data的文本通过bs进行解析
（4）：通过select函数选出你想要的东西，而‘td.t a.t’这个的来源先请看图：
来，检查一下
在你想要看的元素上面右键，检查:
是不是一脸蒙b学过网页的小伙伴很快就能明白，这其中的奥秘，如果一脸雾水的小伙伴就可以看一下HTML5以及css的知识，这里个人推一下w3school 。看完这个，这里的东西就会很轻松读懂。观察之后你会发现，我们所需要的东西在一个<td class="t"><a href="所要去的网址" class="t"></a></td>之中，我们要把href提取出来，所以我们select之中的差数即为‘td.t a.t’。这里的点可以理解为td的标签下 class=‘t’。通过这个唯一标识，我们就能get到想要的东西
（5）：返回类目，也就是我们爬取的根网页，这个并不是我们想要的东西，只是方便将来我看爬取的东西是什么。用了切片切取了网页的前22位。（6）：打印出来类目
（7）：创建一个list，用来存放网址
（8）：把获取的网址添加到list中去
现在我们已经有了具体的网址，接下来我们要爬取具体信息了：
for url inpage_link:inf = requests.get(url)
inf_soup = BeautifulSoup(inf.text,'lxml')
titles = inf_soup.select('div.col_sub.mainTitle > h1')
times = inf_soup.select('li.time')
prices = inf_soup.select('div.su_con > span.price')
places = inf_soup.select('div.su_con > span.c_25d')
if titles==[]:
title=['null']
else:
title=titles[0].get_text()
if times == []:
time = ['空']
else:
time = times[0].text
if prices == []:
price = ['null']
else:
price= prices[0].text
if places == []:
place = ['null']
else:
place = places[0].text[1:3]+places[0].text[-3:-1]
data = {
'title': title,
'time': time,
'price': price,
'places': place,
'类型':'个人'if(main_url[22:23] =='0')else'商家'
}
if(title!=['null']):
print(data)
for循环的意思即为，遍历list中所有的网址。
inf = requests.get(url)
inf_soup = BeautifulSoup(inf.text,'lxml')
titles = inf_soup.select('div.col_sub.mainTitle > h1')
times = inf_soup.select('li.time')
prices = inf_soup.select('div.su_con > span.price')
places = inf_soup.select('div.su_con > span.c_25d')
同get到href的方法，右键检查
3000，好贵
以价格为例，在class='su_con'的子标签中他的clss='price c_f50',我们根据这个就可以提取出来所想要的信息。
if titles==[]:
title=['null']
else:
title=titles[0].get_text()
if times == []:
time = ['空']
else:
time = times[0].text
if prices == []:
price = ['null']
else:
price= prices[0].text
if places == []:
place = ['null']
else:
place = places[0].text[1:3]+places[0].text[-3:-1]
在这些if语句中，如果卖家没填这些信息，我们把他设为空，如果填了我们就用.text方法把两个标签之间夹的信息提取出来，例如price里的3000。这里的地址使用了切片因为提取出来的信息含有大量的换行符。所以切取想要的部分，并用加号连接。
data = {
'title': title,
'time': time,
'price': price,
'places': place,
'类型':'个人'if(main_url[22:23] =='0')else'商家'
}
if(title!=['null']):
print(data)
把提取的信息存放到一个叫data的字典里。这里有一个问题，直接输出字典会出现全空的网页，所以这里通过过滤title的方法来过滤掉没用的信息。我们可以看一下结果：
是不是感觉amazing
最后：
就是这样~是不是感觉还可以。这只是一个简单的版本，有兴趣的小伙伴可以把整个北京的信息都爬取下来，可以做一些简单的数据处理。只需要在加一个循环即可。
可以加博主qq：844255371 咱们共同研究，记得附上备注简书。
博主脸皮中等厚度，记得文明探讨最后的最后，附上github，ipad.py就是源代码。github
网友评论