1-4homework-2

结果

---

Result.png

我的代码

---

#!/usr/bin/env python
#-*- coding: utf-8 -*-

__author__ = 'CP6'
import requests
import time
from bs4 import BeautifulSoup

urls = ['http://bj.58.com/pbdn/pn{}'.format(str(i)) for i in range(1, 10)]
headers = {
    'UserAgent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.21 Safari/537.36'
}

def get_info(url):
    wb_data = requests.get(url, headers=headers, timeout=6)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    time.sleep(3)
    # print(soup.title.text)
    titles = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')
    lookTimes = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > p > span.look_time')
    prices = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.price_li > span > i')
    cates = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.biaoqian_li')
    areas = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.palce_li > span > i')
    for title,lookTime,price,cate,area in zip(titles,lookTimes,prices,cates,areas):
        data = {
            'title':title.get_text(),
            'lookTime':lookTime.get_text(),
            'price':price.get_text(),
            'cate':cate.text.replace('\n','').replace(' ',''),
            'area':area.get_text()
        }
        print(data)
    # with open('info.txt','wb') as fs:
    #     fs.write(wb_data.content)

def main():
    for single_url in urls:
        single_url = 'http://bj.58.com/pbdn/pn1'
        wb_data = requests.get(single_url, headers=headers, timeout=6)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        links = soup.select('tr.zzinfo > td.img > a')
        for link in links:
            get_info(link.get('href'))

# 只有直接执行脚本才会运行下面的函数，如果其他文件引用这个文件，下面的函数不会执行
if __name__ == '__main__':
    main()

总结

---

• **1.注释 **

#!/usr/bin/env python
#-*- coding: utf-8 -*-

**第一行注释是为了告诉Linux/OS X系统，这是一个Python可执行程序，Windows系统会忽略这个注释；

第二行注释是为了告诉Python解释器，按照UTF-8编码读取源代码，否则，你在源代码中写的中文输出可能会有乱码。**

• 2. 由于网站的更新，所以我的本地的py脚本跟老师讲得可能还是有所区别。而且发现自己的代码还是有点很乱，还得锻炼。**

其中

1.selector 及时可以足够简化，太冗长也影响代码的可读性，只要在网页中检查其标签唯一性即可。

prices = soup.select('.price')
areas = soup.select('.c_25d')
dates = soup.select('.time')

浏览次数

2.title属性可以直接获取，其实也就是网页head里的标签，当然这个的使用，其实还是有一定概率性，可能个别页面的title跟你想要的会不一样，需要仔细区分。

'title': soup.title.text,

3.不得不再次爱上py的语法，简单，一行搞定，不过可读性嘛，习惯就好了

.'price': prices[0].text if len(prices) > 0 else 0,

其实也就等价于:
if len(prices) > 0 :
  return prices[0].text
else :
  return 0

再看这个：

url_last_part = url_path.split('/')[-1]

[-1]这里的-1指的是，数组的倒数第一个，所以[-2]，也就是倒数第2个，以此类推

这里其实也强调了对代码逻辑中边界问题的把控能力，你的代码不仅仅要适用于正常情况，还是适用于极端情况。再看下面的逻辑保护：

# 判断状态码，检查是否被网站封ip
 if wb_data.status_code != 200:
      continue

4.原来课程中比较难的一点就是，页面中浏览量的爬取（现在这个问题没有了，直接最简单的爬取即可），是通过页面中的js脚本来控制回写到页面（深刻感知js的爬取的天敌啊~），但是通过对source中的接口api进行查询（接口可以参照一下新浪微博接口的介绍，但现在已经找不到了）回调处理逻辑的分析，还是可以强行获取。

原本根据infoid是可以查询到访问量，也就是下图totla后面的数字，现在已经不需要了

api查询

其实总结起来，也就是对于网页链接中的网址变化特征要敏感，根据其不同的变化来猜测并验证猜测。

who_sells = 0 // 0为个人，1为商家
url = 'http://bj.58.com/pbdn/{}/pn2/'.format(who_sells)

// 访问量的查询也就是调用api后面，接上要查询的id即可。