Python实战计划爬虫作业第一周作业:爬58同城

作业要求：

作业要求1.1 作业要求2

作业要求更改说明：由于58同城页面改版，二手商品的个人卖家均改为了“转转”，因此，本次爬虫作业，无法屏蔽转转卖家，而是直接从转转卖家的页面爬取信息。

我的代码

from bs4 import BeautifulSoup
import requests
import time
import os

'''
本作业是完成爬取http://bj.58.com/shouji上的商品信息,最后将商品信息存在本地的.txt文件中
每个商品的共有一下属性:
   root  : 商品路径
   title : 商品标题
   price : 商品当前价格
   view  : 商品的访问次数
   image : 商品封面图片
   area  : 商品所属地
   qual_label : 商品的质量标签
'''


def get_search_url(pageNum, who_sells, type = 'shouji'):
    '''
    用来生成一个搜索页的URL
    :param pageNum:    访问的页码
    :param who_sells:  个人卖家以及商家卖家
    :param type:       商品类型
    :return:           URL的字符串
    '''
    url = 'http://bj.58.com/{}/{}/{}'\
        .format(type, str(who_sells), 'pn'+str(pageNum))
    return url

def get_links(url, headers):
    '''
    用来得到当前搜索页的所有商品链接
    :param url:      当前搜索页的URL
    :param headers:  本机的headers
    :return:         一个list: 如果当前搜索页访问的状态码!=200,返回一个空list
                               如果当前搜索页访问状态码== 200,返回由当前页所有商品的URL组成的list
    '''

    webSite = requests.get(url, headers)

    urls = []
    if webSite.status_code != 200 :
        print('status_code : ', str(webSite.status_code),'\n', url, 'cannot open')
        return urls

    soup = BeautifulSoup(webSite.text, 'lxml')
    links = soup.select('td.t > a.t')
    for link in links:
        urls.append(link.get('href'))

    return urls

def get_sinlge_info(url, headers):
    '''
    用来得到一个商品的信息
    :param url:      商品页的URL
    :param headers:  本机访问的headers
    :return:          一个dictionary : 如果商品页访问状态码 != 200, 返回空dictionary
                                      如果状态码 == 200, 返回包含商品信息的dictionary
    '''
    webSite = requests.get(url, headers=headers)

    single_info = {}
    if webSite.status_code != 200:
        #这里可以设置打印出错误的状态码,便于调bug
        return single_info  # 如果状态码不是200,访问网页会有一定问题,则跳入下一次循环

    soup = BeautifulSoup(webSite.text, 'lxml')

    root = soup.select('div.breadCrumb')
    title = soup.select('div.box_left_top > h1')
    price = soup.select('span.price_now > i')
    view = soup.select('span.look_time')
    image = soup.select('div.g_img > span > img')
    area = soup.select('div.palce_li > span > i')
    qual_label = soup.select('div.quality > span > span.qual_label')

    single_info = {
        'root' : list(root[0].stripped_strings),  # 商品路径
        'title': title[0].get_text(),  # 商品标题
        'view' : int(view[0].get_text()[:-3]),  # 访问次数
        'price': float(price[0].get_text()),  # 价格
        'image': image[0].get('rel'),  # 商品封面图片
        'area' : area[0].get_text(),  # 商品区域
        'qual_label': [label.get_text() for label in qual_label]  # 商品质量标签

    }

    return single_info

def get_info_from(pageNum = 1, who_sells = 0, type = 'shouji'):
    '''
    从 pageNum 中获取 who_sells 销售的 type 类型商品信息
    :param pageNum:   搜索页的页码(默认为第1页)
    :param who_sells: 销售的用户类型(默认为个人卖家)
    :param type:      商品类型(默认为手机)
    :return:  一个list, 每个元素为一个商品信息组成的dictionary
    '''
    headers = {
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
        'Cookie' : 'bj58_id58s="Rm9Ca1lhQU1Fd0ZROTA1NA=="; id58=c5/njVeK25sP1F/iJ71uAg==; als=0; myfeet_tooltip=end; bangbigtip2=1; ipcity=km%7C%u6606%u660E%7C0; sessionid=812ecc7d-5679-4b81-b3c5-bc6c57997b68; final_history=26097540789057%2C26727826953024%2C26697721819855%2C26062681492781; city=bj; 58home=bj; bj58_new_session=0; bj58_init_refer=""; bj58_new_uv=4; 58tj_uuid=6530a941-1013-4a74-b2a4-9f9781f6f4ca; new_session=0; new_uv=4; utm_source=; spm=; init_refer='
    }

    search_url = get_search_url(pageNum, who_sells, type) #获取搜索页的URL
    links = get_links(search_url, headers = headers)

    info = []
    for link in links:
        # time.sleep(2) #每访问一个网页暂停一秒
        try:
            single_info = get_sinlge_info(url = link, headers = headers)
        except requests.exceptions.ConnectionError as e:
            print(e.__traceback__)
            time.sleep(10)

        if len(single_info) == 0:  #如果网页的response的状态码不是200,则get_sinlge_info返回空的dict
            continue

        info.append(single_info)

    return info

def write_info(info, filename):
    '''
    将商品信息写入本地的filename中,为了降低I/O开销,因此每访问完一个搜索页所有的商品信息后再写入一次
    :param filename:  本地的filename的绝对路径
    :param info: 多个商品信息组成的list
    :return: void
    '''
    with open(filename,'a') as file:
        for single_info in info:
            file.write(str(single_info))
            file.write('\n')

    print('又完成了一页')

def main():
    filename = '/Users/xyh/Documents/python/python3/Week1/Week1_Homework/product.txt'

    for pageNum in range(1,11):
        info = get_info_from(pageNum = pageNum, who_sells=0, type='shouji')
        write_info(info, filename)

if __name__ == '__main__':
    main()

代码写得有扩展性：

• get_info_from()函数设计得可以传入，页码，卖家类别，以及商品类别，使得该函数不只适合本次作业，可以适合58同城的其他商品爬取

总结

• 由于58同城页面的改版，浏览次数并不需要像作业详解中的从JS文件中获取，而是直接从html页面中获取，因此浏览次数并不复杂
• 封面图片的链接，这次并不在<img>标签内的“src”属性中，而是在“rel”属性中

问题：怎样使得程序更健壮？

1. 希望如果网页如果不是正常打开时，有更完备的解决方案。因为在58同城中，如果商品搜不到，返回的是58自己设计的404页面，从浏览器看，这个页面的状态码也是200。
2. 希望可以设置一个功能，当10s内网页没有解析出来，就打印出相关信息，并跳到下一页。但是不知道怎么做。
3. 希望能够有老师能够提供一些关于爬虫问题的异常处理的方案，或者教程，让程序变得更健壮。