一个简单的实例，可以采用。做的demo。

#!/usr/bin/python
# -*- coding: utf-8 -*-
# @Time    : 2020/6/4 15:55
# @Author  : Xuegod Teacher For
# @File    : 01_get_price_test.py
# @Software: PyCharm
'''
第一步：下载所有的html
第二步：利用xpath爬取匹配
第三步：保存到mongodb数据库中
'''
import requests #pip install requests
from lxml import etree # pip install lxml
#模拟浏览器的版本信息，python 脚本 模拟浏览器
#pip install fake-useragent
from fake_useragent import UserAgent

import pymongo #pip install
IP = '127.0.0.1'
PORT = 27017
Name = 'sun'
client = pymongo.MongoClient(IP,PORT)
db = client.sun
collection = db.lanjia


#模拟浏览器的头部信息
headers = {
    "User-Agent":UserAgent().random
}

base_url = 'https://bj.lianjia.com/ershoufang/pg{}/'

#todo:下载整个网页的html
def load_page(url):
    '''
    :param url: 页面的url地址
    :return: HTML界面
    '''
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            print('页面响应成功')
            #返回整体的html文本str类型
            return response.text
    except:
        print('网络请求错误')




#todo:提取我想要的数据
def parse_html(html):
    '''
    :param html: 整体的html界面
    :return: 数据。title和price
    '''
    #把具体的str类型的文本办成xpath可匹配的文本
    xpath_content = etree.HTML(html)
    #一个界面中的30条数据list
    xpath_datas = xpath_content.xpath('//*[@class="info clear"]')
    for data in xpath_datas:
        try:
            title = data.xpath('./div[1]/a/text()')
            price = data.xpath('./div[6]/div/span/text()')
            #list 是可以相加的python是强类型语言
            #【titl,价格，每平方价格】
            data = title + price
            insert_mongo(data)
        except:
            #停止本次循环开始下次循环
            continue


def insert_mongo(data):
    collection.insert_one({
        'name':data[0],
        'price':data[1]+'万'
    })
#多个页面数据下载
def main():
    for i in range(1,10):
        url = base_url.format(i)
        html = load_page(url)
        parse_html(html)


if __name__ == '__main__':
    main()

有疑问可以进行评论~