爬虫实战之Selenuim爬取某宝美食数据

作者: BeautifulSoulpy | 来源:发表于2020-10-15 22:06 被阅读0次

爬虫实战之Selenuim爬取某宝美食数据
Python爬虫实战之爬取链家广州房价_03存储
Pyppeteer入门及中文教程
实战2：使用selenium爬取淘宝数据，保存在mongodb
爬虫实战七、使用Scrapyd部署Scrapy爬虫到远程服务器
2017-12-31
爬虫
Python爬虫之Scrapy框架爬取XXXFM音频文件
「完结篇」网络爬虫+实时监控+推送微信
Python 学习——每天写点小东西-6

淘宝可以说是一个检验爬虫技术是否过关的最强关卡了，下面来打破它吧。

淘宝的所有操作差不多都是在登录的状态下进行的，这时候想要对淘宝进行请求获取信息就必须在登录的状态下进行了。

方式一：（selenium）
使用selenium模块，使用自动化模块进行爬取淘宝，对自己需要的信息进行爬取下来，这是一个很简单的方式，但是这也是一个效率比较低下的爬虫形式。这个简单的自动化爬取形式就不详细讲解了。但是有一个值得注意的点就是登陆的时候，会被检测出内容输入的速度过快，之后弹出一个滑动验证条，需要对验证条进行处理才能够登陆成功。

方式二：（requests）
使用requests模块，对淘宝页面发起请求，但是在发起请求之前就需要携带上淘宝账号的cookies信息，如果没有携带cookies信息，那么对淘宝发起的所有请求都没有任何有用信息返回。

1. selenium简介

使用selenium模块，使用自动化模块进行爬取淘宝，对自己需要的信息进行爬取下来，这是一个很简单的方式，但是这也是一个效率比较低下的爬虫形式。这个简单的自动化爬取形式就不详细讲解了。但是有一个值得注意的点就是登陆的时候，会被检测出内容输入的速度过快，之后弹出一个滑动验证条，需要对验证条进行处理才能够登陆成功。

1.1 针对浏览器的主要操作方法：

创建浏览器对象：driver = webdriver.xxx()
窗口最大化：maximize_window()
获取浏览器尺寸：get_window_size()
设置浏览器尺寸：set_window_size()
获取浏览器位置：get_window_position()
设置浏览器位置：set_window_position(x,y)
关闭当前标签/窗口：close()
关闭所有标签/窗口：quit()

1.2 selenium定位元素

因为selenium是模仿真实点击浏览器的行为，所以必须要先定位网页元素，才能进行各种操作。

「定位页面元素的8种主要方式」
id定位：driver.find_element_by_id(value)
name属性值定位：driver.find_element_by_name(value)
类名定位：driver.find_element_by_class_name(value)
标签名定位：driver.find_element_by_tag_name(value)
链接文本定位：driver.find_element_by_link_text(value)
部分链接文本：driver.find_element_by_partial_link_text(value)
xpath路径表达式：driver.find_element_by_xpath(value)
css选择器：driver.find_element_by_css_selector(value)

1.3 selenium操作网页

定位元素后，需要对网页进行各种操作，比如点击、刷新、保存等。

点击展开新的页面，点击方法：element.click()

其他主要操作方法：
请求某个url：driver.get(url)
刷新页面操作：refresh()
回退到之前的页面：back()
前进到之后的页面：forward()
获取当前访问页面url：current_url
获取当前浏览器标题：title
保存图片：get_screenshot_as_png()/get_screenshot_as_file(file)
网页源码：page_source

2. 爬取流程

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import time, datetime, random

# 创建Chrome浏览器对象，这会在电脑中打开一个窗口
browser = webdriver.Chrome('C:/Users/dell/Downloads/chromedriver_win32 (1)/chromedriver.exe')
wait = WebDriverWait(browser, 10)

# 保存图片；
def savepic():
    basepath = 'F:/test/'
    filename = "{:%Y%m%d%H%M%S}-{:03}.png".format(datetime.datetime.now(), random.randint(1,100))
    browser.save_screenshot(basepath+filename)
    # 生成页面快照并保存

def search():
    browser.get('https://www.taobao.com/')
    input = wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
    )  # 选择输入框

    # 点击搜索按钮
    submit = WebDriverWait(browser, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
    time.sleep(1)
    input.send_keys('美食')
    time.sleep(1)
    submit.click()

    # login
    input_username = wait.until(EC.presence_of_element_located(
        (By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-loginid > input')))
    input_password = wait.until(EC.presence_of_element_located(
        (By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-password > input')))
    input_login = wait.until(EC.presence_of_element_located(
        (By.CSS_SELECTOR, '#login-form > div.fm-btn > button')))

    input_username.send_keys('*******')
    print('账户名输入完成')
    time.sleep(1)
    input_password.send_keys('*******')
    print('密码输入完成')
    # input_password.send_keys(Keys.ENTER)
    time.sleep(1)
    # 等待登录按钮
    input_login.click()
    print('登录成功!')

def main():
    search()

if __name__ == '__main__':
    main()

显示出搜索页了

查看页数

翻页：输入每一页页码，不使用下一页，防止出错；

图片.png

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *

import time, datetime, random, re, pymongo

# 创建Chrome浏览器对象，这会在电脑中打开一个窗口
browser = webdriver.Chrome('C:/Users/dell/Downloads/chromedriver_win32 (1)/chromedriver.exe')
wait = WebDriverWait(browser, 10)

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def search():
    try:
        browser.get('https://www.taobao.com/')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
        )  # 选择输入框

        # 点击搜索按钮
        submit = WebDriverWait(browser, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
        time.sleep(1)
        input.send_keys('美食')
        time.sleep(1)
        submit.click()

        # login
        input_username = wait.until(EC.presence_of_element_located(
            (By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-loginid > input')))
        input_password = wait.until(EC.presence_of_element_located(
            (By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-password > input')))
        input_login = wait.until(EC.presence_of_element_located(
            (By.CSS_SELECTOR, '#login-form > div.fm-btn > button')))

        input_username.send_keys('')
        print('账户名输入完成')
        time.sleep(1)
        input_password.send_keys('')
        print('密码输入完成')
        # input_password.send_keys(Keys.ENTER)
        time.sleep(1)
        # 等待登录按钮
        input_login.click()
        print('登录成功!')

        # 页数
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total')))
        get_products()
        return total.text
    except TimeoutException:
        return search()   # 超时重新请求；

def next_page(page_number):
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input')))
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
        input.clear()
        input.send_keys(page_number)
        submit.click()
        time.sleep(2)

        # 判断是否翻页成功
        wait.until(EC.text_to_be_present_in_element(
            (By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > ul > li.item.active > span'), str(page_number)))

        get_products()

    except TimeoutException:
        next_page(page_number)

def get_products():
    # 宝贝信息
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager .items .item')))
    html = browser.page_source
    doc = pq(html)
    items = doc('#mainsrp-pager .items .item').items()
    for item in items:
        product = {
            'image': item.find('.pic .img').attr('src'),
            'price': item.find('.price').text(),
            'deal': item.find('.deal-cnl').text()[:-3],
            'title': item.find('.title').text(),
            'shop': item.find('.shop').text(),
            'location': item.find('.location').text()
        }
        print(product)
        save_to_mongo(product)

def save_to_mongo(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print('保存到mongo_DB成功', result)
    except Exception:
        print('保存到mongo失败', result)




def main():
    total = search()
    total = int(re.compile('(\d+)').search(total).group())
    for i in range(2, 3):
        next_page(i)

    print(total)

if __name__ == '__main__':
    main()

# config.py
MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_TABLE = 'product'

声明：本爬虫仅供学习，若被他人用于商业用途与本人无关！

爬虫实战之Selenuim爬取某宝美食数据
淘宝可以说是一个检验爬虫技术是否过关的最强关卡了，下面来打破它吧。淘宝的所有操作差不多都是在登录的状态下进行的，...
Python爬虫实战之爬取链家广州房价_03存储
问题引入系列目录： Python爬虫实战之爬取链家广州房价_01简单的单页爬虫 Python爬虫实战之爬取链家广...
Pyppeteer入门及中文教程
参考：爬虫神器 Pyppeteer 介绍及爬取某商城实战Pyppeteer：比selenium更高效的爬虫界的新神...
实战2：使用selenium爬取淘宝数据，保存在mongodb
实战2：使用selenium爬取淘宝数据，保存在mongodb 配置文件爬虫文件
爬虫实战七、使用Scrapyd部署Scrapy爬虫到远程服务器
一、准备好爬虫程序爬虫程序代码参考爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL 二、修改项目...
2017-12-31
python爬虫实战：爬取全站小说排行榜 ...
爬虫
复习什么是爬虫？爬虫是用来做什么的？怎么使用爬虫爬取数据？数据的重要性数据的来源爬取数据的规则【通用爬虫 ...
Python爬虫之Scrapy框架爬取XXXFM音频文件
本文介绍使用Scrapy爬虫框架爬取某FM音频文件。框架介绍 Scrapy是一个为了爬取网站数据，提取结构性数据...
「完结篇」网络爬虫+实时监控+推送微信
一、缘起本片文章是在笔者之前写过的文章：《定时从某网站爬取压缩包》、《「爬虫」从某网站爬取数据》基础上，对...
Python 学习——每天写点小东西-6
今天的爬虫是爬取某网站的所有链接，涉及到了MongoDB及其简单的操作，和多线程，虽然爬取的数据简单，但是能爬取这...