全链路数据分析思路

数据分析学习，就要全链路的学习，就是从获取数据源，到数据清洗，再到数据分析，可视化的展现，

一整套完整的学习路径。这也是数据分析的完整思路。

上篇主要讲解爬去淘宝指定商品的部分信息，并写入到CSV文件中。

这部分使用pycharm

下篇主要讲解对爬取到的数据进行数据清洗，数据可视化的分析。

这部分使用jupyter notbook

【上篇】

引入所需要的库，没有的库，pip自行安装下就可以

定义函数：传入商品关键字参数，搜索商品页，返回总页数

光标定位在淘宝首页的搜索框内，传入搜索关键字例如：粽子，搜索，扫描登陆

获取到下面总页数，返回。

定义获取数据的函数：

获取商品的名称、价格、付款人数、店名、发货地址

获取后写入到csv文件中，以搜索关键字命名，mode=a 可追加，获取一页写入一次，newline=''是每行中间不空行，没这个参数每行直接都有一个空行，delimiter =',' 是逗号分隔符

定义主函数main():

翻页发现每页url只有q=和s=在变化，q是搜索关键字，s是一页商品数量，每页是44个单品

所以构造url如下

执行程序：

完整代码：

from seleniumimport webdriver

import time

import csv

import re

# 搜索商品，获取商品页码

def search_product(key_word):

# 定位输入框,定位搜索框中，查看代码发现id=q

    browser.find_element_by_id("q").send_keys(key_word)

# 定义点击按钮，并点击,"搜索"按钮的类名是btn-search

    browser.find_element_by_class_name('btn-search').click()

# 最大化窗口：为了方便我们扫码

    browser.maximize_window()

# 等待15秒，给足时间我们扫码

    time.sleep(15)

# 定位这个“页码”，获取“共100页这个文本”

    page_info = browser.find_element_by_xpath('//div[@class="total"]').text

# 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。

    # 返回总页数是”共100页“ 用正则取数字100，\d是匹配一个数字\d+匹配多个数字

    page = re.findall("(\d+)", page_info)[0]

return page

# 获取数据

def get_data():

# 通过页面分析发现：所有的信息都在items节点下

    items = browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq  "]')

for itemin items:

# 参数信息

        pro_desc = item.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text

# 价格

        pro_price = item.find_element_by_xpath('.//strong').text

# 付款人数

        buy_num = item.find_element_by_xpath('.//div[@class="deal-cnt"]').text

# 旗舰店

        shop = item.find_element_by_xpath('.//div[@class="shop"]/a').text

# 发货地

        address = item.find_element_by_xpath('.//div[@class="location"]').text

# print(pro_desc, pro_price, buy_num, shop, address)

        with open('{}.csv'.format(key_word), mode='a', newline='', encoding='utf-8-sig')as f:

csv_writer = csv.writer(f, delimiter=',')

csv_writer.writerow([pro_desc, pro_price, buy_num, shop, address])

def main():

browser.get('https://www.taobao.com/')

page = search_product(key_word)

print(page)

get_data()

page_num =1

    while int(page) != page_num:

print("*" *100)

print("正在爬取第{}页".format(page_num +1))

browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word, page_num *44))

browser.implicitly_wait(15)

get_data()

page_num +=1

    print("数据爬取完毕！")

if __name__ =='__main__':

key_word ="粽子"

    browser = webdriver.Chrome()

main()