使用selenium抓取已购买订单的信息
本人是公司的数据分析师一枚，昨天公司的秘书妹纸跟我抱怨说，每天都要登录老板的账号，去等级老板的淘宝购买订单信息，一页页的翻去手动登记，简直是要了老命了呀，这个时候我灵光一现，怎么可以让秘书妹纸受这样的委屈，当即对秘书妹纸讲，这个粗活还是让我来每天登记吧，哈哈哈，我怎么可能一页一页的去登记，于是就想用爬虫的技术直接抓取下来，岂不美哉。说干就干。
第一次本来想尝试使用requests抓取的，已经找到了订单信息的api，但是淘宝的伪造登陆问题实在是需要很多参数，简单尝试之后就放弃了，果断使用selenium
不是更简单，废话不多说了，直接上码。
第一步： 配置环境，pip install -i https://pypi.douban.com/simple selenium 这里使用豆瓣源进行安装，下载速度快一大截，可以自己尝试。
第二步：配置webdriver，下载浏览器对应的webdriver版本，这个可以直接在网上查找搜索 谷歌浏览器对应的driver版本就可以找到了，这里就不赘述。如果不想指定路径的话，就直接把下载好的webdriver复制到你的python安装目录下，本人的python安装目录是 C:\Users\Administrator.PC-20190709LRDQ\AppData\Local\Programs\Python\Python36
第三步：直接上代码，下面慢慢解释
第四步：代码讲解
1. 定义一个抓取淘宝已购订单信息的类AlibabaBought， 下面的类属性是后面的类方法里面需要用到的，这里我把它定义成类属性，方便后面的直接调用跟代码的美观性，__init__方法是类实例化的时候直接会调用的，这里用来添加浏览器打开的参数，这里只是简单的设置了一下浏览器的宽高，其他需要的参数可以在网上自己查阅，其实用不用都没啥。
2. 定义一个点击事件的方法，因为后面的点击操作需要重复调用，所以封装成方法，用传参的方式直接调用方法，也就有了后面的点击我的淘宝click_mytaobao方法，点击之后网页会弹出登录页面，这里我们采用扫码登录的方法，规避了淘宝滑动验证码的坑，然后就是点击已买到的宝贝click_bought方法
3. 上面第2的步骤已经让页面进入了订单的页面，就可以开始通过selenium的browser.page_source获取网页源代码，然后通过lxml对源码进行解析，lxml的xpath解析我就不多讲了，讲太细文章太长了。
4. 解析好的代码出来的文本对象就可以通过列表的append方法进行添加上去，因为上面我们提到了我们的列表是类属性，所以是公共的资源，一个方法添加之后，列表已经缓存在内存中，后面的保存时候直接调这个列表就可以获取到数据
5. 获取需要抓取的信息的xpath方法，这里教大家一个简单的方法，相信f12大家都会用，打开开发者工具，然后点击你需要抓取的信息，找到代码，然后右键，仔细看有个copyxpath，点击就好了
6. 解析好了之后，剩下的就是翻页的循环抓取了，这里也比较简单，就是获取到下一页这个地方的xpath，然后调用点击事件的方法，就可以自动点击下一页的，再循环第5的步骤，进行解析。
7. 最后就是保存了，因为我要保存到excel中，这里我习惯使用pandas，有其他的方法也可以，最后做出来就好。详细的大家可以看我的源码，都是比较简单基础的。
8. python之禅，一定要讲究代码的美观性，我刚开始实现的时候，也是胡乱写得，然后测试运行成功之后，在进行封装成类，大家也可以按照我的这个方法来，先写main函数，然后在类里面写一个run方法，main函数里面就直接调用类的run方法就好。
哈哈哈，这就成功帮秘书妹纸做好了，最后我还用pyinstaller进行了打包成exe可执行文件，妹纸拿到后，点击运行，啧啧啧，那炫酷的代码跑起来，不多说，懂得。最下面有代码，随便复制使用，反正我都测试很多回了。
from seleniumimport webdriver
from selenium.webdriver.chrome.optionsimport Options
from selenium.webdriver.common.byimport By
from selenium.webdriver.supportimport expected_conditionsas EC
from selenium.webdriver.support.waitimport WebDriverWait
from lxmlimport etree
import pandasas pd
import time
class AlibabaBought:
'''
抓取个人淘宝订单的已购买的订单
'''
url= 'https://www.taobao.com'
mytaobao_xpath= '//*[@id="J_SiteNavMytaobao"]/div[@class="site-nav-menu-hd"]/a'
bought_xpath= '//*[@id="bought"]'
page_xpath= '//*[@id="tp-bought-root"]/div[19]/div[2]/ul/li[@class="pagination-next"]'
date_list= []
order_list= []
title_list= []
shop_list= []
num_list= []
price_list= []
statecode_list= []
unit_price_list= []
def __init__(self):
'''
实例化的时候自动设置浏览器的参数
'''
chrome_options= Options()
chrome_options.add_argument('--window-size=1500,1366')
self.browser= webdriver.Chrome(chrome_options=chrome_options)
def click_case(self,my_xpath):
'''
点击事件
'''
button= WebDriverWait(self.browser,20).until(
EC.element_to_be_clickable(
(By.XPATH,my_xpath))
)
button.click()
def click_mytaobao(self):
'''
打开需要访问的网站,点击我的淘宝
'''
self.browser.get(self.url)
self.click_case(my_xpath=self.mytaobao_xpath)
# 扫码登录
def click_bought(self):
'''
点击已买到的宝贝
'''
self.click_case(self.bought_xpath)
def click_next_page(self):
'''
点击下一页
'''
self.click_case(self.page_xpath)
def analysis_web(self,order_list_xpath,order_list):
'''解析网页源代码'''
page_taobao_html= self.browser.page_source
my_data= etree.HTML(page_taobao_html).xpath(order_list_xpath)
order_list.append(my_data[0])
print(my_data[0])
print('-' * 100)
def make_data_xpath(self):
'''构造订单信息的xpath路径并解析源码保存到列表中'''
for iin range(4,19):
date_xpath= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[1]/tr/td[1]/label/span[2]/text()' % i
order_xpath= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[1]/tr/td[1]/span/span[3]/text()' % i
title_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[2]/tr/td[1]/div/div[2]/p[1]/a/span[2]/text()' % i
shop_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[1]/tr/td[2]/span/a/text()' % i
num_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[2]/tr/td[3]/div/p/text()' % i
price_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[2]/tr/td[5]/div/div[1]/p/strong/span[2]/text()' % i
statecode_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[2]/tr/td[6]/div/p/span/text()' % i
unit_price_path= '//*[@id="tp-bought-root"]/div[%s]/div/table/tbody[2]/tr/td[2]/div/p/span[2]/text()' % i
self.analysis_web(date_xpath,self.date_list)
self.analysis_web(order_xpath,self.order_list)
self.analysis_web(title_path,self.title_list)
self.analysis_web(shop_path,self.shop_list)
self.analysis_web(num_path,self.num_list)
self.analysis_web(price_path,self.price_list)
self.analysis_web(statecode_path,self.statecode_list)
self.analysis_web(unit_price_path,self.unit_price_list)
def save_date(self):
'''保存到指定路径下面为excel'''
taobao_dic= {'date': self.date_list,'order': self.order_list,'title': self.title_list,'shop': self.shop_list,'num': self.num_list,'unit_price': self.unit_price_list,
'price': self.price_list,'statecode': self.statecode_list}
print(taobao_dic)
df= pd.DataFrame(taobao_dic)
save_path= input('请输入需要保存的文件路径：')
if save_path:
df.to_excel(save_path+ r'\淘宝购买明细.xlsx',index=False)
else:
df.to_excel(r'f:\桌面\珊珊\淘宝购买明细.xlsx',index=False)
def run(self):
self.click_mytaobao()
self.click_bought()
while True:
self.make_data_xpath()
is_go_on= int(input("继续抓取请输入 1 ；退出请输入 2："))
if is_go_on== 1:
self.click_next_page()
time.sleep(3)
elif is_go_on== 2:
self.browser.close()
break
self.save_date()
def main():
alibaba_bought= AlibabaBought()
alibaba_bought.run()
if __name__== '__main__':
main()
网友评论