数据分析的毕业项目从爬数据开始，尝试了几种软件和方式，碰到各种问题，也没有达到预期效果， 所以爬虫课伊始，仍从之前未解决的问题开始，只是这次把工具换成了python。
L1.作业要求：
数据类别
数据源网站
数据URL
数据的筛选规则（可选）
Let's start.
目标是比较四个家居品牌的床品：
四个品牌的床品比较
具体信息分列如下：
数据类别：
先从被套这个品类开始。
收集的数据类别有产品名称，价格，规格，成分，尺寸，详细描述， 保养说明，图片地址。
其中价格是数值，其他都是文字。
对应的数据源网站：
首选四个品牌的官网作为数据源。IKEA和H&M都没有问题，但是ZARA HOME官网是英文的，考虑到方便比较，改用其天猫店。
MUJI也是官网和天猫店都有。区别是天猫店按照款式分，到详细页面再选择各种颜色和尺寸，数据条目显得比较少，而官网把颜色尺寸都各自算成一个款式，数据分散，而且无货产品也全部在列。虽然天猫的信息采集会比较麻烦，但是有购买数据和反馈，比较后还是采用天猫店作为数据源。
左边天猫 右边官网
四家网站：
IKEA 网络商城主页
https://www.ikea-sh.cn/?utm_source=IRW%5FPC%5FIcon&utm_medium=IRW&utm_content=PC&cid=ms|cn|cn_ecommerce|201608311217570417_1
H&M Home主页
http://www2.hm.com/zh_cn/home.html
MUJI 天猫店
https://muji.tmall.com/?spm=a1z10.3-b-s.1997427721.d4918089.296a9a0Jp6IBI
采集数据的URL：
IKEA 被套和枕套页面
https://www.ikea-sh.cn/home-furnishing/home-textile-products/bedlinen/quilt-cover.html
H&M Home 床品页面
http://www2.hm.com/zh_cn/home/shop-by-product/bed-linen.html?product-type=home_bedlinen_all&sort=stock&offset=0&page-size=30
数据的筛选规则:
根据老师解释，个人理解筛选规则是指要找到需采集的信息在页面上的具体位置。
前段时间做项目，采集数据的时候为了定位采集，按照建议装了Firefox浏览器， 以及Firebug和FirePath扩展插件，这样可以看到实际的url。比如我要看产品名称，就把鼠标移到要采集的这个字段上， 点击右键，选择查看元素就能看到网页的具体信息，或者选择inpect in Firepath能看到具体的定位。
以下是四个网站上产品名称字段的具体位置。
IKEA网页
H&M网页
ZARAHOME网页
MUJI网页
不过有个小困惑，
在电脑上点击以上要采集数据的url都可以直达，换成手机只能出现网站首页，无法到达要采集的页面。有人碰到这个问题吗？而且不是四个都有问题， HM可以，其他三个有问题。是不是因为天猫要登陆？宜家网络商城也会先弹出一个对话框要求选择城市，但是选完后就跳到了商城的首页，也不能直达页面。
以上为作业。
另外，有个问题关于课件上的例子，解密大数据专题的实际url是这样的：
实际url
我用firefox看到的是这样的，课件上的url后面那个&page=1是从哪里看到的？还是应该用代码的方式来查看实际url？
解密大数据页面的url
有效url的获得未细讲，先mark。
To be continued...
网友评论