阅读前提示:下文提及内容或许可以通过编程等技术更方便快捷实现,但本人非技术出身,写这篇文章更多是面向不懂技术的品牌行业从业者以较小学习成本实现工作需求。
相信对于品牌宣传、品牌公关的从业者来说,舆情监测早已见怪不怪了。但是提到商品在电商平台上的舆情监测,似乎就比较少了。
先前咨询过好几家舆情监测系统的供应商,都说没法监测到电商平台,只能针对平常的媒体,如论坛、双微、网媒等。后来,终于联系到一家系统供应商,支持个别电商平台上的商品口碑的监测。但是监测的方法又不像媒体监测那样直接设置关键词就可以,而是要手动将要监测的商品的链接(URL)输入到系统后台,从而系统再根据输入的链接进行采集。
虽然找到了可以监测电商平台的系统,但是又遇到了另外一个问题——商品链接数量少的话,还可以一个一个去手动输入;但是万一品牌店铺多,商品数量也多,那么一个一个链接去输入显然不可能。所以,要解决的是:如何快速采集到电商平台上某个品牌的所有商品链接?为了减少步骤,我们把范围限定在品牌专卖店,这样通过采集专卖店的所有商品链接得到的就全都是某品牌的商品链接了。
随便打开一家店铺的商品的链接进行比较,可以发现,商品链接的组成上大部分内容是一致的,唯独有个“id=”后面的数字是不一样的。经过比较和验证,我们得出:只要得到每个商品链接上的“id=”后面的数字,再填充到链接模板,这样就可以得到所有商品的链接了。
所需工具:Notepad++、Fiddler
某东和某猫的采集难度不尽相同,相对来说,某猫比较容易。我们就先说某猫的采集吧。
1、打开某猫上面某品牌的某家专卖店的网页链接,点击导航栏上的“本店所有商品”,跳转到显示该店铺所有商品的页面↓
2、按一下键盘上的“F12”,弹出“查看源代码”的窗口↓
3、刷新一下店铺“所有商品”页面,可以看到“查看源代码”的窗口开始有内容显示出来↓
4、点击第一个商品,复制该商品的链接里面的“id=”后面的一串数字,这个就是该商品的编码了↓
5、回到“查看源代码”页面,在左上角的“Filter”框中输入复制的“id”数字。下方的“Name”框中会显示出一条内容,点击该内容,再点击右边的“Headers”,拉到下方,找到“item_list=”,复制后面的一串数字连同逗号。这时我们就已经得到这个店铺的所有商品的id了,从而可以进一步形成商品的链接。但现在的这一串“id”是连在一起的,而且还有逗号。所以我们需要将这些“id”分行,每个“id”一行,也便于形成链接。
6、打开notepad++,将复制的这一串“id”数字粘贴到notepad++上。鼠标选中数字后面的逗号,按Ctrl+F,弹出“查找替换”窗口,点击切换到“替换”,“查找模式”那里选择“扩展”,然后在上方的“替换为”框中输入“\n”(也就是换行的指令),点击“全部替换”,可以看到所有的逗号都删除了,每个id也换行显示。最后复制这些id。粘贴到Excel表同一列上。
7、回到第一个商品的页面,复制商品链接一直到id=后面的数字作为模板,粘贴到excel表上每个id的前一列(这里可能需要先将那一列改为文本格式)。复制这两列内容,粘贴到notepad上,去掉链接中间的空格。选中空格,按Ctrl+F,点击“替换为”,后面的框中不用填写内容,点击“全部替换”。这样就得到所有商品的链接了。
至于某东上的商品链接采集,原理都一样,只是步骤会稍微麻烦。
前面的几个步骤跟某猫的操作是一样的。一直到第5个步骤——“查看源代码”窗口左上角的“Filter”框中输入的是“/comment/productCommentSummaries.action”,下方的“Name”框中会显示出一些类似链接一样的内容,即为此页面所有商品的相关链接了。复制这些内容粘贴到Excel上(每次最多只能复制20条),然后回到店铺的“所有商品”页面,点击下一页。再回到“查看源代码”页面,可以看到新增了好几条内容,再将这些内容复制粘贴到Excel上。按这样的操作直到复制完最后一页的商品。
上面我们复制的每条内容中其实都包含了各个商品的id。接下来我们要做的就是将这些id分离出来,从而形成链接。这里就要用到Excel的“分列”功能。我们观察到id的前后都有相同的符号,那么就可以利用这个相同符号作为分列的符号,将id分离出来。选中这一列内容,然后点击Excel上方的“数据”——“分列”,选中“分隔符号”,点击“下一步”,选择“其他”,后面的框中输入“(符号)”,点击“下一步”,点击“完成”。这样就将id分离出来了。
回到商品的页面,可以发现每个商品的链接都是相同的格式,将某个链接复制,然后粘贴在Excel表格中数字id的前一列和后一列,这样就可以形成一个完整的商品链接。复制这三列内容,粘贴到notepad上,接下来去掉链接中间的空格。选中空格,按Ctrl+F,点击“替换为”,后面的框中不用填写内容,点击“全部替换”。这样就得到所有商品的链接了。
温馨提醒:经过我的尝试,某东的这种采集方法大部分情况都适用,但似乎有个别情况采集不到。更进一步的解决方法可能就要借助技术手段或者其他专业软件去实现了。
网友评论