前文我讲述了关于我是一名b站重度用户的事,由此产生了采集一份b站动态页数据的想法。
以下就是我使用八爪鱼采集器采集b站动态页数据的详细步骤。
01进入bilibili主站
鼠标移至右上角的导航栏。
image02点击动态大风车按钮
image03进入b站动态页面
image到达指定采集页面。
04点击视频投稿
筛选出视频动态。
这里就是需要的采集目标。
image确定了需要采集的数据所在的具体位置,接下来就是打开八爪鱼采集器。
05新建自定义任务
image我们在采集器中打开b站。
如果是首次打开,在八爪鱼内置的浏览器中没有cookie,所以需要登录一下才能看到自己的动态页。
登陆完成后。
06进入动态页面
image右侧会出现一个操作流程图。
07点击打开流程图
image08设置流程图
image可以看一下循环列表中间这个提取列表数据步骤。
09点击提取列表数据
image在左侧页面中就选中了需要采集的数据元素位置。
这是包含了目标页中所有我需要的数据。
10点击右上角的采集
image选择本地采集,就会在本地跑程序,自动将当前页面中目标列表中所有需要的数据都采集出来。
11点击导出数据
image也可以导出为文件,文件格式多种可选,也可以直接导出为数据库文件,主流多种数据库可选。
12选择excel确定
image我这里演示导出为excel文件。
以上就是整个b站动态页数据采集全流程。
我 是哪个:
金九亿
95后进化不完全的前后端不分离程序猿。
我的****关键词
2015-2018:社团、交友、恋爱、兼职。
2018-2019:创业、路演、校招。
2019-2022:职场、健身。
2022~未来:表达。
我的信条
坚持健身,持续学习,刻意表达。
我的目标
从现在开始,我刻意练习表达能力,为了更好地进化。
网友评论