文|伍小五
通过网络平台学习，选课是其中一个难题。一般，我会先去搜索是否有相关课程的经验分享，或者看看公众号没有有相关课程推荐，又或者，到一些网络学习平台上看它们的排行榜。但是，这样会有两个问题，一是个人的经验更具有个性化，不一定适合自己，并且不是每个人上了课都会在网上写经验推荐的，所以能做出选择的范围比较窄；二是平台上的排行榜，排列依据比较单一，参加排列的课程也比较少，有些好的课程也不容易发现。
于是，我尝试用数据抓取软件，将一个学习平台上所有课程的数据都抓取出来，用统计的方法做一个简单计算和排序。目的，是想得到一个比较全面、客观的课程选择信息。方便自己也方便他人。
这里选择的是【网易云课堂】这个平台，针对里头的免费课程做一个排序。为什么是【网易云课堂】？因为上面的课程有评分、学习人数这样的量化指标，容易计算。另外，云课堂里头有收费课程和免费课程，为什么只选择免费课程做统计？为的是剔除价格因素的影响，还有，我抠门的本性，首先就想看看有哪些免费好课。
1.如何统计？
这部分只是对我所有的方法有个交代，如想看结果请直接下拉到第二、三部分。
云课堂上的课程分为6大类，分别是编程开发、办公效率、产品和设计、生活方式、职业发展和市场营销。每门课程都有评分和学习人数，评分越高代表课程质量越好，学习人数越多说明课程越受欢迎。
现在想要做的就是将评分和学习人数作为两个变量，放在一个公式里，计算出一个数，这个数越大越好，表明课程既口碑好又热门。我给这个数起了名字，叫口碑热门指数。
所以，我的初步想法是：
口碑热门指数=评分*学习人数
然而，评分最高是5分，学习最多有30几万人，它们俩不是一个单位且不在同一量级，不可进行同一水平的比较和计算。所以，对它们进行标准化：
x'=(x-min)/(max-min)
其中max为样本数据的最大值，min为样本数据的最小值。
评分的标准化过程，就是用每门课程的评分减去所有评分中最低的那个分数，再除以最高评分与最低评分之差。这样就相当于计算了评分在总体中的相对位置，结果总是在0-1之间。学习人数也是一样处理。通过这样的计算后，就有了【评分标准数】和【学习人数标准数】。
于是，最终的计算方法就是：
口碑热门指数=评分标准数*学习人数标准数
接下来，在云课堂界面上选择免费课程，通过数据抓取软件，采集每门免费课程的课程名称、评分和学习人数，最终得到了3000组数据（课程名称、评分和学习人数视为一组），也就是云课堂上免费课程一共有3000门（图中序号排列到3001，是因为第一行是标题行）。
从网易云课堂抓取的免费课程数据
2.口碑好又热门的免费课程名单
用上面的方法，将每门课程的口碑热门指数计算出来，按照从高到低的原则排序，前50名是：
3.分类的课程排名
以上是综合的排名，下面请看分类的排名，排序方法不变。
编程开发
编程开发.jpg
办公效率
办公效率.jpg
产品和设计
产品和设计.jpg
生活方式
生活方式.jpg
职业发展
职业发展.jpg
市场营销
市场营销.jpg
4.一些说明
以上数据的抓取日期是不一样的，第二部分的总排名数据采集于2017年3月11日，第三部分的数据采集于2017年3月12日，可能有些课程的上课人数或者评分会不同，但是只有一天的时间间隔，变化不大，不影响总体的排名。
另外，网易云课堂网站首页的课程学习人数和单独的课程页面上的学习人数是不一致的，不知道为什么会不一致，我采集的是网站首页的数据。但是，差距不大，仍然不影响排名。
还有，我用的数据抓取软件叫集搜客。不是广告，只为交代清楚。
最后，希望这些信息能为大家选择的时候提供多一个角度的参考，并且能省下一些时间。
网友评论