理解「认知诊断」

我们总在抱怨传统的教育方式有问题、不适合现在这个时代了。不考虑教学内容方面的原因，单就测试这块就还停留在工业时代。一次很偶然的机会^[1]，我读到其实这块早在二十年前就有解决方案了，自己真是井底之蛙。

简单地说，考试这档子事，目前的问题在于反馈不准 & 反馈太慢：

• 反馈不准：一张卷子考了辣么多知识点，你丫就给我一个分数？我怎么知道哪些知识点掌握了，哪些还懵着？
• 反馈太慢：一个月，甚至一个学期才考一次。等到考的时候，都忘得差不多了。那难不成你要一天一考、一课一考？

这里主要解决「反馈不准」的问题，至于改进反馈的即时性，可以用游戏化的手法解决，暂时先放一放。

我们先来看一张成绩单：

学生	题1	题2	题3	题4	题5	做对题数
丁一	✓	✓	✓	✓	✓	5
陈二	✗	✓	✓	✓	✓	4
张三	✗	✗	✓	✓	✓	3
李四	✗	✗	✗	✓	✓	2
王五	✗	✗	✗	✗	✓	1
赵六	✓	✗	✗	✗	✗	1

可以看到王五和赵六都只得了 1 分，你就能说他俩学得一样好了吗？赵六做出来的那道题，全班只有他和丁一做出来了，而王五做出来的那题，全班除了赵六都能做出来。每道题的难度是不一样的，这，是不是该区分一下啊？

学生	题1	题2	题3	题4	题5	做对题数
丁一	✓	✓	✓	✓	✓	5
陈二	✗	✓	✓	✓	✓	4
张三	✗	✗	✓	✓	✓	3
李四	✗	✗	✗	✓	✓	2
王五	✗	✗	✗	✗	✓	1
赵六	✓	✗	✗	✗	✗	1
做错的人数	4	4	3	2	1

我们可以把「做错的人数」近似地看作「题目的难度」。其实如果要细究「难度的定义」，应该从「涉及的知识点」去考虑。这块后面还会回头来考虑。

现在我们用难度重新给每道题赋分：

学生	题1	题2	题3	题4	题5	得分
丁一	4	4	3	2	1	14
陈二	0	4	3	2	1	10
张三	0	0	3	2	1	6
李四	0	0	0	2	1	3
王五	0	0	0	0	1	1
赵六	4	0	0	0	0	4

但这么算的话，李四该跳起来了「我做对了 2 道题，赵六才做对了 1 道，凭什么他的分比我还高？也许那一题是他蒙对的呢？」

有道理啊！但我怎么知道他是不是蒙的呢？李四又在旁边使坏水「你看赵六那人就不是能做出题 1 的人，他其他题一道都没做出来，肯定是蒙的！！！」

呃~~有点道理。那我们就用「总共做对了几道题」近似地去评估「一个人的总体实力」。实力越强，蒙的可能性越低；实力越弱，越可能是蒙的。

现在我们用「实力 - 难度」试试：

学生	题1	题2	题3	题4	题5	得分
丁一	5 - 4	5 - 3	5 - 2	5 - 1	5 - 0	15
陈二	0	4 - 3	4 - 2	4 - 1	4 - 0	10
张三	0	0	3 - 2	3 - 1	3 - 0	6
李四	0	0	0	2 - 1	2 - 0	3
王五	0	0	0	0	1 - 0	1
赵六	1 - 4	0	0	0	0	-3

我们可以看到，「实力 - 难度」这个指标不光是一个算分的中间值，它还是一个用来衡量「某人做出这道题的可能性大小」的工具。比如，哪怕让丁一去做题 1 ，也会很费劲 5 - 4 = 1；但让他去做题 5 ，则很轻松 5 - 0 = 5 。

那如果这几道题，不是考题，而是知识点呢？我们能不能用这个工具去评估学生对各个知识点的掌握程度呢？我们只需要对它做一个 logistic 变换，就可以把它变成一个 0 到 1 之间的小数，我们能否用这个小数作为「某人做出某道题的概率」？

某人做出某道题的概率 = 1/ 1 + exp(-(实力 - 难度))

学生	知识点1	知识点2	知识点3	知识点4	知识点5
丁一	0.73	0.88	0.95	0.98	0.99
陈二	0.50	0.73	0.88	0.95	0.98
张三	0.50	0.50	0.73	0.88	0.95
李四	0.50	0.50	0.50	0.73	0.88
王五	0.50	0.50	0.50	0.50	0.73
赵六	0.05	0.50	0.50	0.50	0.50

你会奇怪，为什么好些个没拿分的题显示的是 0.5 呢？其实，0.5 在 logistic 的语境中，就是「不确定」的意思。概率很大，接近于 1 ，就是「掌握了」；概率很小，接近于 0 ，就是「没掌握」。好吧，这是我瞎掰的。

如果丁一陈二张三李四王五赵六不是一个个学生，而是一道道题呢？如果这不是一张成绩单，而是一张「知识点涵盖矩阵」呢？

题号	知识点1	知识点2	知识点3	知识点4	知识点5
一	✓	✓	✓	✓	✓
二	✗	✓	✓	✓	✓
三	✗	✗	✓	✓	✓
四	✗	✗	✗	✓	✓
五	✗	✗	✗	✗	✓
六	✓	✗	✗	✗	✗

题一涵盖了全部知识点，而题六只涵盖了知识点 1 。

那不就能用这种方式做到「评估知识点的掌握情况」了？需要注意的，实力那的值就不是这道题涵盖的知识点的个数了，而是学生做对某个知识点上的个数。

假设学生甲只做对了题四、题五：

题号	知识点1	知识点2	知识点3	知识点4	知识点5	做对与否
一	✓	✓	✓	✓	✓	✗
二	✗	✓	✓	✓	✓	✗
三	✗	✗	✓	✓	✓	✗
四	✗	✗	✗	✔	✔	✓
五	✗	✗	✗	✗	✔	✓
六	✓	✗	✗	✗	✗	✗
做对该知识点的数目	0	0	0	1	2
知识点的难度	4	4	3	2	1

知识点	知识点1	知识点2	知识点3	知识点4	知识点5
掌握程度	1 / (1 + exp(-(0 - 4)))	1 / (1 + exp(-(0 - 4)))	1 / (1 + exp(-(0 - 3)))	1 / (1 + exp(-(1 - 2)))	1 / (1 + exp(-(2 - 1)))
值	2%	2%	5%	27%	73%

可以看到，甲对知识点 5 掌握得最好。

简单来说，思路其实相当相当简单：

• 做对该知识点越多，掌握得越好；
• 该知识点在整套题中出现得越罕见，难度越大，越不容易掌握；

---

但上面这套算法没有解决一个很关键的问题：知识点之间是存在依赖关系的。比如：要想掌握分数的通分，至少得先学会整数的加减、求公分母……吧。但以上算法并没有考虑这个。

解决的思路其实也很简单：挨个考察这个知识点「所有的先修知识点」的掌握情况。

首先，我们得先细致地考察一番知识点的内在结构。我们用一个矩阵来做这事。其实这完全是为了数学上处理方便，用 if-else 同样解决问题。

画反了！！！知识点内在结构：1 表示行号节点是列号节点的「直接」先修知识点；0 表示没有联系。

但我们正在想要的是，能够回答「节点 i 是不是节点 j 的先修知识点，直接或者间接都行」的矩阵。其实我们只要对上面这个矩阵加上一个单位矩阵，再反复自相乘直到收敛就行了。注意是布尔相乘哦。

画反了！！！直达矩阵

现在，你问「知识点 2 是不是知识点 5 的先修知识点？」，只要查第 2 行第 5 列是否为 1 就行了。我们先给个记号：q(5 → 2) = 1 。「q」就是 required 的意思啦。

好，搞定第一个工具。

下面要讲的，数学形式可能和上面那个「实力 - 难度」公式不同，但本质是一个意思。

下面我们构造一个矩阵，如果甲同学在题 i 中掌握了知识点 j 所需的所有知识点，记作 1；反之，为 0 ：

题号	知识点1	知识点2	知识点3	知识点4	知识点5	做对与否
一	0	0	0	0	0	✗
二	0	0	0	0	0	✗
三	0	0	0	0	0	✗
四	0	0	0	1	1	✓
五	0	0	0	0	1	✓
六	0	0	0	0	0	✗

（待续……）
下面上公式？

---

1. 本来是在备考政治，然后社情民情这块有几个数据，就手贱去查了下。结果发现政府其实发布了很多数据。然后就想玩玩这些数据弄出个「房价预测模型」来。然后考虑学区房的影响时，又发现有教育领域的数据，就想弄个「教育质量评估模型」来。再然后对教育测试产生了兴趣，偶然发现了这篇《认知诊断？基于一个案例的理解（改进版）》。然后……就入坑了。 ↩