最近重新拿起《集体智慧编程》这本书来看,书是好书,很多人推荐计算机的学习学这本书入门机器学习的算法,但是有个问题——这本书太老了。很多代码已经跑不了了,书上爬虫要抓的网站也404了。不过算法的思想却是永远不过时的,今天看到的是第四章:搜索与排名中的PageRank算法。
一、算法思想
PageRank算法
这个算法简单来讲,就是衡量一个网页的“重要程度”。一个网页计算出来的PR值越高,网页重要程度越高。排名也就靠前。
这个算法基于两个基本原则
1.如果一个网页被很多其他网页链接,说明这个网页很重要。(PageRank值会高)
2.如果一个高PR值的网页链接到另一个网页,那被链接的那个网页PR值也高。(高质量,相同圈子)
二、公式
PR(A) = (1-d)+d[ PR(T1)/C(T1) + ... + PR(Tn)/C(Tn) ]
公式解析[1]:
d是阻尼因子
PR(Tn) 是 Tn这个网页的PR值
C(Tn) 是这个网页的外部链接数
假设求A的PR值
我们需要一个阻尼因子(一般d取0.85)
d 代表 用户浏览下一个网页的概率
用某网页的PR值(思想2)处以该网页的链接数,将这些网页加起来,乘以阻尼因子,再加上1-阻尼因子,得到A的PR值。
转移矩阵(没解释好0的部分,待修正)[2]
不过这个只是计算单个网页的PR值,我们现在要计算的是全部的,那要如何计算呢?
首先我们不考虑阻尼因子,来看看一个网页和其他网页的关系。
这个是一个网页的PR值,那全部的呢?我们把全部网页的PR值用向量表示
即
用符号表示为
U=M*U
三、初始化
看到公式后你可能也想到了一个问题,如果我要计算A的PR值,那我得有其他链接到网页A的网页的PR值。(得有其他才能算要算的那个)
那这样的话,其他网页的PR值又是怎么来的呢?总得先有源头吧。。
为了解决这个问题,我们会采用初始化+迭代的方式。
1.将所有网页都初始化,给定一个初始值。
2.不停迭代计算
所以为了计算网页的PR值,我们不是计算一次就可以。
四、停止条件
既然有迭代,那就涉及到一个停止的问题:何时停止呢?
这里有两种方式:
1.指定迭代的次数
2.当误差小于指定误差时,停止。
第一种方式就很简单了,直接写个循环(for),指定循环次数。
第二种就需要我们给出误差范围,也用循环做(while)
五、PageRank算法的问题
终止点问题和陷阱问题
六、简单的代码实现
# 参考博客源代码
import numpy as np
M = [[0, 1 / 2, 0, 1 / 2],
[1 / 3, 0, 0, 1 / 2],
[1 / 3, 1 / 2, 1, 0],
[1 / 3, 0, 0, 0]]
U = [1 / 4, 1 / 4, 1 / 4, 1 / 4]
U0 = np.array(U)
U_past_none_alpha = []
while True:
U = np.dot(M, U)
# print('Un: ', U)
if str(U) == str(U_past_none_alpha):
break
U_past_none_alpha = U
print('Un converge1 to: ', U)
U_past_has_alpha = []
while True:
U = 0.8 * (np.dot(M, U)) + 0.2 * U0
# print('Un: ', U)
if str(U) == str(U_past_has_alpha):
break
U_past_has_alpha = U
print('Un converge2 to: ', U)
代码解析:
参考:
https://blog.csdn.net/andy_shenzl/article/details/83145471
理解公式-题目
-
Q1:计算网页A的PR值
如图:网页A的PR值未知,
↩
已知B的PR值为0.5、C的PR值为0.7、D的PR值为0.2。
B总共有4条链接,其中一条指向A,
C总共有4条链接,其中一条指向A,
D总共有1条链接,指向A。
假设阻尼因素d=0.85
所以根据公式
PR(A) = (1-0.85) + 0.85[ (0.5 / 4) + (0.7 / 4) + (0.2 / 1) ]
= 0.54525 -
Q2:转移矩阵M
网页间的链接如下图:
求转移矩阵M
先放答案
怎么理解?
从A出发,有3条链接,指向B,C,D
从B出发,有2条链接,指向A,C
从C出发,有1条链接,指向C
↩
从D出发,有2条链接,指向A,B
理解这个矩阵要从列的角度
第一列代表A到所有网页的概率。
第一列,第一行代表A到A的概率,因为A不指向A,所以为0
第一列,第二行代表A到B的概率,A确实指向了B,因为A总共有3条链接,所以是1/3
第一列,第三行代表A到C的概率,A确实指向了C,因为A总共有3条链接,所以是1/3
第一列,第四行代表A到D的概率,A确实指向了D,因为A总共有3条链接,所以是1/3
第一列就这样分析完了,后面每列也是这样理解。所以你会发现,每列的和加起来是1。
特别的C只指向自己的,所以第三列,第三行的位置是1。
网友评论