A Probabilistic Model for Bursty Topic Discovery in Microblogs
AAAI
论文简介
本文首先采用伯努利分布判断当前二元词对是突发词对还是非突发词对，若为突发词对，则在突发词汇和突发话题空间使用BTM模型，否则在背景词汇及背景话题空间使用BTM模型。伯努利分布的参数为词汇的新颖性度量值，用词汇当前频率与历史频率间的差值表示。
Baselines：Twevent、OLDA、UTM、IBTM、BBTM-S
Baseline简介：
Twevent：对tweet进行分片，衡量每个片段的突发性，然后聚类得到突发话题
OLDA：首先使用online LDA方法对每一时间片内的数据进行训练，然后根据话题更新前后词汇分布间的Jensen-Shannon距离探测突发话题
UTM：User-Temporal Mixture model，包含一些启发式规则，增大突发词汇的突发概率
IBTM：首先对每一时间片内的数据采用BTM模型进行训练，然后使用余弦相似度将后一片段中的话题与前一片段进行匹配，最后根据话题更新前后词汇分布间的Jensen-Shannon距离探测突发话题
BBTM-S：与BBTM的不同在于，该模型不使用背景话题及背景词汇，直接将伯努利分布判定为突发词的所有词对加入训练集，用于训练，不使用非突发词。
衡量指标：
- 发现的突发话题的准确性（人工评价）：BBTM>BBTM-S>Twevent>UTM>IBTM
- 发现的突发话题的新颖性（用时间片t内包含的不在时间片t-1中出现的词汇占比表示）：BBTM和BBTM-S表现很稳定，一直处于0.6左右，BBTM稍优于BBTM-S；Twevent随突发话题数增加而呈现新颖性递减的趋势，30以前优于BBTM，30以后劣于BBTM；IBTM和OLDA一直比较差，且不稳定，呈递减趋势；
- 话题连贯性（PMI点对间的互信息）：BBTM和IBTM接近，均为最高，后续依次是BBTM-S，OLDA，UTM和Twevent
- 效率（时间消耗）：BBTM-S>OLDA>BBTM>IBTM>UTM
基于BTM模型，该模型能够很好地适应稀疏数据，不过新颖性衡量指标比较简单，只考虑了词汇的词频差，不能很好地度量词汇的质量，也不能很好地区分处于快速增长期的背景词汇。
Twevent: Segment-based Event Detection from Tweets
CIKM'12
算法流程
- 对tweet分片，分片过程中引用了外部知识（维基百科和微软的N-Gram词汇）；
- 事件片段探测：根据如下权重公式计算时间片t内每个片段的权重，然后取权重最高K个片段作为潜在突发片段，用于后续聚类过程；
时间片t内片段s的权重
- 事件片段聚类：采用Jarvis-Patrick算法的变种进行事件片段聚类操作，使用余弦相似性度量两个片段间的相似程度
- 引入维基百科知识对聚类结果进行过滤
实验
实验数据
维基百科和Twitter数据
Baselines
EDCoW、Tweventu（使用一元词汇而非片段的Twevent）
评价指标
探测到的事件数：Tweventu>Twevent>EDCoW
准确率：探测到的事件中真实事件比率，Twevent>EDCoW>Tweventu
召回率：一天中探测到的事件中不同事件比率，Tweventu>Twevent>EDCoW
重复率：探测到的真实事件中重复事件比率，Tweventu>EDCoW>Twevent
Twevent的可读性要明显优于另外两者
网友评论