本文的贡献

• 提出了一个框架从社交媒体的数据和用户的元数据包括朋友，推特内容和情感，网络模式，和活动时间序列中抽取的大量特征进行分析。
• 我们检测系统使用现存的公开数据集和收集的手动标注的数据集进行测试。使用新标注的数据对使用已有数据训练出的模型进行了重新训练。
• 使用不同的模型以及判断分数的阈值来分辨人和机器人，我们预测推特上存在9%-15%比例的社交机器人。
• 分析用户在社交连接和信息流向上表现出的不同行为：人类更愿意与像人一样的账户进行交互。一些机器人更加随机的选择连接的用户
• 聚类分析，揭示来不同账户能分类成不同的组。

机器人检测框架

本框架使用的数据是从推特api中收集的并且将其处理成六大类共1150个特征。六大类特征分别为：基于用户特征，朋友特征，网络特征，时间特征，内容和语言特征，情感特征。

模型评估

数据集使用了honeypot方法中使用的公开数据集,以及通过API搜索出来的手工标注的数据集。模型的输入是代表一个用户账号所有特征的数值向量。输出是一个0-1之间的分数，更高的分数表示账号是一个机器人。通过五折交叉验证和曲线下面积来评估模型的精确度，随机森林能得到最好的分类表现。所以本文使用的模型是随机森林模型。

大规模评估

先使用honeypot数据集训练处一个模型，然后在通过加入手工标注的数据，更新训练数据，在训练一个新的模型来对更加复杂的账户进行分类。

数据集收集方法

在2015年收集了三个月的数据，收集的用户数据必须最少有200条以上的推特，并且在三个月的窗口期有90篇推文。然后收集了这些用户最近的200条推文，和100个提及的用户。

手工标注

一共标注了3000个账户

使用标注数据评估模型

我们在每一个机器人得分十分位评估分类的准确性，在0-0.4范围内，分类一致性（分类结果和实际结果一致）达到了90以上，在0.8-1达到了70%以上。通过这这差异能够看出人类在识别类似机器人的行为上更加困难。

image.png

上图基线是从honeypot数据集训练得到的模型，使用曲线下面积评估不同数据集中训练得到的模型的精确度

模型精确度的数据集有效性

使用honeypot数据集和手工注释的数据集的不同比例的混合以及五折交叉验证来评估对应模型的精确性。Annotation：仅使用手工注释和标注的数据集训练模型。Merged：合并了蜜罐和手工注释的数据集进行训练和测试。Mixture：手动注释和蜜罐数据集的不同比例的混合，精确度从0.9-0.94

image.png

分析了两个数据集人类账号和机器人账号的分布，老数据集和新数据集中人类分数的分布相似，但是新数据集的机器人分布更靠近人类一些，导致如果想要同时对两个数据集进行分类，需要推断合适的阈值。
通过对成对对模型在手动标注对数据集中对比了账号对分数。正如预期所有对模型给人类打低分给机器人打高分。高相关系数表明模型的一致性。

image.png
对比不同模型的分数，以及阈值和皮尔森相关系数，能够看出不同的模型对于分类是相似的，具有相关的一致性。
对于所有的特征进行分析，对于10000个账户随机挑选子集做100次随机实验，前十个特征能够达到0.9的AUC精度。转推网络中态度和提及推特的内容都是很重要的特征。用户与评优进行交互的特征也有很强的预测性。

机器人的存在比例

image.png

通过 混合人工标注数据和蜜罐数据，选取对应不同的最优阈值，对于机器人分类，可以看出当混合较少时，即人工数据集较多，此时能够对复杂的新机器人有一定预测能力，预测比例有15%，但很可能有很多更为复杂的机器人没有被识别出来，当大部分都是蜜罐数据的时候 ，机器人占比大约在9%。所以预测推特中机器人存在的比例在9%-15%。

用户的互动的特征

image.png

图5和分析不同得分段，如0.0-0.1这条线对应人类账号，这些账号的朋友们打分得出他们的朋友几乎也都是人类账号。而相对来说机器人账号大量的朋友都是机器人账号，少部分是人类账号。在追随者上分析，人类账号的追随者很大一部分是人类账号，但是也有一些复杂行为的机器人也在follow人类账号。而也有一部分人follow机器人账号，因为有一部分人喜欢阅读机器人的相关推送，造成了这个情况。
从图7分析人类提及的用户大部分是人类账户少部分是机器账户，而机器人账户提及的基本是复杂的机器人账户。同时机器人基本转发的都是机器人账户。而人类账户会少部分转发机器人账户。

账户聚类

最后通过对账户进行聚类来分析数据集中不同的种类

image.png

C0-C2是不同种类的机器人。C3是混杂了人类和机器人的类型。其他类型都是人类账号。

总结自--Varol等, 《Online Human-Bot Interactions》.