一、来源
1、2019，USENIX
2、作者：Feargus Pendlebury, Fabio Pierazzi, and Roberto Jordaney, King’s College London & Royal Holloway, University of London; Johannes Kinder, Bundeswehr University Munich; Lorenzo Cavallaro, King’s College London
3、主题：malware classification、
二、摘要
Android恶意软件分类是否已解决问题？公布的F1分数高达0.99似乎没有什么改善的余地。在本文中，我们认为，由于两种普遍存在的实验偏差源，结果通常会被夸大：由训练和测试数据的分布（不代表实际部署）引起的空间偏差；训练和测试集不正确的时间分割所造成的时间和时间偏差，导致无法进行配置。我们为实验设计提出了一组空间和时间约束，以消除这两种偏差源。我们引入了一个新的指标，该指标总结了分类器在实际环境中的预期鲁棒性，并提出了一种算法来调整其性能。最后，我们演示了这如何使我们能够评估缓解策略的时间衰减，例如主动学习。我们已经在TESSERACT中实现了我们的解决方案，TESSERACT是一个开放源评估框架，用于在实际环境中比较恶意软件分类器。我们使用TESSERACT在一个为期三年的129K应用程序数据集上，从文献中评估了三个Android恶意软件分类器。我们的评估证实，较早发布的结果存在偏差，同时还揭示了违反直觉的性能，并表明适当的调整可以带来显着的改进。
三、贡献
1、通过验证12.9万个应用的数据集，确定了假设的时间偏差和空间偏差。
2、提出了新的构建块来可靠地评估恶意软件分类器；提出了新的度量标准，公平地比较不同算法；提出了新的调整算法，可根据经验优化分类性能。最后，比较了四种方法的性能，显示了消除偏差在真实性能上带来的结果。
3、开源了本文的方法学代码，进一步演示将该成果用于评估解决方案的性能与成本之间的权衡来减轻时间衰减，例如主动学习。
网友评论