Flakiness is a major concern in Software testing. Flaky tests pass and fail for the same version of a program and mislead developers who spend time and resources investigating test failures only to discover that they are false alerts. In practice, the defacto approach to address this concern is to rerun failing tests hoping that they would pass and manifest as false alerts. Nonetheless, completely filtering out false alerts may require a disproportionate number of reruns, and thus incurs important costs both computation and time-wise. As an alternative to reruns, we propose Fair, a novel, lightweight approach that classifies test failures into false alerts and legitimate failures. Fair relies on a classifier and a set of features from the failures and test artefacts. To build and evaluate our machine learning classifier, we use the continuous integration of the Chromium project. In particular, we collect the properties and artefacts of more than 1 million test failures from 2,000 builds. Our results show that Fair can accurately distinguish legitimate failures from false alerts, with an MCC up to 95%. Moreover, by studying different test categories: GUI, integration and unit tests, we show that Fair classifies failures accurately even when the number of failures is limited. Finally, we compare the costs of our approach to reruns and show that Fair could save up to 20 minutes of computation time per build.


翻译:Flakiness 是软件测试中的一个主要关注事项。 Flaky 测试对于同一个版本的程序和开发者来说,如果花时间和资源来调查测试失败,结果和失败,结果和失败,结果和失败,结果和失败都是错误的。在实践中,解决这一关切的反面方法就是重新运行失败测试,希望它们能通过并显示为虚假的警告。然而,彻底过滤假警报可能要求重复次数过多的重运行,从而产生计算和时间方面的重要成本。作为重运行的替代方法,我们提出了Fair,新颖的轻量级方法,将测试失败归为错误的警报和合法的失败。公平依赖一个分类器和一系列失败和测试工艺品的特征。为了建立和评估机器学习分类器,我们使用持续整合的铬项目。特别是,我们收集超过100万次测试失败的属性和工艺品,从2 000栋建起来。我们的结果表明,公平可以准确地区分合理的失败与错误,从一个中高达95 %。此外,通过研究不同的测试类别: GUI,整合和单位测试,我们用一系列的测试,我们用公平方法来比较失败,我们最终显示我们算算算算出20个的失败,我们甚至可以精确地计算成本。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
145+阅读 · 2019年10月12日
【新书】Python编程基础,669页pdf
专知会员服务
187+阅读 · 2019年10月10日
已删除
将门创投
3+阅读 · 2018年10月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
14+阅读 · 2020年12月17日
VIP会员
相关VIP内容
相关资讯
已删除
将门创投
3+阅读 · 2018年10月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员