To evaluate software maintenance techniques and tools in controlled experiments with human participants, researchers currently use projects and tasks selected on an ad-hoc basis. This can unrealistically favor their tool, and it makes the comparison of results difficult. We suggest a gradual creation of a benchmark repository with projects, tasks, and metadata relevant for human-based studies. In this paper, we discuss the requirements and challenges of such a repository, along with the steps which could lead to its construction.
翻译：为了评估软件维护技术和工具,研究人员目前正在与人类参与者一起对受控实验中所使用的软件维护技术和工具进行评估,研究人员目前正在使用临时选择的项目和任务。这不切实际地有利于他们的工具,也难以对结果进行比较。 我们建议逐步建立一个基准存储库,其中含有与人类研究相关的项目、任务和元数据。 在本文件中,我们讨论了这样一个存储库的要求和挑战,以及可能导致其构建的步骤。
相关内容
这个新版本的工具会议系列恢复了从1989年到2012年的50个会议的传统。工具最初是“面向对象语言和系统的技术”，后来发展到包括软件技术的所有创新方面。今天许多最重要的软件概念都是在这里首次引入的。2019年TOOLS 50+1在俄罗斯喀山附近举行，以同样的创新精神、对所有与软件相关的事物的热情、科学稳健性和行业适用性的结合以及欢迎该领域所有趋势和社区的开放态度，延续了该系列。
官网链接：http://tools2019.innopolis.ru/
Arxiv
1+阅读 · 2021年1月14日
Arxiv
3+阅读 · 2020年7月20日
Arxiv
3+阅读 · 2019年9月3日
相关VIP内容
相关资讯
相关论文
Arxiv
1+阅读 · 2021年1月14日
Arxiv
3+阅读 · 2020年7月20日
Arxiv
3+阅读 · 2019年9月3日
微信扫码咨询专知VIP会员