Background. Software Engineering (SE) researchers extensively perform experiments with human subjects. Well-defined samples are required to ensure external validity. Samples are selected \textit{purposely} or by \textit{convenience}, limiting the generalizability of results. Objective. We aim to depict the current status of participants selection in empirical SE, identifying the main threats and how they are mitigated. We draft a robust approach to participants' selection. Method. We reviewed existing participants' selection guidelines in SE, and performed a preliminary literature review to find out how participants' selection is conducted in SE in practice. % and 3) we summarized the main issues identified. Results. We outline a new selection methodology, by 1) defining the characteristics of the desired population, 2) locating possible sources of sampling available for researchers, and 3) identifying and reducing the "distance" between the selected sample and its corresponding population. Conclusion. We propose a roadmap to develop and empirically validate the selection methodology.


翻译:软件工程(SE) 研究人员广泛开展人体实验。为确保外部有效性,需要定义明确的样本。样本被选中 \ textit{ 目的} 或 \ textit{ convency}, 限制结果的可概括性。目标。我们的目标是描述经验性 SE 中参与者选择的当前状况,确定主要威胁和如何减轻威胁。我们起草了一个强有力的参与者选择方法。方法。我们审查了SE 中的现有参与者选择指南,并进行了初步文献审查,以了解参与者的选择在实践中是如何在 SE 中进行的。% 和 3 。我们总结了所查明的主要问题。结果。我们概述了新的选择方法,1) 界定了理想人群的特点,2) 确定了研究人员可用的可能的抽样来源,3) 确定和减少选定样本与相应人群之间的“距离。结论。我们提出了一份路线图,以制定并用经验验证选择方法。

0
下载
关闭预览

相关内容

【如何做研究】How to research ,22页ppt
专知会员服务
108+阅读 · 2021年4月17日
【快讯】KDD2020论文出炉,216篇上榜, 你的paper中了吗?
专知会员服务
50+阅读 · 2020年5月16日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
已删除
将门创投
4+阅读 · 2019年6月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Arxiv
16+阅读 · 2021年7月18日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2019年6月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Top
微信扫码咨询专知VIP会员