The rapid adoption of foundation models (e.g., large language models) has given rise to promptware, i.e., software built using natural language prompts. Effective management of prompts, such as organization and quality assurance, is essential yet challenging. In this study, we perform an empirical analysis of 24,800 open-source prompts from 92 GitHub repositories to investigate prompt management practices and quality attributes. Our findings reveal critical challenges such as considerable inconsistencies in prompt formatting, substantial internal and external prompt duplication, and frequent readability and spelling issues. Based on these findings, we provide actionable recommendations for developers to enhance the usability and maintainability of open-source prompts within the rapidly evolving promptware ecosystem.


翻译:基础模型(如大型语言模型)的快速采用催生了提示软件,即使用自然语言提示构建的软件。有效的提示管理(如组织和质量保证)至关重要,但也充满挑战。本研究对来自92个GitHub仓库的24,800个开源提示进行了实证分析,以探究提示管理实践和质量属性。我们的发现揭示了关键挑战,例如提示格式存在显著不一致、内部与外部提示重复率较高,以及常见的可读性和拼写问题。基于这些发现,我们为开发者提供了可操作的建议,以在快速演进的提示软件生态系统中提升开源提示的可用性和可维护性。

0
下载
关闭预览

相关内容

软件(中国大陆及香港用语,台湾作软体,英文:Software)是一系列按照特定顺序组织的计算机数据和指令的集合。一般来讲软件被划分为编程语言、系统软件、应用软件和介于这两者之间的中间件。软件就是程序加文档的集合体。
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
Top
微信扫码咨询专知VIP会员