Large language models (LLMs) have significant potential for generating educational questions and problems, enabling educators to create large-scale learning materials. However, LLMs are fundamentally limited by the ``Artificial Hivemind'' effect, where they generate similar responses within the same model and produce homogeneous outputs across different models. As a consequence, students may be exposed to overly similar and repetitive LLM-generated problems, which harms diversity of thought. Drawing inspiration from Wallas's theory of creativity and Guilford's framework of divergent-convergent thinking, we propose CreativeDC, a two-phase prompting method that explicitly scaffolds the LLM's reasoning into distinct phases. By decoupling creative exploration from constraint satisfaction, our method enables LLMs to explore a broader space of ideas before committing to a final problem. We evaluate CreativeDC for creative problem generation using a comprehensive set of metrics that capture diversity, novelty, and utility. The results show that CreativeDC achieves significantly higher diversity and novelty compared to baselines while maintaining high utility. Moreover, scaling analysis shows that CreativeDC generates a larger effective number of distinct problems as more are sampled, increasing at a faster rate than baseline methods.


翻译:大语言模型(LLMs)在生成教育性问题和习题方面具有巨大潜力,能够帮助教育工作者创建大规模的学习材料。然而,LLMs从根本上受到“人工群体思维”效应的限制,即同一模型内会生成相似的响应,且不同模型之间会产生同质化的输出。因此,学生可能接触到过度相似且重复的LLM生成问题,这损害了思维的多样性。受沃拉斯的创造力理论和吉尔福德发散-收敛思维框架的启发,我们提出了CreativeDC,一种两阶段提示方法,明确地将LLM的推理过程分解为不同的阶段。通过将创造性探索与约束满足解耦,我们的方法使LLM能够在确定最终问题之前探索更广泛的想法空间。我们使用一套涵盖多样性、新颖性和实用性的综合指标来评估CreativeDC在创造性问题生成方面的表现。结果表明,与基线方法相比,CreativeDC在保持高实用性的同时,实现了显著更高的多样性和新颖性。此外,规模分析表明,随着采样数量的增加,CreativeDC生成的有效独特问题数量更多,且增长速度比基线方法更快。

0
下载
关闭预览

相关内容

【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月31日
Arxiv
0+阅读 · 2025年12月30日
VIP会员
相关VIP内容
【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员