《通过案例研究展示ChatGPT的实用性和局限性》CMU 2023最新37页报告

2022 年 11 月，OpenAI 发布了一款聊天机器人 ChatGPT，它由一个名为生成预训练转换器（GPT）的大型语言模型（LLM）驱动。令人惊讶的是，ChatGPT 在两个月内就获得了 1 亿用户。相比之下，YouTube、Instagram 和 Facebook 分别用了 1.5 年、2.5 年和 4.5 年才达到同样的里程碑。

语言模型并不新鲜。约瑟夫-韦曾鲍姆（Joseph Weizenbaum）在 20 世纪 60 年代就开发了一个这样的模型 Eliza。该模型使用简单的模式匹配和替换技术来模拟与人类治疗师的对话[Weizenbaum 1976]。此后，人工智能研究人员开发了基于规则、统计和神经的自然语言理解和生成方法。

最近，LLM 改变了科学前沿。GPT 就是一个例子。这些模型使用一种称为深度神经网络（DNN）的极具表现力的架构来学习单词在不同句子和段落上下文中出现的可能性。LLM 是在庞大的数据存储基础上训练出来的，在互联网中占有相当大的比例。这为 LLM 提供了广博的知识。事实上，LLM 是基础模型的一个特殊例子--人工智能中的通用模型，是训练成为某一领域专家的更专业模型的基础。

尽管语言模型在过去 50 多年中取得了重大技术进步，但 ChatGPT 的发布仍是一个转折点：这是语言模型第一次得到广泛应用。ChatGPT 之所以能做到这一点，部分原因是它的反应相对于早期的语言模型更加准确，而且 LLM 具有新出现的能力。具体来说，LLMs 能够进行无语境学习，即根据用户指令调整自己的回复方式。这种能力使 LLM 能够完成它们没有经过训练的新任务。

LLM 的技术能力令人印象深刻。但它们是否会对现有流程产生实质性影响，是否会导致新流程的产生？简而言之，LLM 的实际用途是什么？

为了回答这个问题，我们进行了四项深入的案例研究。在每个案例研究中，我们使用 ChatGPT 网络应用程序中提供的 GPT-3.5 版本，根据我们提供的提示完成任务。本文中描述的案例研究跨越多个领域，需要的能力也大不相同：

数据科学
培训与教育
研究
战略规划

对于每一个案例，我们都会展示我们与 ChatGPT 交互过程中产生的未经修改的文字记录。然后，我们对与 ChatGPT 的互动模式进行评论，并指出其在具体案例研究中的优势和局限性。

我们发现，ChatGPT 有助于提高所生成产品的质量并加快其开发。然而，ChatGPT 并没有消除人类参与的需要：需要知识渊博的人将复杂的任务分解成 ChatGPT 可以完成的简单任务，他们还需要验证 ChatGPT 的输出结果。我们报告的更多细微的发现都与 ChatGPT 有关--它们可能不适用于其他现有的或正在开发的 LLM。然而，ChatGPT 可以提高工作效率，但不能取代人工参与这一发现对所有 LLM 都适用。

案例：战略规划

长期思考和规划对于个人和组织的成功至关重要。商业战略家彼得-施瓦茨（Peter Schwartz）在其颇具影响力的著作《长远规划的艺术》（The Art of the Long View）中，通过一种名为场景规划的技术，强调了面向未来的分析和规划的重要性[Schwartz 1991]。这种方法使组织能够为多种未来场景做好准备，并对新出现的风险和机遇做出反应。

尽管战略规划有诸多益处，但组织在试图驾驭未来的不确定性时也会面临一些挑战。不确定性的两个主要来源是技术发展的速度和不断变化的全球环境。如果不能应对这些不确定性，就可能导致对不成熟或无效技术的投资，从而限制组织应对未来挑战的能力。

学术界、工业界和政府都采用了一套被称为前瞻方法的技术，以便在面对不确定性时做出战略决策[Popper，2008 年]。展望钻石 "是一个根据展望方法所依赖的知识类型对其进行分类的框架（图 4）。钻石的四个象限分别代表基于证据的方法、基于专业知识的方法、创造性方法和互动方法[Popper，2008 年]。

图 4：前瞻性“钻石”

基于证据的方法依赖于对现有数据源（如专利和出版物）的定量分析，以及利用建模和模拟生成新数据。另一方面，基于专业知识的方法依赖于在相关领域拥有特定资质的个人的知识和技能。创造性方法依赖于富有想象力和独创性的思维，而互动性方法则依赖于交流和评估对特定挑战或问题持有部分重叠但截然不同观点的个人的想法。展望方法是战略规划和决策制定的宝贵工具，但也有一些重要的局限性需要考虑。与前瞻相关的一些最大挑战包括以下方面：

1.不确定性：展望方法允许考虑潜在的未来事件和趋势，但无法消除不确定性。意料之外的干扰会使分析变得过时和不完整。

2.假设：展望方法基于对未来的假设，而这些假设可能会受到人类偏见、过去经验和当前趋势的影响，可能无法准确反映未来的现实。

3.专业知识：展望方法依赖于人的输入，因此容易出现错误，如误读数据、分析有误或专业知识不足。

4.成本：前瞻性方法的实施可能耗时费钱，需要在数据收集、分析和专家咨询方面投入大量资金。

这些局限性会影响展望方法所产生结果的及时性和质量，并可能限制其在拥有充足资源和专业知识的组织中使用。

利用 LLM 增强预测能力

LLM 有可能提高人类智能，并减轻与前瞻性方法相关的一些挑战。因此，它们可以帮助进行战略规划和决策。

表 4 列出了展望方法面临的主要挑战，以及 LLMs 如何应对这些挑战。标有 "中 "字的橙色单元格表示中度赞同使用 LLM 应对该挑战，标有 "高 "字的绿色单元格表示高度赞同。

例如，LLMs 无法为未来事件提供精确的概率值，但它们可以生成替代未来，包括人类可能未曾考虑过的未来。此外，LLMs 还能对小组和高级决策者的意见提出质疑，而不会屈服于群体思维。此外，虽然不能替代人类专家，但在展望活动中，法律硕士可以帮助填补知识空白和验证事实。最后，LLM 有可能使人类以更高效的方式应用创造性的循证技术。