大模型如何可信？UCSD Fatemehsadat 《我们能在多大程度上信任大型语言模型?》，46页ppt

大型语言模型(如GPT-3、GPT-4、TNLG、T-5等LLM)在标准基准上表现出非常高的性能，这是因为它们的参数数量高、训练数据集非常大、计算量很大。尽管这些模型中的高参数数量导致了更强的表达能力，但它也可能导致更高的记忆能力，再加上未经验证的大型网络抓取数据集，可能会造成多种不同的负面社会和道德影响: 隐私、敏感信息的泄露——即LLM是“泄漏的”，生成有偏见的文本，即。LLM是“狡猾的，产生仇恨或刻板印象的文本-即LLM是“令人毛骨悚然的”。在本次演讲中，我将介绍上述问题如何影响LLM的可信性，并重点介绍我们如何测量这些模型的泄漏和记忆。最后，我将讨论大型LLM的隐私保护实际意味着什么，以及使大型模型可信的未来研究方向。