来源:哈尔滨工业大学、自然语言处理研究所(HIT-NLP)

2022年11月30日,OpenAI推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT表现出了非常惊艳的语言理解、生成、知识推理能力,它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT上线后,5天活跃用户数高达100万,2个月活跃用户数已达1个亿,成为历史上增长最快的消费者应用程序。除了被广大用户追捧外,ChatGPT还受到了各国政府、企业界、学术界的广泛关注,使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径,并被认为向通用人工智能迈出了坚实的一步,将对搜索引擎构成巨大的挑战,甚至将取代很多人的工作,更将颠覆很多领域和行业。 哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从技术原理、应用场景、未来发展等方面对ChatGPT进行了尽量详尽的介绍及总结。

本报告仅供内部参考。 主要编撰人员 第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写;第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写;第三章由刘铭、朱聪慧、汤步洲编写;第四章由徐永东、高翠芸、朱庆福编写;第五章由杨沐昀、张伟男、韩一、庄子或编写;第六章由隋典伯、高翠芸编写;第七章由车万翔、刘铭编写。参与各章审校工作的还有:崔一鸣、徐志明等。 报告整体由车万翔统稿。

目录

第一章 ChatGPT的背景与意义

1.1 自然语言处理的发展历史 1.2 大规模预训练语言模型的技术发展历程 1.3 ChatGPT技术发展历程 1.3.1 ChatGPT的相关技术 1.3.2 ChatGPT技术发展脉络的总结 1.3.3 ChatGPT的未来技术发展方向 1.4 ChatGPT的优势与劣势 1.4.1 ChatGPT的优势 1.4.2 ChatGPT的劣势 1.5 ChatGPT的应用前景 1.5.1 在人工智能行业的应用前景及影响 1.5.2 在其他行业的应用前景及影响 1.6 ChatGPT 带来的风险与挑战 第二章 ChatGPT相关核心算法

2.1 基于Transformer的预训练语言模型.. 2.1.1 编码预训练语言模型(Encoder-only Pre-trained Models) 2.1.2 解码预训练语言模型(Decoder-only Pre-trained Models) 2.1.3 基于编解码架构的预训练语言模型(Encoder-decoder Pre-trained Models) 2.2 提示学习与指令精调 2.2.1 提示学习概述 2.2.2 ChatGPT中的指令学习 2.3 思维链(Chain of Thought,COT) 2.4 基于人类反馈的强化学习(Reinforcement Learning with Hu-man Feedback,RLHF) 第三章 大模型训练与部署

3.1 大模型并行计算技术 3.2 并行计算框架 3.3 模型部署 3.3.1 预训练模型部署的困难 3.3.2 部署框架和部署工具 3.3.3 部署技术和优化方法 3.4 预训练模型的压缩 3.4.1 模型压缩方案概述 3.4.2 结构化模型压缩策略 3.4.3 非结构化模型压缩策略 3.4.4 模型压缩小结 第四章 ChatGPT相关数据集

4.1 预训练数据集 4.1.1 文本预训练数据集 4.1.2 代码预训练数据集 4.2 人工标注数据规范及相关数据集. 4.2.1 指令微调工作流程及数据集构建方法 4.2.2 常见的指令微调数据集 4.2.3 构建指令微调数据集的关键问题 第五章 大模型评价方法

5.1 模型评价方式 5.1.1人工评价 5.1.2 自动评价 5.2 模型评价指标 5.2.1 准确性 5.2.2 不确定性 5.2.3 攻击性 5.2.4 毒害性 5.2.5 公平性与偏见性 5.2.6 鲁棒性 5.2.7 高效性 5.3 模型评价方法小结 第六章 现有大模型及对话式通用人工智能系统

6.1 现有大模型对比 6.2 对话式通用人工智能系统调研 6.2.1 对话式通用人工智能系统 6.2.2不同系统之间的比较 第七章 自然语言处理的未来发展方向

7.1 提高ChatGPT的能力 7.2 加深对模型的认识 7.3 实际应用 7.4 从语言到AGI的探索之路

成为VIP会员查看完整内容
840

9月17日,CAAI系列白皮书发布会在南昌成功举办。《大模型技术》该白皮书从语言大模型、多模态大模型、技术生态、产业应用、安全等多个角度,全方位清晰呈现了大模型技术的定义、特点和发展历程,以及目前的主流方法和应用场景,其中包括多项首例行业应用实践,将有效帮助相关人士深入理解大模型技术的原理、方法和应用,提高大模型技术的开发和使用效率和质量,深刻认识大模型技术的影响和责任。

近年来,大模型技术飞速发展,从架构演进统一到训练方式转变,再到模型高效适配,大模型技术引起机器学习范式的一系列重要革新,为通用人工智能发展提供了一种新的手段。由单一模态的语言大模型到语言、视觉、听觉等多模态大模型,大模型技术融合多种模态信息,实现多模态感知与统一表示,也将和知识图谱、搜索引擎、博弈对抗、脑认知等技术融合发展,相互促进,朝着更高智能水平和更加通用性方向发展。 与此同时,大模型技术生态蓬勃发展,开源服务与开放生态成为主流趋势,国内外大模型开放平台、开源模型、框架、工具与公开数据集加速大模型技术演进,框架、工具间软硬件协同优化降低大模型开发和应用成本,推动大模型高效训练与部署。

大模型与教育、科学、金融、传媒艺术等专用领域结合拓广通用大模型能力边界,与实体经济的深度融合成为其赋能行业应用关键,正在“大模型”与“小模型”端云协同并进发展格局下重塑生产力工具,变革信息获取方式,改变人类社会生活和生产方式。

随着大模型的应用,其安全问题日益凸显,因而需关注大模型技术发展的内生及伴生风险,关注大模型安全对齐、安全评估技术,发展大模型安全增强技术,加强大模型安全监管措施,确保其“安全、可靠、可控”。 总之,抓紧推动大模型技术研发,尤其是大模型原始技术创新和大模型软硬件生态建设,强化垂直行业数据基础优势,集中国家资源投入大模型发展,同时关注大模型风险监督,彰显人工智能的技术属性和社会属性。

成为VIP会员查看完整内容
416

ChatGPT市场反应热烈,国内外巨头纷纷入场

据统计,ChatGPT日活跃用户数的增速远超Instagram,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多;国内外科技巨头都非常重视ChatGPT引发的科技浪潮,积极布局生成式AI,国内厂商(百度、腾讯等)也高度关注ChatGPT,积极探索前沿技术,相关深度应用也即将推出。

ChatGPT经历多类技术路线演化,逐步成熟与完善

ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后,使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟,随后GPT-1、GPT-2、GPT-3模型持续演化升级,最终孵化出ChatGPT文本对话应用。

AIGC跨模态产业生态逐步成熟,商用落地未来可期

AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级,奠定了多场景的商用基础。跨模态生成技术也有望成为真正实现认知和决策智能的转折点。

ChatGPT乘东风,商业架构日益清晰

随着ChatGPT Plus发布,商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益,提升生产力曲线,多维度赋能虚拟经济和实体经济。

成为VIP会员查看完整内容
527

GPT-4来了!今日凌晨,万众瞩目的大型多模态模型GPT-4正式发布! OpenAI CEO Sam Altman直接介绍说:

这是我们迄今为止功能最强大的模型!

图灵奖三巨头之一Geoffrey Hinton对此赞叹不已,「毛虫吸取了营养之后,就会化茧为蝶。而人类提取了数十亿个理解的金块,GPT-4,就是人类的蝴蝶。」

OpenAI发文称,GPT-4能接受图像和文本输入,输出文本内容,虽然在许多现实场景中的能力不如人类,但在各种专业和学术基准测试中已做到人类水平的表现。GPT-4 实现了以下几个方面的飞跃式提升:强大的识图能力;文字输入限制提升至 2.5 万字;回答准确性显著提高;能够生成歌词、创意文本,实现风格变化。

它强大到什么程度呢?输入一张手绘草图,GPT-4能直接生成最终设计的网页代码。

它以高分通过各种标准化考试:SAT拿下700分,GRE几乎满分,逻辑能力吊打GPT-3.5。

GPT-4在高级推理能力上超越ChatGPT。在律师模拟考试中,ChatGPT背后的GPT-3.5排名在倒数10%左右,而GPT-4考到了前10%左右。GPT-4的长度限制提升到32K tokens,即能处理超过25000个单词的文本,并且可以使用长格式内容创建、扩展对话、文档搜索和分析等。OpenAI还贴心地发布了GPT-4开发者视频,手把手教你生成代码、检查错误信息、报税等。在视频中,OpenAI联合创始人兼总裁Greg Brockman说了句有点扎心的话:“它并不完美,但你也一样。”OpenAI正通过ChatGPT和API发布GPT-4的文本输入功能,图像输入功能暂未开放。ChatGPT plus订阅者可直接获得有使用上限的GPT-4的试用权,4小时内最多只能发布100条信息。开发者也可以申请GPT-4 API,进入候补名单等待通过。

**申请直通门:**http://t.cn/A6ClOHn7随着时间的推移,OpenAI会将其自动更新为推荐的稳定模型(你可以通过调用gpt-4-0314来锁定当前版本,OpenAI将支持到6月14日)。定价是每1k prompt tokens 0.03美元,每1k completion tokens 0.06美元。默认速率限制是每分钟40k tokens和每分钟200个请求。gpt-4的上下文长度为8192个tokens。还提供对32768个上下文(约50页文本)版本gpt-4-32k的有限访问,该版本也将随着时间的推移自动更新(当前版本gpt-4-32k-0314,也将支持到6月14日)。价格是每1k prompt tokens 0.06美元,每1K completion tokens 0.12美元。此外,OpenAI还开源了用于自动评估AI模型性能的框架OpenAI Evals,以便开发者更好的评测模型的优缺点,从而指导团队进一步改进模型。开源地址:github.com/openai/evalsGPT-4 技术报告

本文报告了GPT-4的发展,这是一个大规模的多模态模型,可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中,GPT-4的能力不如人类,但它在各种专业和学术基准上表现出了人类水平的表现,包括通过了模拟的律师考试,其分数约为考生的前10%。GPT-4是一个基于transformer的模型,预训练用于预测文档中的下一个token。训练后的校准过程会提高对事实的衡量和对期望行为的坚持程度。该项目的一个核心组件是开发基础设施和优化方法,这些方法可以在广泛的范围内预测性能。这使我们能够基于不超过GPT-4计算量的1/ 1000的训练模型准确地预测GPT-4性能的某些方面。本技术报告介绍了GPT-4,一个能够处理图像和文本输入并产生文本输出的大型多模态模型。此类模型是一个重要的研究领域,具有广泛的应用前景,如对话系统、文本摘要和机器翻译。因此,近年来,它们一直是人们感兴趣和取得进展的主题[1-28]。开发这样的模型的主要目标之一是提高它们理解和生成自然语言文本的能力,特别是在更复杂和微妙的情况下。为了测试它在这种情况下的能力,在最初为人类设计的各种考试中对GPT-4进行了评估。在这些评估中,它表现得相当好,经常超过绝大多数人类考生。例如,在模拟的律师考试中,GPT-4的分数落在了考生的前10%。这与GPT-3.5形成对比,GPT-3.5得分在最后10%。在一套传统的NLP基准测试中,GPT-4的表现优于之前的大型语言模型和大多数最先进的系统(这些系统通常有基准特定的训练或手工工程)。在MMLU基准29,30上,GPT-4不仅在英语方面以相当大的优势超过现有模型,而且在其他语言方面也表现出强大的性能。在MMLU的翻译变体上,GPT-4在考虑的26种语言中的24种超过了英语的最先进水平。我们将在后面的章节中更详细地讨论这些模型能力结果,以及模型安全性的改进和结果。本报告还讨论了该项目的一个关键挑战,即开发在大范围内表现可预测的深度学习基础设施和优化方法。这使我们能够对GPT-4的预期性能做出预测(基于以类似方式训练的小测试),并在最后的测试中进行测试,以增加我们对训练的信心。尽管GPT-4功能强大,但它与早期的GPT模型有相似的局限性[1,31,32]:它不完全可靠(例如,可能会出现“幻觉”),上下文窗口有限,并且不能从经验中学习。在使用GPT-4输出时应小心,特别是在可靠性很重要的情况下。GPT-4的能力和局限性带来了重大而新颖的安全挑战,我们认为,考虑到潜在的社会影响,仔细研究这些挑战是一个重要的研究领域。本报告包括一个广泛的系统卡(在附录之后),描述了我们预计的关于偏见、虚假信息、过度依赖、隐私、网络安全、扩散等方面的一些风险。它还描述了我们为减轻GPT-4部署带来的潜在危害而采取的干预措施,包括与领域专家进行对抗性测试,以及一个模型辅助的安全通道。本报告重点介绍了GPT-4的功能、局限性和安全性。GPT-4是[33]预训练的transformer风格的模型,可以使用公开可用的数据(如互联网数据)和第三方提供商授权的数据来预测文档中的下一个Token。然后使用来自人类反馈的强化学习(RLHF)[34]对模型进行微调。考虑到大型模型(如GPT-4)的安全影响,本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。我们致力于对我们的技术进行独立审计,并在这个版本附带的系统卡中分享了这一领域的一些初始步骤和想法我们计划向更多的第三方提供进一步的技术细节,他们可以就如何权衡上述竞争和安全考虑与进一步透明的科学价值提供建议


成为VIP会员查看完整内容
516

【导读】现在搞AI研究写论文,其中论文里的框架图模型图很是考验你画图的能力,不费一番心思功夫,怎能画出一个入得Reviewer法眼的图,论文也不大好中,很是发愁。好消息来了,elvis介绍了有个ML visual的利器,提供一份103页的PPT模型图素材,你在上面可以直接使用画出你要的机器学习深度学习模型图,再也不用担心画图了!

ML Visuals是一个新的协作项目,通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可,但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到),那就太好了。

地址: https://github.com/dair-ai/ml-visuals

怎么使用ML Visual?

下载这份MLvisual PPT,在上面的模板编辑你要的就行。

要添加您自己的自定义图形,只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本,并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果,并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分),这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外,提供一个简短的视觉描述,以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限,请单击上面“仅查看”工具栏下的“请求编辑访问”选项,或者通过ellfae@gmail.com发送电子邮件给我。

从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。

如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法,我们可以帮助。只要在这里打开一个问题,我们将尽我们最大的努力,以赶上视觉。谢谢。

在我们的Slack小组中,有任何关于这个项目的问题都可以问我们。

成为VIP会员查看完整内容
835

2023年3月6日,哈工大自然语言处理研究所 ( HIT-NLP, since 1979 ) 师生联合撰写出《ChatGPT调研报告》(84页),对“大模型”技术进行了系统的介绍。该报告原定仅供内部师生参考,但过去2个月中在网上也多有流传。5月4日,研究所决定将该报告公开,以期听取同行意见,并随着“大模型”技术的发展,持续对报告进行更新。

此外,哈工大自然语言处理研究所已经研制出哈工大“活字”对话大模型(通用),目前处于研究所内测阶段。同时,研究所积极研发各行业大模型(专用),欢迎拥有算力、数据、场景、资金优势的企事业单位来信洽商合作。

2022 年11 月30 日,OpenAI 推出全新的对话式通用人工智能工具—— ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力, 它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重 点清晰、有概括、有逻辑、有条理。ChatGPT 上线后,5 天活跃用户数高达 100 万,2 个月活跃用户数已达1 个亿,成为历史上增长最快的消费者应用 程序。除了被广大用户追捧外,ChatGPT 还受到了各国政府、企业界、学 术界的广泛关注,使人们看到了解决自然语言处理这一认知智能核心问题的 一条可能的路径,并被认为向通用人工智能迈出了坚实的一步,将对搜索引 擎构成巨大的挑战,甚至将取代很多人的工作,更将颠覆很多领域和行业。 哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对ChatGPT 进行了尽量详尽的介绍 及总结。

成为VIP会员查看完整内容
422

自ChatGPT推出以来,国内学术界和科技企业相继宣布或将推出类似机器人对话模型,有望推动大模型发展。2月7日,百度官宣“文心一言”。2月20日,复旦大学发布了类ChatGPT模型“MOSS”,并面向大众公开邀请内测,国产大模型有望迎来爆发式增长。   需求和政策两方面,合力推动AI产业增长。国内应用层面的需求推动AI产业的加速发展。根据IDC数据预测,2021年中国人工智能软件及应用市场规模为51亿美元,预计2026年将会达到211亿美元。数据、算法、算力是AI发展的驱动力,其中数据是AI发展的基石,中国数据规模增速有望排名全球第一。政策方面,“十四五”规划中提到“瞄准人工智能”,“聚焦人工智能关键算法”,加快推进“基础算法”的“突破与迭代应用”;北京、上海、广州等城市发布相关规划。   头部企业采取“模型+工具平台+生态”三层共建模式,有助于业务的良性循环,也更容易借助长期积累形成竞争壁垒。大模型厂商主要包括百度(文心大模型)、腾讯(HunYuan大模型)、阿里(通义大模型)、商汤、华为(盘古大模型)等企业,也有智源研究院、中科院自动化所等研究机构,同时英伟达等芯片厂商也纷纷入局。大模型增强了AI技术的通用性,助力普惠AI的实现。未来,大模型有望于场景深度融合,配合专业工具和平台支持应用落地,开放的生态来激发创新,形成良性循环。   技术发展有望促进生产效率提升,并进一步创造新的消费和需求,有利于文娱内容和互联网行业。在AIGC和ChatGPT方面,我们建议持续关注技术发展和应用情况,把握技术催化和商业化落地带来的投资机会:1)具备AIGC和ChatGPT的技术探索和应用的公司:百度集团-SW、商汤-W、万兴科技、拓尔思等;2)具有海量内容素材且具有AIGC探索布局的,图片/文字/音乐/视频内容及平台公司腾讯控股,阅文集团、美图公司、昆仑万维、汤姆猫、神州泰岳、视觉中国、中文在线、汉仪股份、天娱数科、风语筑等。

成为VIP会员查看完整内容
392

ChatGPT系列报告:

**刷爆的ChatGPT什么算法这么强!台大李宏毅老师国语讲解《ChatGPT (可能)是怎么炼成的 》! **

**深度学习算法发展简述,从DNN到Transformer再到ChatGPT **

**【哈工大SCIR】浅析ChatGPT的原理及应用 **

ChatGPT最新解读报告:开启AI新纪元,31页ppt

最新《ChatGPT》报告, 风口已至,商业化落地加速, 14页pdf

ChatGPT与AIGC深度报告:引领AI新浪潮,AIGC商业化启程

AIGC行业深度报告:ChatGPT:重新定义搜索“入口”

ChatGPT研究框架(2023),72页ppt详解现象级ChatGPT发展历程、原理、技术架构详解和产业未来,

《ChatGPT:利用最先进的技术支撑多域作战》

AIGC的技术发展和应用:ChatGPT,20页pdf

ChatGPT核心技术:强化学习PPO算法

ChatGPT 专题| ChatGPT报告:从ChatGPT到生成式AI:人工智能新范式,重新定义生产力,100页pdf

【芯片算力】▲芯片需求=量↑x价↑,AIGC拉动芯片产业量价齐升。1)量:AIGC带来的全新场景+原场景流量大幅提高;2)价:对高端芯片的需求将拉动芯片均价。ChatGPT的“背后英雄”:芯片,看好国内GPU、CPU、FPGA、AI芯片及光模块产业链。   相关标的:海光信息、景嘉微、龙芯中科、中国长城、安路科技、复旦微电、紫光国微、寒武纪、澜起科技、德科立、天孚通信、中际旭创。   【深度学习框架】深度学习框架是人工智能算法的底层开发工具,是人工智能时代的操作系统,当前深度学习框架发展趋势是趋于大模型训练,对深度学习框架的分布式训练能力提出了要求,国产深度学习框架迎来发展机遇。   相关标的:百度、海天瑞声、商汤科技、微软、谷歌、Meta。   【深度学习大模型】ChatGPT是基于OpenAI公司开发的InstructGPT模型的对话系统,GPT系列模型源自2017年诞生的Transformer模型,此后大模型数量激增,参数量进入千亿时代,国内百度也发布了ERNIE系列模型并有望运用于即将发布的文心一言(ERNIEBot)对话系统,未来国内厂商有望在模型算法领域持续发力。   相关标的:百度、科大讯飞、商汤科技、谷歌、微软。   【应用】ChatGPT火爆全球的背后,可以窥见伴随人工智能技术的发展,数字内容的生产方式向着更加高效迈进。ChatGPT及AIGC未来有望在包括游戏、广告营销、影视、媒体、互联网、娱乐等各领域应用,优化内容生产的效率与创意,加速数实融合与产业升级。   相关标的:百度、腾讯、阿里巴巴、网易、昆仑万维、阅文集团、捷成股份、视觉中国、风语筑、中文在线、三七互娱、吉比特、天娱数科。   【通信】AIGC类产品未来有望成为5G时代新的流量入口,率先受益的有望是AIGC带来的底层基础算力爆发式增长。   相关标的:包括算力调度(运营商)、算力供给(运营商、奥飞数据、数据港)、算力设备(浪潮信息、联想集团、紫光股份、中兴通讯、锐捷网络、天孚通信、光库科技、中际旭创、新易盛)、算力散热(英维克、高澜股份)。

成为VIP会员查看完整内容
374

来源:中国信息通信研究院

人工智能技术是释放数字化叠加倍增效应、加快战略新兴产业发展、构筑综合竞争优势的必然选择。纵观全球,国内外人工智能相关不断强化,持续推动释放人工智能红利;以深度学习为代表的人工智能技术飞速发展,新技术开始探索落地应用;工程化能力不断增强,在医疗、制造、自动驾驶等领域的应用持续深入;可信人工智能技术引起社会广泛关注。人工智能治理受到全球高度关注,各国规制进程不断加速,基于可信人工智能的产业实践不断深入。

近日,中国信息通信研究院正式发布《人工智能白皮书(2022年)》,全面回顾了2021年以来全球人工智能在政策、技术、应用和治理等方面的最新动向,重点分析了人工智能所面临的新发展形势及其所处的新发展阶段,致力于全面梳理当前人工智能发展态势,为各界提供参考,共同推动人工智能持续健康发展。

白皮书核心观点

1、人工智能迈入新阶段,将由技术创新、工程实践、可信安全“三维”坐标来定义和牵引

第一个维度突出创新,围绕着算法和算力方面的创新仍会不断涌现。第二个维度突出工程,工程化能力逐渐成为人工智能大规模赋能千行百业的关键要素。第三个维度突出可信,发展负责任和可信的人工智能成为共识,将抽象的治理原则落实到人工智能全生命流程将成为重点。

2、人工智能技术创新仍是主旋律,新算法不断涌现

超大规模预训练模型推动技术效果不断提升,继续朝着规模更大、模态更多的方向发展;“生成式人工智能”技术不断成熟,未来听、说、读、写等能力将有机结合;知识计算成为推动人工智能从感知智能向认知智能转变的重要探索;人工智能与科学研究融合不断深入,开始“颠覆”传统研究范式。

3、人工智能工程化聚焦工具体系、开发流程、模型管理全生命流程的高效耦合

工具体系层面:体系化与开放化成为研发平台技术工具链的发展特点。 开发流程层面:工程化关注人工智能模型开发的生命流程,追求高效且标准化的持续生产、持续交付和持续部署,最终以最佳的模型进入应用层面产生商业价值。 模型管理层面:企业需要建设对模型生命周期的管理机制,对模型的版本历程、性能表现、属性、相关数据、衍生的模型档案等进行标准化的管理运维。

4、人工智能治理迈入软硬法协同和场景规制新阶段

人工智能治理实质化进程加速推进:各国人工智能治理侧重各有不同,但整体上呈现加速演进态势,即从初期构建以“软法”为导向的社会规范体系,开始推进以“硬法”为保障的风险防控体系。 典型场景化治理加速落地:各国纷纷注意到人工智能应用场景多样化和差异化给治理带来的复杂性,典型场景的治理成为各国的工作重点,特别聚焦于自动驾驶、智慧医疗和人脸识别等领域。

成为VIP会员查看完整内容
464

3月15日 OpenAI发布多模态大模型GPT-4,其不仅在语言处理能力上提高,还具备对图像的理解和分析能力。GPT-4商业化进程加快,开放API的同时还发布了在6个不同商业场景的应用落地。随后微软发布了震撼的微软365 Copilot,极大提升office的生产力和交互方式。此前,ChatGPT就已经展示了强大的能力,在文字创造、人机交互、教育、影音、零售等多场景落地应用。我们认为,多模态大模型已在多领域具有专家能力,未来将深度赋能千行百业,改变生产生活方式。 **1. 2023年3月15日,OpenAI目前最强大的多模态预训练大模型GPT-4正式发布。**其能够处理文本、图像两种模态的输入信息,单次处理文本量是ChatGPT的8倍,GPT-4的表现大大优于目前最好的语言模型,同时在学术考试中的水平远超GPT3.5。这意味着GPT-4不仅在学术层面上实现了模型优化与突破,同时也展现出了成为部分领域专家的能力。

**2. GPT-4商业化进程加快。**GPT-4在发布时便开放了其纯文本输入的API,这与GPT-3和GPT-3.5的滞后开放不同。同时,GPT-4这次一起推出了6个商业场景的具体应用落地,在优化人机交互体验、提供专业服务、提升组织效能、文化传承与保护等方面都展现了巨大的潜能,未来有望看到更多场景中的商业化拓展与落地。 **3. ChatGPT已经刮起GPT生态狂潮。**2023年3月1号,OpenAI基于GPT 3.5 Turbo模型开放了ChatGPT API。API收费模式为0.002美元/1000tokens。相较于前一代开放接口GPT 3.5,性能更强的同时,价格下降90%,加速ChatGPT相关应用生态的发展。 **4.应用百花齐放,创造新的生产方式。**微软先后在搜索引擎Bing、企业服务平台Dynamic 365及开发者工具平台Power Platform等接入 ChatGPT/GPT-4能力。微软还发布了震撼的Microsoft 365 Copilot,极大提升office的生产力和交互方式。与此同时,在越来越多的企业宣布接入ChatGPT的能力,其中不乏一些已经取得优秀商业化的应用。如Jasper、Quizlet、Shop等,在语言文字创造、人机交互、教育、绘画、影音、零售等多场景落地应用。 5. 我们认为以GPT4/ChatGPT为代表的预训练大模型是这一轮AI浪潮的重要革新,重点推荐关注海内外优秀应用落地情况,AI芯片产业链等投资机遇。

**GPT技术发展不及预期:**GPT属于先进AI算法,若后续GPT算法更新迭代效果不及预期,则会影响GPT演进及拓展,进而会影响其商业化落地等; **算法歧视与人权道德风险:**GPT引入基于人工反馈的强化学习,在人工反馈中,不可避免的会参杂歧视问题,从而会将歧视带入后续的人机交互中;大模型在进行预训练过程中,使用了大量数据,其中会涉及相关隐私问题; **数据数量与数据质量不及预期:**大模型需要大量的高质量数据进行训练,若数据数量和质量存在短板,则会影响模型效果。 **GPT接口开放不明确:**目前GPT是否能对国内开放API还不明朗,若未来无法接入,可能将导致相关应用在国内无法落地。 **算力受限:**目前大模型训练以GPU为主,尤其是英伟达的GPU。未来若GPU产能或者中美摩擦升级,可能导致国内厂商的算力布局。

成为VIP会员查看完整内容
313
登陆后查看更多精品内容
VIP会员
本周荟萃主题
区块链
区块链(Blockchain)是由节点参与的分布式数据库系统,它的特点是不可更改,不可伪造,也可以将其理解为账簿系统(ledger)。它是比特币的一个重要概念,完整比特币区块链的副本,记录了其代币(token)的每一笔交易。通过这些信息,我们可以找到每一个地址,在历史上任何一点所拥有的价值。
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
计算机网络
计算机网络( Computer Networks )指将地理位置不同的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
微信扫码咨询专知VIP会员