首个中文Stable Diffusion模型背后的技术:IDEA研究院封神榜团队揭秘

2022 年 11 月 9 日 机器之心


近年来,随着大模型在自然语言处理、计算机视觉等多个领域兴起,认知智能正在经历范式上的变化。借助大规模的数据以及庞大的参数量,这些模型展现出能够有效处理各种任务的特征,并正在以惊人的速度被部署到各个专业领域中,对社会和经济发展产生深远的影响。


但是目前中文社区出现了某种停滞不前的现象,因为模型的体量已经从原本的百万参数飞跃至千亿级别,一些高校和传统公司并不具备足够的算力,也缺少有效的基础设施帮助他们训练和使用模型。因此,要推动人工智能技术进一步发展,坚实的基础设施尤为重要。


在这个背景下,IDEA 研究院封神榜团队在过去快速积累的基础上,已经开源超过 86 个预训练模型,其中一个里程碑事件,就是近期刚刚开源的以中文为主的首个中文 Stable Diffusion 模型 “太乙”,让 AI 更懂中文,也让中文的世界真正拥有具备中国文化内核的 AIGC 模型。 


至于Stable Diffusion,最近可是火出了圈,其模型的开源,催生了众多 AI 绘画的应用,得益于 Stability AI 的开源精神,这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。


然而在国内,大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发,由于中英文之间所得存在文化差异导致遇到中文独特的叙事和表达时,这种模型就很难给出正确匹配的图片内容。“太乙”的开源可谓是弥补了这一缺憾。


机器之心上周发布的相关文章引起了国内 AI 社区的极大关注(参考:首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代)。为了方便读者了解此项目,机器之心最新一期机动组直播邀请到了封神榜团队在周四线上分享揭秘首个中文 Stable Diffusion 模型背后的关键技术。欢迎对 AIGC 感兴趣的小伙伴前来交流。



分享主题:首个中文开源 Stable Diffusion 团队技术揭秘:中文语境下的AIGC 


分享摘要:全面讲解太乙系列模型从模型的生产到应用。该分享从训练,微调和加速等角度揭秘封神榜开源体系之一的太乙系列(多模态系列)模型是如何生产的。基于该团队训练后开源的权重,讲解如何推理加速以及如何部署在 webui 和 dreambooth 等应用上。


分享时间:北京时间 11 月 10 日 19:00-20:00


分享嘉宾

  • 甘如饴,IDEA 研究院封神榜团队负责人,基础算法资深研究员。
  • 王军杰,IDEA 研究院封神榜团队成员,现就读于早稻田大学攻读博士学位,清华大学客座学生(指导老师:杨余久)。
  • 李夏禹,IDEA 研究院封神榜团队成员,基础算法资深研究员。
  • 高昕宇,IDEA 研究院封神榜团队成员,基础算法资深研究员。
  • 陈伟峰,IDEA 研究院封神榜团队成员,现就读于中山大学硕士学位。


相关链接:

  • 封神榜论文(中英双语): https://arxiv.org/abs/2209.02970
  • IDEA研究院官网: https://www.idea.edu.cn/
  • 封神榜大模型开源体系: https://www.idea.edu.cn/fengshenbang-lm.html
  • 封神榜模型: https://huggingface.co/IDEA-CCNL
  • 封神框架: https://github.com/IDEA-CCNL/Fengshenbang-LM


加群看直播


直播间:关注机器之心机动组视频号,立即预约。

交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。

如群已超出人数限制,请添加机器之心小助手:syncedai4、syncedai5或 syncedai6,备注「IDEA」即可加入。

登录查看更多
3

相关内容

粤港澳大湾区数字经济研究院是一家面向人工智能、数字经济产业和前沿科技的国际化创新型研究机构,坐落于深圳市深港科技创新合作区内。IDEA正与 MSR、Google Brain、DeepMind、OpenAI 等同行者一起推动人类 AI 技术前沿的发展。IDEA 的使命是立足社会需求,研发颠覆式创新技术并回馈社会,让更多的人从数字经济发展中获益。IDEA 秉承共享共赢共生的开源开放精神,积极营造自由而富有激情的创新工作环境,聚集全世界最聪慧的大脑一起创造人类社会最需要的价值。我们坚持科技擎天,产业立地,相信最好的研究从需求中来,到需求中去,最终惠及广大企业和受众。 IDEA 目前已聚集一批包括院士、世界著名大学教授、世界知名开源系统发明人在内的国际一流技术专家,致力于在 AI 基础技术与开源系统、人工智能金融科技、区块链技术与可信计算、企业级 AI 系统、产业智能物联网与智能机器人等领域研发国际顶尖成果,并培育一批国际领先科技企业,带动深圳乃至大湾区万亿级数字经济产业发展。 AIPT(AI 平台技术研究中心)致力于建设支撑人工智能算法、算力和数据的平台,通过具体项目的研发、实施和部署来推进 AI 技术的落地和产业化,团队成立以来,已发布 ReadPaper 论文阅读平台、BIOS 医疗知识图谱两款产品。AIPT 负责人-谢育涛曾任微软公司技术合伙人兼微软(中国)操作系统工程院院长。谢育涛在微软公司工作 20 余年,先后在微软美国总部的 Microsoft Office 产品组、必应团队、微软亚洲互联网工程院以及微软(中国)操作系统工程院、人工智能和云计算等多个研发部门担任重要职务。他在操作系统、搜索技术、人工智能、应用及服务领域拥有丰富的技术与管理经验。
【NeurIPS'22教程】图神经网络TensorFlow实战指南,128页ppt
专知会员服务
30+阅读 · 2022年11月30日
中文预训练模型研究进展
专知会员服务
77+阅读 · 2022年7月21日
无量深度学习系统在腾讯推荐类业务的应用
专知会员服务
20+阅读 · 2022年7月9日
中科院自动化所徐波团队最新《视觉-语言预训练》综述
专知会员服务
66+阅读 · 2022年2月23日
唐杉博士:人工智能芯片发展及挑战
专知会员服务
46+阅读 · 2021年12月4日
多模态预训练模型简述
专知会员服务
109+阅读 · 2021年4月27日
TensorFlowLite:端侧机器学习框架
专知会员服务
32+阅读 · 2020年8月27日
EasyNLP中文文图生成模型带你秒变艺术家
阿里技术
1+阅读 · 2022年7月28日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年1月3日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
VIP会员
相关VIP内容
【NeurIPS'22教程】图神经网络TensorFlow实战指南,128页ppt
专知会员服务
30+阅读 · 2022年11月30日
中文预训练模型研究进展
专知会员服务
77+阅读 · 2022年7月21日
无量深度学习系统在腾讯推荐类业务的应用
专知会员服务
20+阅读 · 2022年7月9日
中科院自动化所徐波团队最新《视觉-语言预训练》综述
专知会员服务
66+阅读 · 2022年2月23日
唐杉博士:人工智能芯片发展及挑战
专知会员服务
46+阅读 · 2021年12月4日
多模态预训练模型简述
专知会员服务
109+阅读 · 2021年4月27日
TensorFlowLite:端侧机器学习框架
专知会员服务
32+阅读 · 2020年8月27日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员