In recent times, there has been definitive progress in the field of NLP, with its applications growing as the utility of our language models increases with advances in their performance. However, these models require a large amount of computational power and data to train, consequently leading to large carbon footprints. Therefore, it is imperative that we study the carbon efficiency and look for alternatives to reduce the overall environmental impact of training models, in particular large language models. In our work, we assess the performance of models for machine translation, across multiple language pairs to assess the difference in computational power required to train these models for each of these language pairs and examine the various components of these models to analyze aspects of our pipeline that can be optimized to reduce these carbon emissions.


翻译:近来,随着语言模型的使用随着性能的提高而增加,在NLP领域已经取得了明确的进展,其应用随着我们语言模型的使用量的增加而增长,然而,这些模型需要大量的计算力和数据来培训,从而导致巨大的碳足迹。因此,我们必须研究碳效率,寻找替代办法,以减少培训模型,特别是大型语言模型的总体环境影响。在我们的工作中,我们评估了多种语言对的机器翻译模型的性能,以评估为每种语言对培训这些模型所需的计算能力差异,并审查这些模型的各个组成部分,以分析我们为减少这些碳排放可以优化的管道的各个方面。

1
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2021年8月8日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Yoshua Bengio,使算法知道“为什么”
专知会员服务
7+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
人工智能 | SCI期刊专刊/国际会议信息7条
Call4Papers
7+阅读 · 2019年3月12日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
10+阅读 · 2021年11月10日
Arxiv
30+阅读 · 2021年8月18日
Arxiv
35+阅读 · 2021年8月2日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
6+阅读 · 2018年2月28日
Arxiv
151+阅读 · 2017年8月1日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
人工智能 | SCI期刊专刊/国际会议信息7条
Call4Papers
7+阅读 · 2019年3月12日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关论文
Arxiv
10+阅读 · 2021年11月10日
Arxiv
30+阅读 · 2021年8月18日
Arxiv
35+阅读 · 2021年8月2日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
6+阅读 · 2018年2月28日
Arxiv
151+阅读 · 2017年8月1日
Top
微信扫码咨询专知VIP会员