In recent times, there has been definitive progress in the field of NLP, with its applications growing as the utility of our language models increases with advances in their performance. However, these models require a large amount of computational power and data to train, consequently leading to large carbon footprints. Therefore, is it imperative that we study the carbon efficiency and look for alternatives to reduce the overall environmental impact of training models, in particular large language models. In our work, we assess the performance of models for machine translation, across multiple language pairs to assess the difference in computational power required to train these models for each of these language pairs and examine the various components of these models to analyze aspects of our pipeline that can be optimized to reduce these carbon emissions.


翻译:近来,随着语言模型的使用随着性能的提高而增加,在NLP领域已经取得了明确的进展,其应用随着我们语言模型的使用量的增加而增长,然而,这些模型需要大量的计算力和数据来培训,从而导致巨大的碳足迹。因此,我们必须研究碳效率,寻找替代办法,以减少培训模型,特别是大型语言模型的总体环境影响。在我们的工作中,我们评估了多种语言对的机器翻译模型的性能,以评估为每种语言对培训这些模型所需的计算能力差异,并审查这些模型的各个组成部分,以分析我们为减少这些碳排放可以优化的管道的各个方面。

0
下载
关闭预览

相关内容

专知会员服务
124+阅读 · 2020年9月8日
专知会员服务
41+阅读 · 2020年9月6日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
【电子书】机器学习实战(Machine Learning in Action),附PDF
专知会员服务
129+阅读 · 2019年11月25日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Yoshua Bengio,使算法知道“为什么”
专知会员服务
8+阅读 · 2019年10月10日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【机器视觉】计算机视觉研究入门全指南
产业智能官
11+阅读 · 2018年9月23日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
0+阅读 · 2021年11月17日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
8+阅读 · 2019年3月28日
Arxiv
7+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2018年4月11日
Arxiv
3+阅读 · 2018年3月28日
Arxiv
6+阅读 · 2018年2月28日
VIP会员
相关VIP内容
专知会员服务
124+阅读 · 2020年9月8日
专知会员服务
41+阅读 · 2020年9月6日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
【电子书】机器学习实战(Machine Learning in Action),附PDF
专知会员服务
129+阅读 · 2019年11月25日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Yoshua Bengio,使算法知道“为什么”
专知会员服务
8+阅读 · 2019年10月10日
相关资讯
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【机器视觉】计算机视觉研究入门全指南
产业智能官
11+阅读 · 2018年9月23日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
0+阅读 · 2021年11月17日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
8+阅读 · 2019年3月28日
Arxiv
7+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2018年4月11日
Arxiv
3+阅读 · 2018年3月28日
Arxiv
6+阅读 · 2018年2月28日
Top
微信扫码咨询专知VIP会员