机器之心报道
参与:杜伟、一鸣
自 2014 年成立以来,艾伦人工智能研究所(AI2)就致力于研究和设计人工智能,并通过构建人工智能系统与推理、学习和阅读能力实现科学突破。 研究人员在该所成立后不久即开始研发 Aristo 系统。 现在,该系统已经能够阅读、理解初中八年级科学文本并通过初高中水平生物测试题了。
统计和信息提取
推理
大规模语言模型
模型首先学习基本的背景知识。研究人员提取最多 10 个句子作为某个背景知识的代表,根据 BERT 调整了句子最大长度。
研究人员用中学的教学大纲微调模型。研究人员在 RACE 训练集上进行了模型微调,这是一个英语阅读理解单选测试题,用于中国中学教学中。
进一步的,研究人员使用了多个科学领域的单选题数据集进行微调,包括纽约中学会考题等。
研究人员在发展集上进行最终的微调,并根据原始的 BERT 论文进行了超参数搜索。
研究人员在 BERT-base、BERT-large-uncased、BERT-large-cased 和全词 mask 的 BERT-large-cased 四种模型上进行了如上操作,并最终将这些模型集成起来。当然,他们也尝试了 RoBERTa 模型。
AI 发展的里程碑