【ICML2021】基于离线模型有效优化的保守目标模型

从合成生物学到计算机架构，计算设计问题出现在许多环境中。在本文中，我们的目标是解决基于数据驱动模型的优化(MBO)问题，其中的目标是找到一个设计输入，使一个未知的目标函数最大化，只提供访问先前实验的静态数据集。这种数据驱动的优化过程是许多现实领域中唯一实用的方法，在这些领域中，主动数据收集是昂贵的(如优化蛋白质)或危险的(如优化飞机设计)。针对已知模型优化设计的典型MBO方法遭遇了分布转移:很容易找到一种设计，它“愚弄”了模型，使其预测出高价值。为了克服这一点，我们提出了保守目标模型(COMs)，一种学习目标函数模型的方法，该模型下界的真实目标的实际值在非分布输入外，并使用它进行优化。在结构上，COMs类似于用来克服对抗性例子的对抗性训练方法。COM易于实现，并且在许多MBO问题上优于现有的一些方法，包括优化蛋白质序列、机器人形态、神经网络权值和超导材料。

https://www.zhuanzhi.ai/paper/eaa6ff747a559f00731e498e36ddb232