使用 Keras Tuner 调节超参数

2020 年 2 月 6 日 TensorFlow

文 / Tom O’Malley

能否选择良好的超参数，通常是决定机器学习项目成败的关键。随着机器学习领域不断发展成熟，依赖试错法来为这些参数寻找恰当的值（通常戏称为“Grad Student Descent”）已经无法满足可扩展性的需求。实际上，当今许多最前沿的结果（如 EfficientNet）都是通过复杂的超参数优化算法而得以发现。

EfficientNet
https://arxiv.org/abs/1905.11946

Keras Tuner 是一个易于使用的分布式超参数优化框架，能够解决执行超参数搜索时的一些痛点。Keras Tuner 可让您轻松定义搜索空间，并利用内置算法找到最佳超参数的值，内置有贝叶斯优化、Hyperband 和随机搜索算法，其设计亦便于研究人员进行新的搜索算法的扩展。

Keras Tuner
https://github.com/keras-team/keras-tuner

下面是一个简单的端到端示例。首先，我们定义一个模型构造函数。在 hp 中进行超参数采样，例如hp.Int('units', min_value=32, max_value=512, step=32)（特定范围内的某个整数）。请注意根据模型构建代码来定义超参数的方式。下方示例中，我们构建了一个简单的可调参模型，并使用 CIFAR-10 进行训练：

import tensorflow as tf

def build_model(hp):
  inputs = tf.keras.Input(shape=(32, 32, 3))
  x = inputs
  for i in range(hp.Int('conv_blocks', 3, 5, default=3)):
    filters = hp.Int('filters_' + str(i), 32, 256, step=32)
    for _ in range(2):
      x = tf.keras.layers.Convolution2D(
        filters, kernel_size=(3, 3), padding='same')(x)
      x = tf.keras.layers.BatchNormalization()(x)
      x = tf.keras.layers.ReLU()(x)
    if hp.Choice('pooling_' + str(i), ['avg', 'max']) == 'max':
      x = tf.keras.layers.MaxPool2D()(x)
    else:
      x = tf.keras.layers.AvgPool2D()(x)
  x = tf.keras.layers.GlobalAvgPool2D()(x)
  x = tf.keras.layers.Dense(
      hp.Int('hidden_size', 30, 100, step=10, default=50),
      activation='relu')(x)
  x = tf.keras.layers.Dropout(
      hp.Float('dropout', 0, 0.5, step=0.1, default=0.5))(x)
  outputs = tf.keras.layers.Dense(10, activation='softmax')(x)

  model = tf.keras.Model(inputs, outputs)
  model.compile(
    optimizer=tf.keras.optimizers.Adam(
      hp.Float('learning_rate', 1e-4, 1e-2, sampling='log')),
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy'])
  return model

下一步，将 Tuner 实例化。您应指定模型的构造函数，以及需要优化的对象名称（对于内置指标，是否进行最小化或最大化可通过自动推理得出；而对于自定义指标，则可通过kerastuner.Objective类指定此内容）。在本示例中，Keras Tuner 会使用 Hyperband 算法搜索超参数：

Hyperband
https://arxiv.org/pdf/1603.06560.pdf

import kerastuner as kt

tuner = kt.Hyperband(
    build_model,
    objective='val_accuracy',
    max_epochs=30,
    hyperband_iterations=2)

接下来，我们将使用 TensorFlow Datasets 下载 CIFAR-10 数据集，然后开始超参数搜索。调用search方法以开始搜索。该方法与keras.Model.fit 的签名相同：

TensorFlow Datasets
https://www.tensorflow.org/datasets

import tensorflow_datasets as tfds

data = tfds.load('cifar10')
train_ds, test_ds = data['train'], data['test']

def standardize_record(record):
  return tf.cast(record['image'], tf.float32) / 255., record['label']

train_ds = train_ds.map(standardize_record).batch(64).shuffle(10000)
test_ds = test_ds.map(standardize_record).batch(64)

tuner.search(train_ds,
             validation_data=test_ds,
             epochs=30,
             callbacks=[tf.keras.callbacks.EarlyStopping(patience=1)])

每个模型最多都将接受 30 轮训练，并会经历两次 Hyperband 算法迭代。之后，您可以使用get_best_models函数检索在搜索期间发现的最佳模型：

best_model = tuner.get_best_models(1)[0]

您也可查看通过搜索发现的最佳超参数值：

best_hyperparameters = tuner.get_best_hyperparameters(1)[0]

以上就是执行复杂的超参数搜索所需的全部代码！

您可以在此处找到上述示例的完整代码。

此处
https://github.com/keras-team/keras-tuner/blob/master/examples/cifar10.py

内置可调参模型

除了允许您定义自己的可调参模型，Keras Tuner 还提供两个内置可调参模型：HyperResnet 和 HyperXception。这两个模型会分别搜索 ResNet 和 Xception 架构的各种排列，也可和Tuner配合使用，比如：

tuner = kt.tuners.BayesianOptimization(
  kt.applications.HyperResNet(input_shape=(256, 256, 3), classes=10),
  objective='val_accuracy',
  max_trials=50)

分布式调参

借助 Keras Tuner，您将能同时进行数据并行和 trial-parallel 的分布式作业。这意味着您可以使用tf.distribute.Strategy 在多个 GPU 上运行每个模型，还可以在不同工作线程 (worker) 上并行搜索多个不同的超参数组合。

执行一次并行搜索试验无需修改任何代码。只需设置KERASTUNER_TUNER_ID、KERASTUNER_ORACLE_IP 和 KERASTUNER_ORACLE_PORT 这几个环境变量即可，例如此处的 bash 脚本所示：

export KERASTUNER_TUNER_ID="chief"
export KERASTUNER_ORACLE_IP="127.0.0.1"
export KERASTUNER_ORACLE_PORT="8000"
python run_my_search.py

这些 Tuner 是通过Oracle中心服务来协调搜索的，该服务会告知每个 Tuner 接下来要尝试哪些超参数。如需了解更多信息，请参阅我们的分布式调参指南。

分布式调参指南
https://keras-team.github.io/keras-tuner/tutorials/distributed-tuning/

自定义训练循环

您可将 kerastuner.Tuner 类作为子类，以支持高级用法，例如：

自定义训练循环（GAN、强化学习等）

在模型构造函数之外添加超参数（预处理、数据增强、测试时增强等）

下面是一个简单示例：

class MyTuner(kt.Tuner):

    def run_trial(self, trial, ...):
        model = self.hypermodel.build(trial.hyperparameters)
        score = …  # Run the training loop and return the result.
        self.oracle.update_trial(trial.trial_id, {'score': score})
        self.oracle.save_model(trial.trial_id, model)

如需了解更多信息，请参阅我们的 Tuner 子类化指南。

Tuner 子类化指南
https://keras-team.github.io/keras-tuner/tutorials/subclass-tuner/

为 SciKit Learn 模型调参

虽然 Keras Tuner 的命名中包含 “Keras”，但它可以用来调参其他各种机器学习模型。除了专为 Keras 模型内置的 Tuner，Keras Tuner 还提供了可与 Sci-Kit Learn 模型配合使用的内置 Tuner。下方展示了如何使用该 Tuner 的简单示例：

from sklearn import ensemble
from sklearn import linear_model

def build_model(hp):
    model_type = hp.Choice('model_type', ['random_forest', 'ridge'])
    if model_type == 'random_forest':
        with hp.conditional_scope('model_type', 'random_forest'):
            model = ensemble.RandomForestClassifier(
                n_estimators=hp.Int('n_estimators', 10, 50, step=10),
                max_depth=hp.Int('max_depth', 3, 10))
    elif model_type == 'ridge':
        with hp.conditional_scope('model_type', 'ridge'):
            model = linear_model.RidgeClassifier(
                alpha=hp.Float('alpha', 1e-3, 1, sampling='log'))
    else:
        raise ValueError('Unrecognized model_type')
    return model

tuner = kt.tuners.Sklearn(
        oracle=kt.oracles.BayesianOptimization(
            objective=kt.Objective('score', 'max'),
            max_trials=10),
        hypermodel=build_model,
        directory=tmp_dir)
X, y = ...
tuner.search(X, y)

如需了解有关 Keras Tuner 的更多信息，请参阅 Keras Tuner 网站或 Keras Tuner GitHub。Keras Tuner 是一个开源项目，所有开发工作都在 GitHub 上进行。若您想要了解 Keras Tuner 的某些功能，请在 GitHub 开设一个功能请求问题。若您有意贡献代码，请查看我们的贡献指南，并向我们发送 PR 请求！