Building robust deterministic neural networks remains a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the other hand, some methods simultaneously increase classification accuracy, uncertainty estimation, and out-of-distribution detection at the expense of reducing the inference efficiency and requiring training the same model many times to tune hyperparameters. In this paper, we propose training deterministic neural networks using our DisMax loss, which works as a drop-in replacement for the usual SoftMax loss (i.e., the combination of the linear output layer, the SoftMax activation, and the cross-entropy loss). Starting from the IsoMax+ loss, we create each logit based on the distances to all prototypes rather than just the one associated with the correct class. We also introduce a mechanism to combine images to construct what we call fractional probability regularization. Moreover, we present a fast way to calibrate the network after training. Finally, we propose a composite score to perform out-of-distribution detection. Our experiments show that DisMax usually outperforms current approaches simultaneously in classification accuracy, uncertainty estimation, and out-of-distribution detection while maintaining deterministic neural network inference efficiency and avoiding training the same model repetitively for hyperparameter tuning. The code to reproduce the results is available at https://github.com/dlmacedo/distinction-maximization-loss.
翻译:建立稳健的确定性神经网络仍是一项挑战。 一方面, 某些方法以降低某些情况下的分类准确性为代价改进了分配外检测。 另一方面, 某些方法同时提高分类准确性、 不确定性估计和分配外检测, 以降低推断效率为代价, 并需要多次培训相同的模型来调和超参数。 在本文中, 我们提议使用我们DisMax损失来培训确定性神经网络, 以其作为通常的 SoftMax损失( 即线性产出层、 软麦克斯激活和交叉性移植损失的组合) 来取代分配外检测。 从Isomax+损失开始, 我们创建了每一种基于与所有原型距离的逻辑, 而不仅仅是与正确等级相关的模型。 我们还引入了一种机制, 将图像组合成我们称之为分数概率概率规范。 此外, 我们提出一种快速的方法来校正网络在培训之后的校正。 最后, 我们提出一个复合分分数来进行分配外检测。 我们的实验模型显示, Dismax- damia- drealalalalimaltialalalalalalal laction laction laction labaltical disaltiew 和在目前网络的校正中, 校正中, 校正 校正 校正, 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校 校 校 校正 校正 校正 校正 校正 校正 校 校正 校正 校 校正 校 校 校 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正 校正