传统的归一化技术显式地归一化激活值,而特拉维夫大学Etai Littwin、Facebook AI研究院Lior Wolf在NIPS 2018上提出了一种通过添加损失项进行归一化的新方法。新添加的损失项有助于平稳不同mini-batch间激活的方差。在CNN和全连接网络上的试验表明,相比BN,这一新方法可以提高精确度。
地址:http://papers.nips.cc/paper/7481-regularizing-by-the-variance-of-the-activations-sample-variances
基于Scala的数值运算库Breeze构建,提供doddle(不可变对象)供并行计算使用,API风格类似scikit-learn。提供了特征预处理、评估测度、基线模型、线性模型、模型选取等功能。
地址:https://picnicml.github.io/
Deep Replay是一个可视化深度学习模型训练过程的工具。它包含一个Keras回调ReplayData,用于在网络过程中收集信息,以及一个Replay类,基于所收集的信息创建多种可视化。
地址:https://github.com/dvgodoy/deepreplay