每日三篇 | 损失项归一化;Scala机器学习库;可视化深度学习模型训练过程

2018 年 12 月 15 日 论智

1

Regularizing by the Variance of the Activations' Sample-Variances

传统的归一化技术显式地归一化激活值,而特拉维夫大学Etai Littwin、Facebook AI研究院Lior Wolf在NIPS 2018上提出了一种通过添加损失项进行归一化的新方法。新添加的损失项有助于平稳不同mini-batch间激活的方差。在CNN和全连接网络上的试验表明,相比BN,这一新方法可以提高精确度。

地址:http://papers.nips.cc/paper/7481-regularizing-by-the-variance-of-the-activations-sample-variances

2

doddle-model: immutable machine learning in Scala

基于Scala的数值运算库Breeze构建,提供doddle(不可变对象)供并行计算使用,API风格类似scikit-learn。提供了特征预处理、评估测度、基线模型、线性模型、模型选取等功能。

地址:https://picnicml.github.io/

3

Deep Replay 可视化深度学习模型训练过程

Deep Replay是一个可视化深度学习模型训练过程的工具。它包含一个Keras回调ReplayData,用于在网络过程中收集信息,以及一个Replay类,基于所收集的信息创建多种可视化。

地址:https://github.com/dvgodoy/deepreplay

星标 论智,每天获取最新资讯

登录查看更多
4

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
46+阅读 · 2020年7月4日
【CVPR2020-CMU】无数据模型选择,一种深度框架潜力
专知会员服务
21+阅读 · 2020年4月12日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
20+阅读 · 2019年12月31日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
30+阅读 · 2019年10月16日
【Strata Data Conference】用于自然语言处理的深度学习方法
专知会员服务
48+阅读 · 2019年9月23日
PyTorch模型训练特征图可视化(TensorboardX)
极市平台
33+阅读 · 2019年6月29日
40 行 Python 代码,实现卷积特征可视化
Python开发者
3+阅读 · 2019年2月13日
vae 相关论文 表示学习 2
CreateAMind
6+阅读 · 2018年9月9日
手把手教你用Python库Keras做预测(附代码)
数据派THU
14+阅读 · 2018年5月30日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
VIP会员
Top
微信扫码咨询专知VIP会员