Diganta Misra等人提出新激活函数Mish，在一些任务上超越RuLU - 专知VIP

会员服务 ·

1

深度学习 · 激活函数 ·

2019 年 10 月 15 日

Diganta Misra等人提出新激活函数Mish，在一些任务上超越RuLU

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

《Mish: Self Regularized Non-Monotonic Activation Function》

Github地址: https://github.com/digantamisra98/Mish
Arxiv论文: https://arxiv.org/abs/1908.08681v2

成为VIP会员查看完整内容

Mish A Self Regularized Non-Monotonic Neural Activation Function.pdf

14

相关内容

深度学习

机器学习的一个分支，它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf

【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf

专知会员服务

62+阅读 · 2020年5月27日

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型

专知会员服务

25+阅读 · 2020年5月7日

斯坦福2020硬课《分布式算法与优化》

斯坦福2020硬课《分布式算法与优化》

专知会员服务

118+阅读 · 2020年5月6日

近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码

近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码

专知会员服务

95+阅读 · 2020年3月24日

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率

专知会员服务

35+阅读 · 2020年3月11日

重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%

重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%

专知会员服务

31+阅读 · 2020年2月15日

【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models

专知会员服务

53+阅读 · 2020年1月30日

【AAAI2020论文】分类感知的生成式对抗网络，具有分类文本生成的层次进化学习 (附pdf)

专知会员服务

20+阅读 · 2019年11月19日

Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

专知会员服务

34+阅读 · 2019年10月17日

最新BERT相关论文清单，BERT-related Papers

最新BERT相关论文清单，BERT-related Papers

专知会员服务

52+阅读 · 2019年9月29日

CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码

CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码

AI研习社

11+阅读 · 2019年6月21日

如何找到相似Graph？DeepMind提出超越GNN的图匹配网络

如何找到相似Graph？DeepMind提出超越GNN的图匹配网络

机器之心

24+阅读 · 2019年5月7日

超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文

超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文

新智元

20+阅读 · 2019年5月6日

神经网络训练tricks

神经网络训练tricks

极市平台

6+阅读 · 2019年4月15日

从最优化的角度看待 Softmax 损失函数

从最优化的角度看待 Softmax 损失函数

极市平台

31+阅读 · 2019年2月21日

ResNet架构可逆！多大等提出性能优越的可逆残差网络

ResNet架构可逆！多大等提出性能优越的可逆残差网络

机器之心

5+阅读 · 2019年2月3日

21种NLP任务激活函数大比拼：你一定猜不到谁赢了

21种NLP任务激活函数大比拼：你一定猜不到谁赢了

机器之心

7+阅读 · 2019年1月27日

换个角度看GAN：另一种损失函数

换个角度看GAN：另一种损失函数

机器学习算法与Python学习

7+阅读 · 2019年1月1日

资源 | 带自注意力机制的生成对抗网络，实现效果怎样？

资源 | 带自注意力机制的生成对抗网络，实现效果怎样？

机器之心

9+阅读 · 2018年6月6日

条件GAN重大改进！cGANs with Projection Discriminator

条件GAN重大改进！cGANs with Projection Discriminator

CreateAMind

8+阅读 · 2018年2月7日

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks

Arxiv

13+阅读 · 2020年4月13日

Optimization for deep learning: theory and algorithms

Optimization for deep learning: theory and algorithms

Arxiv

104+阅读 · 2019年12月19日

Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

Arxiv

8+阅读 · 2019年10月9日

Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection

Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection

Arxiv

15+阅读 · 2019年3月18日

Video-to-Video Synthesis

Video-to-Video Synthesis

Arxiv

9+阅读 · 2018年8月20日

The GAN Landscape: Losses, Architectures, Regularization, and Normalization

Arxiv

3+阅读 · 2018年7月12日

Orthogonal Matching Pursuit for Text Classification

Arxiv

6+阅读 · 2018年7月12日

Combination of Domain Knowledge and Deep Learning for Sentiment Analysis

Arxiv

3+阅读 · 2018年6月22日

Visual Data Synthesis via GAN for Zero-Shot Video Classification

Arxiv

3+阅读 · 2018年4月26日

Attention Is All You Need

Arxiv

27+阅读 · 2017年12月6日

VIP会员

相关主题

相关VIP内容

【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf

【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf

专知会员服务

62+阅读 · 2020年5月27日

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型

专知会员服务

25+阅读 · 2020年5月7日

斯坦福2020硬课《分布式算法与优化》

斯坦福2020硬课《分布式算法与优化》

专知会员服务

118+阅读 · 2020年5月6日

近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码

近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码

专知会员服务

95+阅读 · 2020年3月24日

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率

专知会员服务

35+阅读 · 2020年3月11日

重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%

重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%

专知会员服务

31+阅读 · 2020年2月15日

【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models

专知会员服务

53+阅读 · 2020年1月30日

【AAAI2020论文】分类感知的生成式对抗网络，具有分类文本生成的层次进化学习 (附pdf)

专知会员服务

20+阅读 · 2019年11月19日

Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

专知会员服务

34+阅读 · 2019年10月17日

最新BERT相关论文清单，BERT-related Papers

最新BERT相关论文清单，BERT-related Papers

专知会员服务

52+阅读 · 2019年9月29日

热门VIP内容

相关资讯

CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码

CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码

AI研习社

11+阅读 · 2019年6月21日

如何找到相似Graph？DeepMind提出超越GNN的图匹配网络

如何找到相似Graph？DeepMind提出超越GNN的图匹配网络

机器之心

24+阅读 · 2019年5月7日

超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文

超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文

新智元

20+阅读 · 2019年5月6日

神经网络训练tricks

神经网络训练tricks

极市平台

6+阅读 · 2019年4月15日

从最优化的角度看待 Softmax 损失函数

从最优化的角度看待 Softmax 损失函数

极市平台

31+阅读 · 2019年2月21日

ResNet架构可逆！多大等提出性能优越的可逆残差网络

ResNet架构可逆！多大等提出性能优越的可逆残差网络

机器之心

5+阅读 · 2019年2月3日

21种NLP任务激活函数大比拼：你一定猜不到谁赢了

21种NLP任务激活函数大比拼：你一定猜不到谁赢了

机器之心

7+阅读 · 2019年1月27日

换个角度看GAN：另一种损失函数

换个角度看GAN：另一种损失函数

机器学习算法与Python学习

7+阅读 · 2019年1月1日

资源 | 带自注意力机制的生成对抗网络，实现效果怎样？

资源 | 带自注意力机制的生成对抗网络，实现效果怎样？

机器之心

9+阅读 · 2018年6月6日

条件GAN重大改进！cGANs with Projection Discriminator

条件GAN重大改进！cGANs with Projection Discriminator

CreateAMind

8+阅读 · 2018年2月7日

相关论文

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks

Arxiv

13+阅读 · 2020年4月13日

Optimization for deep learning: theory and algorithms

Optimization for deep learning: theory and algorithms

Arxiv

104+阅读 · 2019年12月19日

Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

Arxiv

8+阅读 · 2019年10月9日

Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection

Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection

Arxiv

15+阅读 · 2019年3月18日

Video-to-Video Synthesis

Video-to-Video Synthesis

Arxiv

9+阅读 · 2018年8月20日

The GAN Landscape: Losses, Architectures, Regularization, and Normalization

Arxiv

3+阅读 · 2018年7月12日

Orthogonal Matching Pursuit for Text Classification

Arxiv

6+阅读 · 2018年7月12日

Combination of Domain Knowledge and Deep Learning for Sentiment Analysis

Arxiv

3+阅读 · 2018年6月22日

Visual Data Synthesis via GAN for Zero-Shot Video Classification

Arxiv

3+阅读 · 2018年4月26日

Attention Is All You Need

Arxiv

27+阅读 · 2017年12月6日

微信扫码咨询专知VIP会员