Dendrite-inspired neurons have been widely used in tasks such as image classification due to low computational complexity and fast inference speed. Temporal data prediction, as a key machine learning task, plays a key role in real-time scenarios such as sensor data analysis, financial forecasting, and urban traffic management. However, existing dendrite-inspired neurons are mainly designed for static data. Studies on capturing dynamic features and modeling long-term dependencies in temporal sequences remain limited. Efficient architectures specifically designed for temporal sequence prediction are still lacking. In this paper, we propose Memory-DD, a low-complexity dendrite-inspired neuron model. Memory-DD consists of two dendrite-inspired neuron groups that contain no nonlinear activation functions but can still realize nonlinear mappings. Compared with traditional neurons without dendritic functions, Memory-DD requires only two neuron groups to extract logical relationships between features in input sequences. This design effectively captures temporal dependencies and is suitable for both classification and regression tasks on sequence data. Experimental results show that Memory-DD achieves an average accuracy of 89.41% on 18 temporal classification benchmark datasets, outperforming LSTM by 4.25%. On 9 temporal regression datasets, it reaches comparable performance to LSTM, while using only 50% of the parameters and reducing computational complexity (FLOPs) by 27.7%. These results demonstrate that Memory-DD successfully extends the low-complexity advantages of dendrite-inspired neurons to temporal prediction, providing a low-complexity and efficient solution for time-series data processing.


翻译:树突启发的神经元因其低计算复杂度和快速推理速度,在图像分类等任务中得到了广泛应用。时序数据预测作为一项关键的机器学习任务,在传感器数据分析、金融预测和城市交通管理等实时场景中发挥着重要作用。然而,现有的树突启发神经元主要针对静态数据设计,对于时序序列中动态特征的捕捉和长期依赖关系建模的研究仍较为有限,专门针对时序序列预测的高效架构仍然缺乏。本文提出Memory-DD,一种低复杂度的树突启发神经元模型。Memory-DD由两组树突启发的神经元群组成,不含非线性激活函数,但仍能实现非线性映射。与不具备树突功能的传统神经元相比,Memory-DD仅需两组神经元群即可提取输入序列中特征间的逻辑关系。该设计有效捕捉了时序依赖关系,适用于序列数据的分类和回归任务。实验结果表明,在18个时序分类基准数据集上,Memory-DD的平均准确率达到89.41%,优于LSTM 4.25%。在9个时序回归数据集上,其性能与LSTM相当,同时仅使用50%的参数,并将计算复杂度(FLOPs)降低了27.7%。这些结果证明,Memory-DD成功将树突启发神经元的低复杂度优势扩展到时序预测领域,为时间序列数据处理提供了一种低复杂度且高效的解决方案。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
专知会员服务
23+阅读 · 2020年9月8日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员