Decoding neural activity into human-interpretable representations is a key research direction in brain-computer interfaces (BCIs) and computational neuroscience. Recent progress in machine learning and generative AI has driven growing interest in transforming non-invasive Electroencephalography (EEG) signals into images, text, and audio. This survey consolidates and analyzes developments across EEG-to-image synthesis, EEG-to-text generation, and EEG-to-audio reconstruction. We conducted a structured literature search across major databases (2017-2025), extracting key information on datasets, generative architectures (GANs, VAEs, transformers, diffusion models), EEG feature-encoding techniques, evaluation metrics, and the major challenges shaping current work in this area. Our review finds that EEG-to-image models predominantly employ encoder-decoder architectures built on GANs, VAEs, or diffusion models; EEG-to-text approaches increasingly leverage transformer-based language models for open-vocabulary decoding; and EEG-to-audio methods commonly map EEG signals to mel-spectrograms that are subsequently rendered into audio using neural vocoders. Despite promising advances, the field remains constrained by small and heterogeneous datasets, limited cross-subject generalization, and the absence of standardized benchmarks. By consolidating methodological trends and available datasets, this survey provides a foundational reference for advancing EEG-based generative AI and supporting reproducible research. We further highlight open-source datasets and baseline implementations to facilitate systematic benchmarking and accelerate progress in EEG-driven neural decoding.


翻译:将神经活动解码为人类可理解的表征是脑机接口与计算神经科学领域的核心研究方向。近年来,机器学习与生成式人工智能的进展推动了将非侵入性脑电图信号转化为图像、文本和音频的研究热潮。本综述系统梳理并分析了脑电信号到图像合成、脑电信号到文本生成以及脑电信号到音频重建等领域的发展脉络。我们通过对主要数据库(2017-2025年)进行结构化文献检索,提取了关于数据集、生成架构(生成对抗网络、变分自编码器、Transformer、扩散模型)、脑电特征编码技术、评估指标以及当前研究面临主要挑战的关键信息。综述发现:脑电到图像模型主要采用基于生成对抗网络、变分自编码器或扩散模型的编码器-解码器架构;脑电到文本方法日益依赖基于Transformer的语言模型实现开放词汇解码;脑电到音频方法通常将脑电信号映射为梅尔频谱图,再通过神经声码器转换为音频。尽管取得了显著进展,该领域仍受限于数据集规模小且异质性强、跨被试泛化能力有限以及缺乏标准化基准等问题。通过整合方法学趋势与可用数据集,本综述为推进基于脑电的生成式人工智能研究、支持可重复性研究提供了基础性参考。我们进一步强调了开源数据集与基线实现,以促进系统性基准测试,加速脑电驱动神经解码领域的发展。

0
下载
关闭预览

相关内容

多模态人机交互综述
专知会员服务
149+阅读 · 2022年7月3日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员