换一批
换一批一种基于多模态变分自编码器的联合认知表征学习方法
A joint cognitive representation learning method based on multi-modal variational autoencoders
摘要：
目的 学习大脑视觉认知活动的多模态联合认知表征,提高认知表征的视觉信息分类性能,并从视觉图像特征中预测大脑脑电图(EEG)响应以及从EEG信号中解码出视觉图像.方法 基于多模态变分自编码器网络结构,结合混合专家乘积(MoPoE)方法学习联合认知表征,并添加基于自适应鉴别器增强的样式生成对抗网络(StyleGAN2-ADA)实现对EEG信号的编码和解码任务,包括分类任务以及图像和EEG的跨模态生成.结果 实现了不同模态的特征融合,提高了认知表征视觉信息的分类性能,并将不同模态的特征空间对齐到一个联合隐空间,为跨模态生成任务奠定了基础.基于联合隐空间进行的EEG和图像的相互跨模态生成结果优于以往工作中从一个模态到另一个模态的单向映射方法.结论 能够融合并对齐多个模态的信息,使联合认知表征的分类性能优于使用任何单一模态,并且在跨模态生成任务中取得优于模态单向映射的结果,为大脑视觉认知信息有效统一的编码和解码建模研究提供了新思路.
更多
作者：
期刊：
《军事医学》2024年48卷7期 516-523页
ISTIC
关键词：
多模态变分自编码器认知表征脑电图跨模态生成multimodal variational autoencoderscognitive representationelectroencephalogramcross-modal generation
栏目名称：
论著
DOI：
10.7644/j.issn.1674-9960.2024.07.006
发布时间：
2024-08-09
基金项目：
国家重点研发计划
- 浏览：2
- 被引：0
- 下载：0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
