JNE | 基于文本和图像嵌入空间的颅内脑电图文本和图像生成

文章预览

摘要 本研究旨在探索利用脑电图（ECoG）信号生成文本和图像的可能性。通过使用对比语言-图像预训练（CLIP）模型，从ECoG信号中解码出CLIP向量，再利用这些向量生成对应的文本和图像。本研究中，17名参与者观看了一个60分钟的视频，记录了其大脑的ECoG信号。然后，通过CLIPCAP模型根据解码的CLIP向量生成文本，并利用Stable Diffusion模型生成图像。最终，比较生成的文本和图像与原始视频帧的相似度，以评估信息在从ECoG信号生成文本和图像过程中保留的程度。 方法 1. 参与者与ECoG测量 本研究分析了之前研究中使用的ECoG数据，这些数据来自17名参与者（E01-E17），他们观看了相同的60分钟视频。所有参与者均从三家医院的枕叶和颞叶植入电极，符合各医院伦理委员会批准的实验协议。视频包含224段短片，涵盖了广泛的语义内容。实验期间，ECoG信号以10 kH ………………………………