MindLLM – 耶鲁、剑桥与达特茅斯联合研发的医疗领域AI模型

什么是MindLLM？

MindLLM是由耶鲁大学、达特茅斯学院和剑桥大学联合开发的AI模型，旨在将脑功能磁共振成像（fMRI）信号解码为自然语言文本。

该模型整合了主体无关的fMRI编码器与大语言模型（LLM），通过创新的脑指令微调技术（BIT）捕捉fMRI信号中的多样化语义信息。在多项基准测试中，MindLLM展现出显著优势：

下游任务性能提升12.0%，

跨个体泛化能力增强16.4%，

新任务适应率提高25.0%。

这项突破为脑机接口（BCI）与神经科学研究开辟了新路径。

核心特性

脑活动解码：将感知、思维和记忆相关的神经活动转化为直观文本描述，助力科学家和医生解析脑机制。

跨个体泛化：无需针对每个受试者单独训练，即可处理不同个体的脑信号，大幅提升模型普适性。

多功能解码：支持视觉场景理解、记忆检索、语言处理和复杂推理等多元任务，展现强大泛化能力。

医疗辅助与人机交互：帮助语言障碍患者实现沟通，推动脑控假肢、虚拟助手等神经技术应用落地。

技术原理

fMRI编码器：

采用神经科学启发的注意力机制，将fMRI信号编码为脑特征标记

学习不同脑区的功能与空间信息

动态特征提取避免个体差异导致的信息损失

大语言模型（LLM）：

将脑特征标记与LLM结合，实现脑信号到自然语言的转化

采用预训练语言模型（如Vicuna-7B）作为解码器，确保生成文本的语义连贯性

脑指令微调（BIT）：

基于视觉问答、图像描述和记忆检索等多元数据集训练

以图像为媒介关联fMRI数据与文本标注，增强多功能适应性

主体无关设计：

分离脑区功能（个体间一致）与fMRI信号值

实现跨个体知识迁移，达成普适性解码

项目链接

arXiv技术论文：https://arxiv.org/pdf/2502.15786

应用场景

医疗康复：

帮助失语症或瘫痪患者重建沟通能力

通过解码脑信号辅助表达或控制外部设备

脑机接口：

开发更高效直观的BCI系统

实现假肢、轮椅或VR设备的脑控操作，提升残障人士生活质量

神经科学研究：

助力科学家理解认知、意识等神经信号与行为的关系

推动脑科学和解码技术发展

人机交互：

实现更自然直接的技术交互方式

通过脑信号控制电子设备、智能家居或自主系统，优化用户体验

心理健康辅助：

监测分析脑活动，辅助心理障碍诊断与疗效评估

为心理健康研究和治疗提供新工具