GitHub · 大模型

Meta 开源人脑活动基础模型 TRIBE v2

Meta 开源了 TRIBE v2,一个能预测人类在看到、听到、读到内容时全脑活动的基础模型。它利用预训练的音频、视频和文本嵌入,通过 Transformer 学习跨刺激、任务和个体的通用表征,再映射到个体 fMRI 体素。无需重新训练即可预测新刺激和新受试者的脑反应,在听觉和视觉数据集上比标准方法提升 2–3 倍,为神经科学实验设计和脑疾病辅助诊断提供了新工具。

域名
github.com
评分
4 · 重要更新
收录
2026-05-17
Meta 开源人脑活动基础模型 TRIBE v2

导读

这条暂时没有深度导读,点上方「访问项目本体」直接到源页面查看。

原文摘要

标签 产品名 分类 摘要 收录时间 网址 岗位辅助 行业 2 more properties Meta最新开源了一款人脑活动基础模型:TRIBE v2,能预测人类在看到、听到、读到内容时的全脑活动 相当于给大脑建了一个数字镜像 可以用到神经科学模拟脑反应,助力实验设计;或者医疗,辅助脑部疾病的诊断和治疗 无需重新训练,即可预测新刺激、新任务和新受试者的脑反应,在听觉和视觉数据集上比标准方法提升了2-3倍 可对全脑70000个体素进行预测 预测结果比单个fMRI扫描更接近群体平均神经活动(消除了心跳、运动等噪音) 核心架构 1、三模态编码:利用预训练的音频、视频和文本嵌入,捕捉AI模型与人脑的共同特征 2、通用整合:Transformer处理这些嵌入,学习跨所有刺激、任务和个体的通用表征 3、脑区映射:将通用表征映射到个体fMRI体素(3D像素) github:https://github.com/facebookresearch/tribev2 权重:https://huggingface.co/facebook/tribev2