官方网站-首页【导语】神经科学因缺乏衡量“艺术感”的标尺,难以破解大脑融合视听体验“美”的难题,而今AI带来新突破。东京大学等机构研究者构建“懂舞蹈”的AI“EDGE”,将其作“解码器”反向破译人脑神经活动,发现大脑欣赏舞蹈时进行复杂跨感官活动,此研究不仅深化了对艺术审美神经机制的认知,还为“神经美学”应用带来可能。

·也许有一天,AI编舞师可以根据你的脑回路特征,为你量身定制一支最能打动你的舞蹈。
当我们欣赏一段舞蹈时,大脑如何将视觉上(shàng)的(de)动作与听觉(jué)上(shàng)的(de)旋(xuán)律(lǜ)融(róng)合(hé)成(chéng)一(yī)种(zhǒng)名为(wèi)“美(měi)”的(de)体(tǐ)验(yàn)?这(zhè)是(shì)神(shén)经(jīng)科(kē)学(xué)中(zhōng)最(zuì)具(jù)挑(tiāo)战(zhàn)性(xìng)的(de)问(wèn)题(tí)之(zhī)一(yī),原(yuán)因(yīn)在(zài)于(yú)科(kē)学(xué)家(jiā)们(men)缺(quē)乏(fá)一(yī)把(bǎ)能(néng)衡(héng)量(liàng)“艺(yì)术感”的尺子。
随着人工智能(AI)技术的发展,这个困境有望被一种新的方法论所突破。在一项新研(yán)究(jiū)中(zhōng),研(yán)究(jiū)者另辟蹊径,先构建了一个“懂舞蹈”的人工智能,然后用这个AI作为“解码器”,反向破译了人脑的神经活动。该研究于11月19日发表在《自然·通讯》(Nature Communications)杂志上,作者来自东京大学、大阪大学及日本信息通信研究机构(NICT)。
研究团队使用的这个名为“EDGE”的跨模态AI模型可以被想象(xiàng)成(chéng)一(yī)位(wèi)学(xué)习了海量(liàng)数(shù)据(jù)的(de)“编(biān)舞师”。它不仅能“看懂”舞者的动作,还能“听懂”背景音乐的节奏和旋律。通过深度学习,这个AI的任务是根据过去的动作和当前的音乐,预测下一个最和谐、最自然的舞步。
研究者们提出了一个假设:如果这个AI为了生成优美的舞(wǔ)蹈(dǎo)而形成的内部(bù)表(biǎo)征(zhēng)(即(jí)它(tā)对“动作-音乐”关系的理解(jiě)),恰(qià)好(hǎo)与(yǔ)人(rén)脑(nǎo)处(chù)理(lǐ)这(zhè)些(xiē)信(xìn)息(xi)的(de)方(fāng)式(shì)不(bù)谋(móu)而(ér)合(hé),那(nà)我(wǒ)们(men)不(bù)就(jiù)能(néng)用(yòng)AI的(de)“语(yǔ)言(yán)”来(lái)“翻(fān)译(yì)”大(dà)脑(nǎo)的(de)活(huó)动(dòng)了(le)吗(ma)?
在(zài)实(shí)验(yàn)中(zhōng),研(yán)究(jiū)人(rén)员(yuán)首(shǒu)先(xiān)邀(yāo)请(qǐng)了(le)专(zhuān)业(yè)舞(wǔ)者(zhě)和(hé)舞(wǔ)蹈(dǎo)新(xīn)手(shǒu),让(ràng)他(tā)们(men)躺在功能性磁(cí)共(gòng)振(zhèn)成(chéng)像(xiàng)(fMRI)扫(sǎo)描仪中,观看了长达五小时的涵盖街舞、爵士舞等多种风格的真实舞蹈视频。同时,研究人员提取了AI模型中负责整合音乐和动作的跨模态特征,并将这些数学参数与fMRI成像数据进行比对。
结果显示,AI提取的“视听融合”特征,比(bǐ)单(dān)纯(chún)的(de)“动作特征”或“音乐特征”能更准确地预测人类大脑的活动。这意味着我们的大脑在欣赏舞蹈时,不是把视觉和听觉做简单的加法,而是在高级视觉区和联合皮层(如前额叶和顶叶)进行了一场(chǎng)复(fù)杂的跨感官神经活动,将动作与音乐融合成了一个整体的体验。
通过AI“读心术”,研究还探究了哪些舞蹈概念与哪些区域的大脑活动相关。例如,充满活力的舞蹈能(néng)显(xiǎn)著(zhe)激活大脑中与自我(wǒ)意(yì)识(shi)相(xiāng)关的“默认模式网络”,而被评价为“无聊”的舞蹈则会抑制这些区域的活动。这或许解释了为何引人入胜的艺术能让我们暂时忘记自我,而乏味的表演则让思绪飘忽不定。
这项研究不仅加深了我们对艺术审美的神经机制的理解,也为一种“神经美学”应用提供了可能:也许有一天,AI编舞师可以根据你的脑回路特征,为你量身定制一支最能打动你的舞蹈。
参考文献:
Yu Takagi, et al. Cross-modal deep generative models reveal the cortical representation of dancing. Nature Communications, 2025, 16 (9937).