【產(chǎn)通社，3月16日訊】最近，Eon Systems PBC聯(lián)合創(chuàng)始人兼創(chuàng)始顧問Alex Wissner-Gross博士分享了我們有關(guān)X的進(jìn)展。這個(gè)具身飛蠅僅僅展示了具身大腦如何控制虛擬身體的第一步，相關(guān)工作仍在進(jìn)行中。以下討論虛擬飛蠅的工作原理及其局限性。

首先，我們承認(rèn)該項(xiàng)目很大程度上建立于更廣泛的神經(jīng)科學(xué)體系，研究直接基于成蠅連接組（Dorkenwald）、連接組約束的腦模型（Lappalainen）、神經(jīng)機(jī)械蠅體模型，以及數(shù)十年來對(duì)飛蠅感官回路、下行神經(jīng)元和行為的繪制工作。當(dāng)前系統(tǒng)是一個(gè)整合嘗試，特別是現(xiàn)有腦模型和虛擬身體模型的整合。


假蠅是怎么工作的？


視頻中，這只飛蠅利用看不見的味覺線索引導(dǎo)環(huán)境，朝著食物來源（以香蕉片形式表現(xiàn)）。假粉會(huì)在飛蠅上積累，因此飛蠅會(huì)停下來，梳理自己，然后繼續(xù)向食物移動(dòng)，開始進(jìn)食。

對(duì)于大腦，主要基于成年飛蠅腦連接組構(gòu)建的漏整合射（LIF）模型，約有14萬個(gè)神經(jīng)元和約5000萬個(gè)突觸連接，利用推斷的神經(jīng)遞質(zhì)身份確定突觸符號(hào)。該模型表明，僅靠連接組結(jié)構(gòu)就能恢復(fù)大量的感覺運(yùn)動(dòng)結(jié)構(gòu)，用于喂食和梳理等行為。該模型依賴于更廣泛的FlyWire工作以及系統(tǒng)注釋的14萬個(gè)神經(jīng)元全腦資源。

我們還使用Lappalainen等人的視覺模型，這是一個(gè)飛蠅視覺運(yùn)動(dòng)通路的模型。在這項(xiàng)工作中，作者構(gòu)建了一個(gè)連接組約束的循環(huán)網(wǎng)絡(luò)，涵蓋64種視覺細(xì)胞類型，覆蓋了視覺場(chǎng)中數(shù)萬個(gè)神經(jīng)元，并證明在連接性和任務(wù)約束下，他們能夠預(yù)測(cè)運(yùn)動(dòng)系統(tǒng)中的神經(jīng)活動(dòng)。結(jié)合NeuroMechFly虛擬實(shí)體，我們可以預(yù)測(cè)視覺系統(tǒng)的活動(dòng)，然后將這些信息“導(dǎo)入”到Flywire LIF模型中。

為了體現(xiàn)大腦，我們使用了已發(fā)表的神經(jīng)機(jī)械飛蠅身體NeuroMechFly，將飛蠅描述為一個(gè)解剖結(jié)構(gòu)化的關(guān)節(jié)、作用、接觸和執(zhí)行的身體，具有物理模擬的關(guān)節(jié)、力、接觸和執(zhí)行。它擁有87個(gè)獨(dú)立關(guān)節(jié)，組成一個(gè)精確的3D網(wǎng)格，該網(wǎng)格由對(duì)生物飛蠅的X射線斷層掃描創(chuàng)建。數(shù)字飛蠅運(yùn)行于MuJoCo物理引擎上，該引擎為行為模擬提供了高精度、物理受限的環(huán)境。


感官輸入：虛擬世界如何進(jìn)入大腦


NeuroMechFly v2已經(jīng)實(shí)現(xiàn)了感官輸入，包括模擬視覺和嗅覺。

對(duì)于味覺，我們可以激活對(duì)應(yīng)于欲望刺激（如糖）或厭惡性苦味神經(jīng)元的味覺受體神經(jīng)元。在我們的模型中，類似于生物飛蠅，NeuroMechFly體內(nèi)對(duì)腿部和喙部的味覺輸入被激活，會(huì)導(dǎo)致大腦味覺輸入的激活。這導(dǎo)致了進(jìn)食、轉(zhuǎn)身和減速，接近食欲的食物。嗅覺同樣可以通過激活相應(yīng)的嗅覺受體神經(jīng)元來實(shí)現(xiàn)。

在觸摸和美容方面，我們使用觸角機(jī)械感覺通路。Hampel等人發(fā)現(xiàn)了一種觸角修整指令回路，其中Johnston的機(jī)械感覺神經(jīng)元驅(qū)動(dòng)大腦回路，最終形成足以誘發(fā)梳理的觸角下降神經(jīng)元。我們當(dāng)前的接口直接利用了這一理念：“虛擬塵�！奔せ钣|角機(jī)械感覺神經(jīng)元，這些神經(jīng)元隨后觸發(fā)與觸角修整相關(guān)的下降信號(hào)。

連接組控制視覺（即用Lappalainen模型建模視覺系統(tǒng)）已經(jīng)在NeuroMechFly模型中實(shí)現(xiàn)。我們確定視覺系統(tǒng)神經(jīng)元的預(yù)測(cè)激活，并將這些神經(jīng)元的激活“導(dǎo)入”到我們LIF模型中的相應(yīng)神經(jīng)元中。


而當(dāng)前具象的飛蠅


我們的工作是對(duì)已發(fā)表部分的整合;我們?cè)谶@里指出了我們工作的一些局限性。重要的是，我們只實(shí)現(xiàn)了一小部分感官輸入，且只模擬了少數(shù)幾種行為。

首先，Shiu等人的模型是一個(gè)簡化的神經(jīng)元模型。它采用了泄漏的積分與發(fā)射動(dòng)力學(xué)，而非形態(tài)學(xué)細(xì)節(jié)豐富的多區(qū)間神經(jīng)元，并依賴推斷出的神經(jīng)遞質(zhì)身份和簡化的突觸模型。這意味著樹枝狀的非線性、生物物理通道多樣性以及許多特定動(dòng)態(tài)并未被表現(xiàn)出來。這足以恢復(fù)部分感覺運(yùn)動(dòng)變換，但顯然無法捕捉神經(jīng)活動(dòng)的全部范圍。此外，內(nèi)在狀態(tài)、可塑性、學(xué)習(xí)和激素變化大多缺失。生物飛蠅在所有情境下對(duì)相同的感官輸入反應(yīng)并不相同。饑餓、饑餓、喚起、交配狀態(tài)、產(chǎn)卵狀態(tài)、近期感覺病史、神經(jīng)調(diào)節(jié)因素和學(xué)習(xí)都會(huì)重塑感覺運(yùn)動(dòng)的轉(zhuǎn)變。

接下來，腦體耦合在整個(gè)技術(shù)棧中仍是一個(gè)具有挑戰(zhàn)性的工程和科學(xué)難題。核心難點(diǎn)不僅僅是將神經(jīng)模擬和物理模擬并行運(yùn)行;它決定特定下行神經(jīng)元的放電頻率或峰值應(yīng)如何映射到扭矩、關(guān)節(jié)軌跡、姿勢(shì)變化或協(xié)調(diào)的腿部動(dòng)作序列上。特定的感覺刺激應(yīng)該以多大的速度激活特定的感覺神經(jīng)元，而特定的下降神經(jīng)元活動(dòng)又應(yīng)該對(duì)轉(zhuǎn)彎速度產(chǎn)生多大影響？這些映射可以像我們一樣，在某種程度上由人工選擇，也可以通過強(qiáng)化學(xué)習(xí)，或由低級(jí)別控制器中介，但在所有情況下，它仍然是真實(shí)運(yùn)動(dòng)層級(jí)的近似。對(duì)此的一個(gè)解決方案可能是通過更多的影像學(xué)或電生理學(xué)來理解DN發(fā)射頻率與特定行為之間的具體轉(zhuǎn)變。

此外，我們目前的下行神經(jīng)元界面相當(dāng)稀疏。DNa01、DNa02、aDN1、oDN1、巨纖維、口器運(yùn)動(dòng)神經(jīng)元以及我們實(shí)驗(yàn)過的其他一些神經(jīng)元參與多種行為，但它們并未涵蓋蠅類下降神經(jīng)元行為控制的全部范圍。最新研究表明，下降神經(jīng)元數(shù)量眾多，部分冗余，具有層級(jí)結(jié)構(gòu)，且基于群體。有些是“廣播員”，負(fù)責(zé)招募其他DN;其他則貢獻(xiàn)了轉(zhuǎn)向、梳理、飛行或繁殖行為等專門組成部分（Braun 等，2024）。這意味著我們當(dāng)前的控制器可以產(chǎn)生可識(shí)別的行為，但幾乎肯定是通過比生物飛蠅使用的更低維度的控制界面實(shí)現(xiàn)的。我們和其他具身模型的一個(gè)有趣用途是，在某些感覺輸入的情況下，預(yù)測(cè)特定下行神經(jīng)元在預(yù)測(cè)活躍時(shí)間時(shí)的作用。Pugliese 等人通過計(jì)算激活屏預(yù)測(cè)特定下行神經(jīng)元的作用（Pugliese 等，2025）。我們還注意到，將模型擴(kuò)展到包含VNC和其他輸出也是一個(gè)有用的方向。

最后，我們的結(jié)果尚不應(yīng)被解讀為僅憑結(jié)構(gòu)就足以以科學(xué)嚴(yán)謹(jǐn)?shù)姆绞交謴?fù)飛蠅全部行為庫的證明。我們希望探索的是純結(jié)構(gòu)到行為的方向，但對(duì)于廣泛的具身應(yīng)用，可能需要額外的學(xué)習(xí)、更多的先驗(yàn)、更詳細(xì)的運(yùn)動(dòng)界面和更多功能性數(shù)據(jù)。從這個(gè)意義上說，目前具象化的飛蠅最好被理解為一個(gè)研究平臺(tái)和演示平臺(tái)。


結(jié)論


我們認(rèn)為具身飛蠅是一個(gè)重要的第一步。它不是終點(diǎn)，目前模型有許多顯著的簡化。但它可能是連接組約束的感覺運(yùn)動(dòng)控制、評(píng)估候選腦-身體接口以及使具身模擬問題足夠具體以得到改進(jìn)的有用試驗(yàn)場(chǎng)。我們也希望這次演示能成為腦模型具象化可能運(yùn)作方式的有趣且令人興奮的演示。

剪報(bào)來源：
https://eon.systems/updates/embodied-brain-emulation
論文鏈接：
https://www.nature.com/articles/d41586-024-03190-y