【產(chǎn)通社，10月19日訊】清華大學(xué)新聞中心（Tsinghua University News Center）官網(wǎng)消息，電子系光子計(jì)算與集成實(shí)驗(yàn)室林星助理教授課題組和上海交通大學(xué)電子系熊紅凱教授課題組合作，提出了大規(guī)模光子神經(jīng)網(wǎng)絡(luò)的對偶自適應(yīng)訓(xùn)練方法，使得網(wǎng)絡(luò)能夠適應(yīng)大量動(dòng)態(tài)的系統(tǒng)誤差累積，實(shí)現(xiàn)任務(wù)推理性能的巨大提升，在光子神經(jīng)網(wǎng)絡(luò)的優(yōu)化訓(xùn)練領(lǐng)域取得重要進(jìn)展。

為突破經(jīng)典馮·諾依曼計(jì)算機(jī)體系架構(gòu)算力和功耗瓶頸，林星團(tuán)隊(duì)聚焦智能光子計(jì)算與芯片研究，以光子作為計(jì)算媒介，構(gòu)建低延遲、高能效、高帶寬的光電融合計(jì)算處理器，有望在后摩爾時(shí)代支撐人工智能大模型的算力需求。

然而，受限于模擬計(jì)算系統(tǒng)中所存在的動(dòng)態(tài)系統(tǒng)誤差累積，將離線訓(xùn)練得到的光子神經(jīng)網(wǎng)絡(luò)模型參數(shù)直接部署到處理器時(shí)，任務(wù)推理性能隨著網(wǎng)絡(luò)規(guī)模的增長而急劇下降。現(xiàn)有在線訓(xùn)練方法面臨網(wǎng)絡(luò)梯度無法精確計(jì)算、逐層訓(xùn)練效率低、需要增加額外反向傳播硬件的難題，難以應(yīng)用于大規(guī)模光子神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

為解決上述難題，課題組提出了用于訓(xùn)練大規(guī)模光子神經(jīng)網(wǎng)絡(luò)的對偶自適應(yīng)訓(xùn)練方法（Dual Adaptive Training，DAT），通過網(wǎng)絡(luò)的精準(zhǔn)建模和對偶反向傳播，在動(dòng)態(tài)系統(tǒng)誤差環(huán)境下，成功訓(xùn)練了包含28萬神經(jīng)元的光子神經(jīng)網(wǎng)絡(luò)，在分類任務(wù)上的訓(xùn)練性能大幅優(yōu)于當(dāng)前訓(xùn)練方法。

課題組在空間光子計(jì)算系統(tǒng)的實(shí)驗(yàn)平臺上，構(gòu)建了衍射光子神經(jīng)網(wǎng)絡(luò)，對比了多種領(lǐng)域前沿訓(xùn)練方法在分類任務(wù)上的性能。在嚴(yán)重動(dòng)態(tài)系統(tǒng)誤差環(huán)境下，所提出對偶自適應(yīng)訓(xùn)練方法，在MNIST和Fashion-MNIST數(shù)據(jù)集上訓(xùn)練分類任務(wù)，相比參數(shù)直接部署方法分類準(zhǔn)確率能夠分別提升64.1%和66.2%，相比領(lǐng)域前沿方法分類準(zhǔn)確率能夠分別提升52.8%和67.0%。

課題組進(jìn)一步在片上集成光子計(jì)算系統(tǒng)的仿真平臺上構(gòu)建了干涉光子神經(jīng)網(wǎng)絡(luò)，所提出對偶自適應(yīng)訓(xùn)練方法，同樣在MNIST和Fashion-MNIST數(shù)據(jù)集上訓(xùn)練分類任務(wù)，相比參數(shù)直接部署方法分類準(zhǔn)確率能夠分別提升26.4%和28.7%，相比領(lǐng)域前沿方法分類準(zhǔn)確率能夠分別提升8.4%和17.6%。

研究有效解決了網(wǎng)絡(luò)梯度精確計(jì)算的難題，實(shí)現(xiàn)了端到端的網(wǎng)絡(luò)參數(shù)更新，無需增加額外反向傳播硬件，可適用于更大規(guī)模的光子神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并且能拓展到訓(xùn)練任意架構(gòu)的光子神經(jīng)網(wǎng)絡(luò)以及模擬神經(jīng)網(wǎng)絡(luò)，為光子神經(jīng)網(wǎng)絡(luò)的產(chǎn)業(yè)落地和廣泛應(yīng)用提供了有力支撐。

近日，該研究成果以“光子神經(jīng)網(wǎng)絡(luò)的對偶自適應(yīng)訓(xùn)練”（Dual Adaptive Training of Photonic Neural Networks）為題發(fā)表在《自然·機(jī)器智能》（Nature Machine Intelligence）上。論文通訊作者為清華大學(xué)電子系林星助理教授與上海交通大學(xué)電子系熊紅凱教授，鄭紫陽和段正陽博士研究生為論文的共同第一作者，參加研究的作者還包括清華大學(xué)電子系博士后陳航、博士研究生高升、工程師張海歐，上海交通大學(xué)電子系博士研究生楊睿。

查詢進(jìn)一步信息，請?jiān)L問官方網(wǎng)站http://www.tsinghua.edu.cn/info/1175/107125.htm，以及http://www.nature.com/articles/s42256-023-00723-4。（張嘉汐，產(chǎn)通發(fā)布）    （完）