【產(chǎn)通社，8月12日訊】北京大學(xué)（Peking University）官網(wǎng)消息，精確的信道狀態(tài)信息（CSI）對于B5G/6G MIMO無線通信系統(tǒng)性能保障至關(guān)重要。然而，在高速移動場景下，信道相干時間大大縮短，傳統(tǒng)信道估計方式難以及時準確地獲取CSI，導(dǎo)致“信道老化”現(xiàn)象。例如，當用戶速度超過60km/h時，可達傳輸速率相對于靜止狀態(tài)會下降30%以上。信道預(yù)測是實現(xiàn)CSI高效獲取的一項核心技術(shù)，其根據(jù)歷史時刻CSI序列預(yù)測未來CSI，從而大大減少信道估計與反饋開銷。但現(xiàn)有的基于參數(shù)化模型和深度學(xué)習(xí)的信道預(yù)測方法存在預(yù)測精度低和泛化性差等問題，難以應(yīng)用到實際復(fù)雜信道環(huán)境。

近期，GPT-4和LLaMA等大語言模型（LLM）在自然語言處理等領(lǐng)域取得了巨大的成功，并逐步應(yīng)用于金融、醫(yī)療和教育等特定領(lǐng)域。通過在大規(guī)模數(shù)據(jù)集上進行預(yù)訓(xùn)練，大語言模型獲得了強大的通用建模能力和泛化能力。然而，當前大語言模型在通信任務(wù)上的應(yīng)用局限于語言形式的協(xié)議理解等任務(wù)，限制了其在物理層的應(yīng)用范圍。那么，大語言模型能否突破語言局限，賦能非語言形式的無線通信物理層任務(wù)？為此，程翔教授團隊以信道預(yù)測任務(wù)為突破點，嘗試利用預(yù)訓(xùn)練大語言模型提升信道預(yù)測的預(yù)測精度和泛化能力。然而，利用預(yù)訓(xùn)練大語言模型直接處理非語言形式的CSI數(shù)據(jù)存在以下挑戰(zhàn)：
1）不同于文本數(shù)據(jù)，CSI為高維結(jié)構(gòu)化數(shù)據(jù)，具有復(fù)雜的“空-時-頻”三維關(guān)系；
2）自然語言域和信道域的知識存在域差異（domain gap），進一步增大了知識遷移的難度。

克服以上挑戰(zhàn)，程翔團隊提出了一種基于預(yù)訓(xùn)練大語言模型的MIMO-OFDM信道預(yù)測方案，可應(yīng)用于TDD和FDD通信系統(tǒng)。團隊構(gòu)建了一個基于預(yù)訓(xùn)練GPT-2的信道預(yù)測網(wǎng)絡(luò)，包含預(yù)處理模塊、嵌入模塊、預(yù)訓(xùn)練LLM模塊和輸出模塊，在訓(xùn)練過程中，預(yù)訓(xùn)練LLM的多頭注意力層和前饋層保持凍結(jié)，以保留預(yù)訓(xùn)練LLM中的通用知識。為解決空域高維問題，將天線維并行化處理，在降低網(wǎng)絡(luò)開銷的同時提升了任務(wù)的可擴展性。為充分捕獲頻域特征，充分考慮信道結(jié)構(gòu)化特征，引入時延域以直接刻畫多徑時延特征。為有效提取時域特征，采用分塊處理，捕獲局部時域變化特征，并降低計算復(fù)雜度。此外，為了克服域差異，設(shè)計了嵌入模塊將預(yù)處理后的特征進一步處理，以對齊預(yù)訓(xùn)練LLM的特征空間。

團隊使用QuaDRiGa仿真器生成了符合3GPP標準的時變信道數(shù)據(jù)集用于性能驗證。仿真結(jié)果顯示，該方案的信道預(yù)測精度、可達速率和誤碼率均優(yōu)于現(xiàn)有基于深度學(xué)習(xí)小模型和基于參數(shù)化模型的信道預(yù)測方案。在TDD場景下，全樣本預(yù)測和少樣本預(yù)測的NMSE（歸一化均方根誤差）相比次優(yōu)方案分別降低1.35dB和2.49dB。在FDD場景下，全樣本預(yù)測和少樣本預(yù)測的NMSE相比次優(yōu)方案分別降低1.30dB和0.30dB。在頻點泛化性測試中，在2.4GHz頻點訓(xùn)練完成的模型經(jīng)過少樣本訓(xùn)練泛化到4.9GHz頻點，僅需30個樣本就達到了參數(shù)化模型的預(yù)測性能，展現(xiàn)了優(yōu)秀的泛化能力。此外，所提方案的訓(xùn)練和推理時間與基于深度學(xué)習(xí)小模型的信道預(yù)測方案相當，有望部署于實際場景。

該工作的主要亮點如下：
（1）首次將預(yù)訓(xùn)練大語言模型應(yīng)用于信道預(yù)測任務(wù)，證明了預(yù)訓(xùn)練大語言模型可以突破語言形式賦能無線通信物理層設(shè)計。
（2）設(shè)計了信道特征增強的神經(jīng)網(wǎng)絡(luò)，對齊信道空間與大模型特征空間，實現(xiàn)預(yù)訓(xùn)練大模型通用知識在信道預(yù)測任務(wù)上的良好遷移。
（3）仿真結(jié)果顯示，所提出方案在TDD和FDD信道預(yù)測任務(wù)上取得了SOTA的全樣本和少樣本預(yù)測性能，頻點泛化性能大幅領(lǐng)先于現(xiàn)有方案，同時具有和深度學(xué)習(xí)小模型相當?shù)挠?xùn)練和推理時間開銷。

文章信息：該研究成果以“LLM4CP: Adapting Large Language Models for Channel Prediction”為題受邀發(fā)表于期刊Journal of Communications and Information Networks上。北京大學(xué)為該研究工作的第一完成單位，合作單位包括香港科技大學(xué)（廣州）和香港科技大學(xué)。程翔為該論文的通訊作者，北京大學(xué)博士生劉伯珣為第一作者。這項工作得到了國家自然科學(xué)基金委杰出青年科學(xué)基金、國家重點研發(fā)計劃、新基石科學(xué)基金會科學(xué)探索獎等的支持。

查詢進一步信息，請訪問官方網(wǎng)站http://news.pku.edu.cn/jxky/221f03461e374858ac9133cc7ca3327a.htm，以及代碼和數(shù)據(jù)開源地址：https://github.com/liuboxun/LLM4CP。（Robin Zhang，產(chǎn)通數(shù)造）    （完）