| Esperanto在低功耗RISC-V硬件上移植并運(yùn)行一系列生成式AI模型 |
| 2023/4/23 11:04:02 |
|
|
|
|
| |
|
|
 【產(chǎn)通社,4月23日訊】Esperanto Technologies官網(wǎng)消息,其已經(jīng)在低功耗RISC-V硬件上移植并運(yùn)行一系列Generative AI模型。Esperanto計(jì)劃為RISC-V社區(qū)的研究人員提供訪問(wèn)權(quán)限,作為該公司幫助更廣泛行業(yè)“民主化AI”(democratize AI)使命的一部分,并幫助加速RISC-V上生成性AI技術(shù)的開(kāi)發(fā)。 這項(xiàng)開(kāi)發(fā)是世界語(yǔ)戰(zhàn)略的一部分,旨在將RISC-V技術(shù)在AI和通用應(yīng)用程序中的優(yōu)勢(shì)從云擴(kuò)展到邊緣。世界語(yǔ)的Generative AI工作的重點(diǎn)領(lǐng)域包括大型語(yǔ)言模型(LLM)用例,其中與現(xiàn)有產(chǎn)品相比,使用總擁有成本(TCO)更低的低功耗硬件是關(guān)鍵。 特別是,Meta的開(kāi)放預(yù)訓(xùn)練轉(zhuǎn)換器(Open Pre-Trained Transformer,OPT)模型的幾個(gè)版本現(xiàn)在正在世界語(yǔ)的硬件上以多種精度水平和上下文大小運(yùn)行,推理的功耗水平低至每芯片25W。將OPT模型快速移植到ET-SoC-1芯片上是通過(guò)Esperanto的機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)套件實(shí)現(xiàn)的,該套件目前正由該公司的商業(yè)客戶使用。被授權(quán)為R&D目的訪問(wèn)Esperanto解決方案的研究人員將被要求遵守Meta的開(kāi)源許可以及其他項(xiàng)目條款。 “生成式AI是機(jī)器學(xué)習(xí)的最新進(jìn)展之一,我們很高興能夠?yàn)镽ISC-V研究社區(qū)貢獻(xiàn)我們?cè)诖笮驼Z(yǔ)言模型領(lǐng)域的努力,”Esperanto Technologies公司總裁兼首席執(zhí)行官Art Swift說(shuō)。 “Penguin Computing很榮幸成為Esperanto的戰(zhàn)略合作伙伴,幫助加速部署高性能、低功耗的生成式AI解決方案,”P(pán)enguin解決方案總裁兼Smart Global Holdings智能平臺(tái)解決方案高級(jí)副總裁Thierry Pellegrino表示。“我們很高興與Esperanto合作,將其RISC-V解決方案部署擴(kuò)展到更廣泛的客戶,這些客戶正在尋求低功耗AI推理解決方案和降低總擁有成本! “對(duì)RISC-V日益增長(zhǎng)的興趣標(biāo)志著半導(dǎo)體行業(yè)的一個(gè)重要轉(zhuǎn)折點(diǎn)。Creative Strategies首席執(zhí)行官兼首席分析師Ben Bajarin表示,“Generative AI領(lǐng)域的這一發(fā)展將進(jìn)一步加快研究人員對(duì)RISC-V的評(píng)估,這些研究人員希望在這一令人興奮的領(lǐng)域取得突破,開(kāi)發(fā)人員希望在現(xiàn)有平臺(tái)之外增加競(jìng)爭(zhēng)優(yōu)勢(shì)。 “RISC-V為協(xié)作和定制提供了無(wú)與倫比的機(jī)會(huì),使其非常適合這波AI創(chuàng)新浪潮,”RISC-V國(guó)際公司首席執(zhí)行官Calista Redmond說(shuō)!癊speranto是該領(lǐng)域領(lǐng)先的公司之一,它推動(dòng)了性能和能效的極限,使生成式人工智能開(kāi)發(fā)更容易實(shí)現(xiàn)! 對(duì)于商業(yè)客戶,Esperanto目前正在推出AI評(píng)估服務(wù)器,該服務(wù)器提供高性能、高能效和低總擁有成本。每臺(tái)Esperanto評(píng)估服務(wù)器均采用標(biāo)準(zhǔn)的2U高外形規(guī)格,包括雙至強(qiáng)主機(jī)處理器和8或16塊ET-SoC-1 PCIe卡。每張Esperanto PCIe卡都有超過(guò)1000個(gè)64位RISC-V CPU,附帶向量/張量單元,每臺(tái)服務(wù)器最多可提供16000個(gè)RISC-V CPU。 Esperanto的評(píng)估服務(wù)器使客戶能夠通過(guò)運(yùn)行各種行業(yè)標(biāo)準(zhǔn)的AI模型獲得性能和功率數(shù)據(jù),并能夠自帶模型和數(shù)據(jù)。查詢進(jìn)一步信息,請(qǐng)?jiān)L問(wèn)官方網(wǎng)站 http://www.esperanto.ai/contact。(張怡,產(chǎn)通發(fā)布) (完)
|
|
| → 『關(guān)閉窗口』 |
|
| |
|
|
|
|
|
|