| 終端側(cè)AI如何賦能生成式AI實(shí)現(xiàn)規(guī)�；瘮U(kuò)展 |
| 日期：2023/6/16 21:32:55 作者： |
|
|
|
|
| |
|
|
隨著生成式AI的飛速普及1和計(jì)算需求的日益增長(zhǎng)2，混合處理的重要性空前突顯。正如傳統(tǒng)計(jì)算從大型主機(jī)和瘦客戶(hù)端演變?yōu)楫?dāng)前云端和邊緣終端相結(jié)合的模式，AI處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)模化擴(kuò)展并發(fā)揮其最大潛能。
與僅在云端進(jìn)行處理不同，混合AI架構(gòu)在云端和邊緣終端之間分配并協(xié)同處理AI工作負(fù)載。云端和邊緣終端（如智能手機(jī)、汽車(chē)、個(gè)人電腦和物聯(lián)網(wǎng)終端）協(xié)同工作，能夠?qū)崿F(xiàn)更強(qiáng)大、更高效且高度優(yōu)化的AI。
節(jié)省成本是主要推動(dòng)因素。舉例來(lái)說(shuō)，據(jù)估計(jì)使用基于生成式AI的搜索，每一次查詢(xún)(query)其成本是傳統(tǒng)搜索方法的10倍3，而這只是眾多生成式AI的應(yīng)用之一。
混合AI將支持生成式AI應(yīng)用開(kāi)發(fā)者和提供商利用邊緣側(cè)終端的計(jì)算能力降低成本�；旌螦I架構(gòu)或僅在終端側(cè)運(yùn)行AI，能夠在全球范圍帶來(lái)高性能、個(gè)性化、隱私和安全等優(yōu)勢(shì)。
混合AI架構(gòu)可以根據(jù)模型和查詢(xún)需求的復(fù)雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負(fù)載。例如，如果模型大小、提示(Prompt)和生成長(zhǎng)度小于某個(gè)限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進(jìn)行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運(yùn)行。
混合AI還能支持模型在終端側(cè)和云端同時(shí)運(yùn)行，也就是在終端側(cè)運(yùn)行輕量版模型時(shí)，在云端并行處理完整模型的多個(gè)token，并在需要時(shí)更正終端側(cè)的處理結(jié)果。
隨著強(qiáng)大的生成式AI模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合AI的潛力將會(huì)進(jìn)一步增長(zhǎng)。參數(shù)超過(guò)10億的AI模型已經(jīng)能夠在手機(jī)上運(yùn)行，且性能和精度達(dá)到與云端相似的水平。不久的將來(lái)，擁有100億或更高參數(shù)的模型將能夠在終端上運(yùn)行。
混合AI策略適用于幾乎所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機(jī)、筆記本電腦、XR頭顯、汽車(chē)和物聯(lián)網(wǎng)。這一策略對(duì)推動(dòng)生成式AI規(guī)�；瘮U(kuò)展，滿(mǎn)足全球企業(yè)與消費(fèi)者需求至關(guān)重要。我們堅(jiān)信，混合處理將成為AI的未來(lái)。查詢(xún)進(jìn)一步信息，請(qǐng)?jiān)L問(wèn)官方網(wǎng)站https://www.qualcomm.cn/media/document．/files/hun-he-aishi-aide-wei-lai-di-yi-bu-fen-zhong-duan-ce-aihe-hun-he-aikai-qi-aide-wei-lai.pdf。
|
|
| → 『關(guān)閉窗口』 |
|
| |
|
|
|
|
|
|
