華為自研盤古大模型,跳級迭代!
HDC 2024上,沒有4.0,直接發(fā)布5.0。
最新系列覆蓋十億、百億、千億、萬億四種規(guī)模,分別針對當(dāng)下大模型領(lǐng)域的不同應(yīng)用需求。
同時還強調(diào)了多模態(tài)和強思維兩方面屬性。
具體能力有多強?
華為直接現(xiàn)場演示搭載了盤古大模型的人形機器人。
它能從多個物體中找到可以喝的那一個,遞給口渴的人類。
據(jù)介紹,盤古大模型能讓機器人完成10步以上的復(fù)雜任務(wù)規(guī)劃。
而且盤古大模型還能生成機器人需要的訓(xùn)練視頻,讓它更快學(xué)習(xí)各種復(fù)雜場景。
同樣的思路還被用在了自動駕駛領(lǐng)域。
盤古大模型能夠理解并遵循物理規(guī)律,生成視覺上逼真、車輛行為、環(huán)境互動真實的訓(xùn)練視頻。
比如讓它生成在傍晚下雨行車場景,它在學(xué)習(xí)過程中自動理解到了“開車燈”這個行為,并在生成視頻中模擬出了這個細(xì)節(jié)。
鴻蒙系統(tǒng)也用上了最新盤古。華為智慧助手小藝的多模態(tài)能力,就得益于盤古。
除了能力展示外,在現(xiàn)場,華為還直接揭秘盤古背后技術(shù)細(xì)節(jié)。從數(shù)據(jù)到訓(xùn)練方法,都做了更進一步說明。
當(dāng)然還有原生鴻蒙的一系列最新進展,從架構(gòu)到生態(tài),這次都可謂是“有史最大升級”。
普通用戶(P70、Mate60等)最早今年8月就能體驗到Beta版了。
盤古5.0三大升級
盤古5.0主要包含4種參數(shù)規(guī)格:
十億級的Pangu E系列:支撐手機、PC等端側(cè)的智能應(yīng)用;
百億級的Pangu P系列:適用于低時延、低成本的推理場景;
千億級的Pangu U系列:適用于處理復(fù)雜任務(wù),可以成為企業(yè)通用大模型的底座;
萬億級的Pangu S系列:處理跨領(lǐng)域多任務(wù)的超級大模型。
強調(diào)的兩大能力為:
多模態(tài)
強思維
多模態(tài)方面,盤古大模型5.0能夠更好更精準(zhǔn)地理解物理世界,包括文本、圖片、視頻、雷達(dá)、紅外、遙感等更多模態(tài)。
比如,它能從清明上河圖中精準(zhǔn)找到“趙太丞家有幾口人”。在原畫中,這部分的占比不到1/200.
在生成方面,盤古5.0,可以生成符合物理世界規(guī)律的多模態(tài)內(nèi)容,讓創(chuàng)新隨心所欲。
得益于可控時空生成技術(shù)(STCG),模型有了對物理規(guī)律的理解能力。
在自動駕駛方面,盤古大模型可以生成六攝像頭視角視頻,而且對細(xì)節(jié)的把控很好,讓自動駕駛系統(tǒng)可以直接獲取到全方位、高仿真度的訓(xùn)練素材。
例如,車輛在不同攝像頭視角間的平滑過渡,以及在不同天氣和光照條件下行駛的自然表現(xiàn),都顯示了模型對空間和時間維度精準(zhǔn)把握的能力。