華為自研盤古大模型,跳級迭代!
HDC 2024上,沒有4.0,直接發布5.0。
最新系列覆蓋十億、百億、千億、萬億四種規模,分別針對當下大模型領域的不同應用需求。
同時還強調了多模態和強思維兩方面屬性。
具體能力有多強?
華為直接現場演示搭載了盤古大模型的人形機器人。
它能從多個物體中找到可以喝的那一個,遞給口渴的人類。
據介紹,盤古大模型能讓機器人完成10步以上的復雜任務規劃。
而且盤古大模型還能生成機器人需要的訓練視頻,讓它更快學習各種復雜場景。
同樣的思路還被用在了自動駕駛領域。
盤古大模型能夠理解并遵循物理規律,生成視覺上逼真、車輛行為、環境互動真實的訓練視頻。
比如讓它生成在傍晚下雨行車場景,它在學習過程中自動理解到了“開車燈”這個行為,并在生成視頻中模擬出了這個細節。
鴻蒙系統也用上了最新盤古。華為智慧助手小藝的多模態能力,就得益于盤古。
除了能力展示外,在現場,華為還直接揭秘盤古背后技術細節。從數據到訓練方法,都做了更進一步說明。
當然還有原生鴻蒙的一系列最新進展,從架構到生態,這次都可謂是“有史最大升級”。
普通用戶(P70、Mate60等)最早今年8月就能體驗到Beta版了。
盤古5.0三大升級
盤古5.0主要包含4種參數規格:
十億級的Pangu E系列:支撐手機、PC等端側的智能應用;
百億級的Pangu P系列:適用于低時延、低成本的推理場景;
千億級的Pangu U系列:適用于處理復雜任務,可以成為企業通用大模型的底座;
萬億級的Pangu S系列:處理跨領域多任務的超級大模型。
強調的兩大能力為:
多模態
強思維
多模態方面,盤古大模型5.0能夠更好更精準地理解物理世界,包括文本、圖片、視頻、雷達、紅外、遙感等更多模態。
比如,它能從清明上河圖中精準找到“趙太丞家有幾口人”。在原畫中,這部分的占比不到1/200.
在生成方面,盤古5.0,可以生成符合物理世界規律的多模態內容,讓創新隨心所欲。
得益于可控時空生成技術(STCG),模型有了對物理規律的理解能力。
在自動駕駛方面,盤古大模型可以生成六攝像頭視角視頻,而且對細節的把控很好,讓自動駕駛系統可以直接獲取到全方位、高仿真度的訓練素材。
例如,車輛在不同攝像頭視角間的平滑過渡,以及在不同天氣和光照條件下行駛的自然表現,都顯示了模型對空間和時間維度精準把握的能力。