最近AI領(lǐng)域備受矚目的新聞中，OpenAI和谷歌的新品發(fā)布會，無疑占據(jù)了最多的頭條。

我們團隊當然也不例外，不僅第一時間觀看了兩家公司的發(fā)布會，還親身上手體驗了號稱“顛覆世界”“世界又科幻了”的GPT-4o。

一句話總結(jié)：OpenAI發(fā)布會，失望；谷歌發(fā)布會，無聊。

并不是我們要故作驚人之語。實際上，AI業(yè)內(nèi)專業(yè)人士普遍都有類似的看法。

一些國內(nèi)從事AI工程化項目的人表示，“不關(guān)心，因為又用不到”。而AI科學家和專家也有不少人直言，“看著看著睡著了，谷歌幾乎所有的東西都是對標和追趕，沒有太多的新鮮感”。

又又又一次在與OpenAI的較量中處于下風，一個只有谷歌受傷的世界達成了。

盡管兩大AI巨頭的新技術(shù)方向，仍然值得關(guān)注，但可以明確的是，隨著大型AI模型的產(chǎn)業(yè)化進程不斷深入，國內(nèi)外參與者也越來越冷靜，更加專注于自身的AI策略與節(jié)奏。

有人將這兩場發(fā)布會比作是一場斗地主游戲，OpenAI打出一對二，谷歌就跟四個王。那么，這一次較量的核心——多模態(tài)大模型，國內(nèi)AI行業(yè)是否要跟進呢？如果要跟進，又該提前考量到哪些問題呢？

每一次新產(chǎn)品問世，如果只跟著新聞“震驚”是很難進步的。不妨和我們一起，認真給GPT-4o算筆賬。

全能模型究竟“驚艷”在哪里？

谷歌反擊OpenAI的發(fā)布會，被稱為“腹瀉式更新”，一口氣推出了十來款新品及升級。之所以讓人看到睡著，是因為大家已經(jīng)在前一天被GPT-4o“驚艷”過了。

而這次谷歌開發(fā)者大會上所演示的其他產(chǎn)品，OpenAI早都發(fā)布過。對標GPT-4o的Gemini Astra，表現(xiàn)又略遜一籌，也難怪大家興趣缺缺。顯然，這是一次針對谷歌的精準狙擊。此前，谷歌已經(jīng)對外放出了語音助手demo演示的預熱視頻，而GPT-4o最讓人驚艷的地方就是“天花板級別”的人機自然語音交互。

那么，OpenAI機關(guān)算盡、谷歌有備而來的多模態(tài)大模型，究竟有什么神奇之處？

GPT-4o中的“o”代表“omni”，意為“全能”，以此為版本號，凸顯了GPT-4o的多功能特性，可以從三個方面理解：

1.多模態(tài)。

GPT-4o接受文本、音頻和圖像的任意組合作為輸入，實時對音頻、視覺和文本進行推理，生成相應的輸出。相比ChatGPT的文生文、文生圖，Sora的文生視頻等，GPT-4o是一個原生多模態(tài)的融合體。這一點，谷歌的Gemini Astra也能實現(xiàn)，支持多模態(tài)的推理。在演示視頻中，谷歌的智能助手可以理解手機攝像頭拍攝的世界（視頻、圖像），并用文字詳細地講述出來。

當然，多模態(tài)大模型并不是什么新鮮事物。不只這倆AI巨頭，國內(nèi)在多模態(tài)大模型領(lǐng)域也有一些研究和開發(fā)。此前就有浙大校友開源了多模態(tài)大模型LLaVA，對標OpenAI的GPT-4V。既然多模態(tài)大模型并不稀奇，那GPT-4o憑啥“驚艷”？答案就在第二點。

2.低時延。

GPT-4o是一個端到端、全鏈路貫穿的多模態(tài)大模型。

此前，語音產(chǎn)品一般由三個獨立模型組成：SLM1將音頻轉(zhuǎn)錄為文本——LLM將文本輸出為文本——SLM2將生成文本轉(zhuǎn)換為音頻。每一步的網(wǎng)絡(luò)延遲疊加起來，結(jié)果就是AI推理速度跟不上人嘴巴說話的速度。大家可能都有過類似的經(jīng)歷，自己都說完了，AI大模型還沒識別完全，互動總被打斷，有時還會丟失很多信息，連基本的文字都聽不清，更別說從笑聲、停頓、嘆氣等因素中分析出人的情緒了，人當然也就沒有了說下去的興致。

而GPT-4o的端到端，就是省去了中間的處理步驟，由同一個神經(jīng)網(wǎng)絡(luò)來接受并處理來自不同模態(tài)（如文本、視覺和音頻）的輸入數(shù)據(jù)，并直接輸出結(jié)果。這樣就可以將語音交互的響應時延，控制在232 毫秒以內(nèi)，體感上比人類回應還要迅速。

OpenAI演示完GPT-4o，大家紛紛表示，科幻電影中《Her》跟機器談情說愛的未來就要實現(xiàn)了。不過，谷歌并不這樣想。

（截圖自奧特曼的社交媒體）

在晚一天的谷歌發(fā)布會上，谷歌Gemini 1.5 Flash的響應其實也很快速，同樣能幾乎沒有延遲地跟人類流暢互動，但還是比GPT-4o要長一些。不過谷歌聲稱，自己的兩段演示視頻均為“單次拍攝、實時錄制完成”。

我們猜測，這是在暗示OpenAI又在“貸款領(lǐng)先”了，GPT-4o實際可能無法很快真的落地，畢竟OpenAI搞誤導性營銷是有前科的，Sora就曾爆出，拿藝術(shù)家編輯過的視頻當原視頻宣傳，演示效果并非完全由AI生成。

展示效果是真是假，有待時間驗證，不過OpenAI和谷歌在端到端方面的工作，證明了人機語音交互的超低時延是可以實現(xiàn)的，達到媲美人類交流的水平。而這，就為語音交互的多場景應用，打下了新的技術(shù)根基。

3.多場景。

大家應該都還記得，ChatGPT問世時舉世震驚的效果。大語言模型的強大理解能力和泛化性，可以促成NLP在多種文本任務(wù)上帶來顛覆式的影響，而這類任務(wù)幾乎遍布在各行各業(yè)。

再看GPT-4o，多模態(tài)大模型在音視頻理解方面尤其出色，也是一個非常泛在的通用型技術(shù)。而毫不夸張地說，GPT-4o將語音交互體驗做到了“天花板級別”，這幾乎可以給語音場景都帶來改變。

比如OpenAI所展示的輔導孩子數(shù)學題，可以替代家長輔導作業(yè)，讓家家都過上和諧的日子；《Her》電影中跟智能語音機器人談戀愛的場景，可以讓人人都擁有自己的網(wǎng)絡(luò)戀愛/在線情感撫慰師。延展開來，此前曾被嘲笑“人工智障”的手機語音助手，銀行、電信等行業(yè)的客服機器人，缺乏充足師資力量的偏遠學校，游戲里跟玩家互動的NPC紙片人，以及能識別用戶情緒的精準營銷……

凡有人聲處，皆可詠AI，正隨著端到端多模態(tài)大模型的進化與落地，讓更自然、更逼真、富有感情的人機交互成為可能。

從這個角度說，GPT-4o所代表的技術(shù)前瞻性，確實配得上“全能o”這個詞。既然如此，為什么說只有谷歌一家受傷了呢？