3 月 9 日，微軟德國 CTO Andreas Braun 在一場名為 “AI in Focus - Digital Kickoff” 的活動(dòng)中表示，GPT-4 將在下周發(fā)布，將提供多模態(tài)模型。自 3 月初發(fā)布 Kosmos-1 以來，微軟正在與 OpenAI 微調(diào)多模態(tài)這一事實(shí)應(yīng)該不再是一個(gè)秘密。

此前《財(cái)富》雜志曾報(bào)道，OpenAI 在 beta 測試版 GPT-4 中采用了更強(qiáng)大的大語言模型，相較前代，GPT-4 可能不會(huì)有參數(shù)量上的巨幅提升，而是在其他方向?qū)で筇岣撸癘penAI 也確實(shí)在開發(fā)一款通過文字能生成視頻的 AI 模型”。

今年 1 月，OpenAI CEO Sam Altman 在回應(yīng) “GPT-4 可能擁有 100 萬億參數(shù)” 的說法時(shí)，稱其為“完全是胡說”。這也暗示了即將到來的 GPT-4 不會(huì)一味地?cái)U(kuò)大參數(shù)量，而可能向其他方向?qū)で筇嵘?/p>

“我們將在下周推出 GPT-4，我們將有多模態(tài)模型，提供完全不同的可能性——如視頻，”Braun 說。這位首席技術(shù)官稱大型語言模型是 “游戲規(guī)則的改變者”，因?yàn)樗鼈兘虣C(jī)器理解自然語言，然后以統(tǒng)計(jì)學(xué)方式理解以前只能由人類閱讀和理解的內(nèi)容。同時(shí)，該技術(shù)已經(jīng)發(fā)展到了基本上 “適用于所有語言” 的程度?！澳憧梢杂玫抡Z問一個(gè)問題，得到意大利語的回答。通過多模態(tài)，微軟/OpenAI 將 “使模型變得全面”。
此次 GPT4 轉(zhuǎn)向多模態(tài)，未來的輸入輸出將出現(xiàn)圖像、視頻等形態(tài)，或?qū)⒃跇I(yè)內(nèi)產(chǎn)生更具顛覆性的影響。OpenAI 此前推出的 DALL-E 2 和 CLIP 便是一次很好的嘗試。
近期，微軟在多模態(tài)方向也動(dòng)作頻頻，其推出了全能型人工智能模型——Kosmos-1。與局限于文本內(nèi)容（ LLM）的 ChatGPT 相比，Kosmos-1 屬于多模態(tài)大型語言模型（MLLM），目前能同時(shí)理解文字與圖像內(nèi)容，未來會(huì)整合更多的輸入模式，如音頻、視頻。

此外，微軟也于 3 月 8 日提出了 Visual ChatGPT，其包含不同的視覺基礎(chǔ)模型，可以使用戶通過以下方式與 ChatGPT 互動(dòng)：（1）不僅發(fā)送和接收語言，而且發(fā)送和接收?qǐng)D像；（2）提供復(fù)雜的視覺問題或視覺編輯指令，這需要多個(gè)人工智能模型的協(xié)作和多步驟；（3）提供反饋并要求糾正結(jié)果。

微軟研究人員在發(fā)表于預(yù)印本網(wǎng)站 arXiv 上的論文中寫道，“ChatGPT 正在吸引跨領(lǐng)域的興趣，因?yàn)樗峁┑恼Z言界面具有強(qiáng)大的對(duì)話能力和在許多領(lǐng)域的推理能力。然而，由于 ChatGPT 是用語言數(shù)據(jù)來訓(xùn)練的，它目前還不能處理或生成圖像。同時(shí)，視覺基礎(chǔ)模型，如 Visual Transformers 或 Stable Diffusion，雖然顯示了強(qiáng)大的視覺理解和生成能力，但它們只是特定任務(wù)的“專家”，具有一輪次固定的輸入和輸出?！?br/>在此次活動(dòng)中，Braun 和微軟德國 CEO Marianne Janik 一起，全面談到了人工智能對(duì)公司的顛覆。Janik 強(qiáng)調(diào)了人工智能創(chuàng)造價(jià)值的潛力，并談到了一個(gè)時(shí)間的轉(zhuǎn)折點(diǎn)——目前的人工智能發(fā)展和 ChatGPT 是 “一個(gè) iPhone 時(shí)刻”。她說，這并不是要取代工作，而是要以不同于以往的方式完成重復(fù)性任務(wù)。

顛覆不一定意味著工作的損失。Janik 強(qiáng)調(diào)說，“需要許多專家來使人工智能的使用產(chǎn)生價(jià)值”。傳統(tǒng)的工作正在改變，由于新的豐富的可能性，令人興奮的新職業(yè)正在出現(xiàn)。她建議公司形成內(nèi)部的 “能力中心”，可以培訓(xùn)員工使用人工智能并形成捆綁式項(xiàng)目創(chuàng)意。在這樣做時(shí)，“應(yīng)該考慮到舊寵的遷移”。

Janik 還強(qiáng)調(diào)，微軟不使用客戶的數(shù)據(jù)來訓(xùn)練模型（然而，根據(jù)其 ChatGPT 政策，這一點(diǎn)至少在過去和現(xiàn)在不適用于他們的研究伙伴 OpenAI）。Janik 談到了 “民主化”——她承認(rèn)這只是指這些模型在微軟產(chǎn)品范圍內(nèi)的直接可用性，特別是通過在 Azure 平臺(tái)、Outlook 和 Teams 中整合人工智能而廣泛使用。