SceneX是一個(gè)創(chuàng)新的3D場(chǎng)景生成框架，能根據(jù)簡(jiǎn)單的文字描述快速創(chuàng)建高質(zhì)量、逼真的虛擬場(chǎng)景，大幅提高構(gòu)建虛擬世界的效率和靈活性。

「空間智能」和「世界模型」是最近學(xué)術(shù)界和產(chǎn)業(yè)界非常火熱的研究方向，走向虛實(shí)結(jié)合、模擬世界機(jī)理的關(guān)鍵一步，就是創(chuàng)造出一個(gè)生動(dòng)的虛擬世界。

然而，想要打造豐富多樣、充滿細(xì)節(jié)，同時(shí)具備高度可編輯性和物理真實(shí)性的3D虛擬世界，仍然困難重重。

為了解決這些難題，來(lái)自中國(guó)科學(xué)院自動(dòng)化研究所和北京科技大學(xué)的聯(lián)合團(tuán)隊(duì)，首次提出了一種全新的3D場(chǎng)景生成框架SceneX，只需簡(jiǎn)單的文字描述，就能快速生成高質(zhì)量的3D虛擬場(chǎng)景。

不論是遼闊的自然風(fēng)景，還是充滿活力的城市街道，模型都能輕松應(yīng)對(duì)。

網(wǎng)站：https://zhouzq1.github.io/SceneX/

論文：https://arxiv.org/abs/2403.15698

更重要的是，SceneX還能根據(jù)需求靈活調(diào)整，讓場(chǎng)景更貼合用戶(hù)設(shè)想。

有了SceneX，虛擬世界的構(gòu)建也會(huì)更輕松，簡(jiǎn)單且高效。

SceneX開(kāi)啟高效、逼真場(chǎng)景生成新時(shí)代

SceneX以創(chuàng)新的方式打破傳統(tǒng)局限，全面提升效率與真實(shí)感，主要包括兩個(gè)核心模塊：

PCGHub：通過(guò)集成多種程序化生成模塊并封裝為標(biāo)準(zhǔn)化API，PCGHub提供了一個(gè)靈活的平臺(tái)，解決單一生成模塊因固有算法和規(guī)則受限而導(dǎo)致的局限性，大幅擴(kuò)展了資源生成的多樣性和靈活性。

PCGPlanner：作為智能規(guī)劃器，PCGPlanner高效協(xié)調(diào)PCGHub的資源完成場(chǎng)景生成。其全自動(dòng)化流程包括場(chǎng)景分解、地形生成、資產(chǎn)生成與檢索、資產(chǎn)放置等階段。通過(guò)模塊化設(shè)計(jì)，確保生成結(jié)果的連貫性與幾何一致性。

相比傳統(tǒng)方法需要數(shù)周完成的大規(guī)模場(chǎng)景建模，SceneX將時(shí)間壓縮至數(shù)小時(shí)，同時(shí)支持通過(guò)簡(jiǎn)單的文字指令精確控制場(chǎng)景的細(xì)節(jié)。SceneX的跨模態(tài)協(xié)同能力，賦予場(chǎng)景生成前所未有的靈活性與可控性。

圖1：SceneX可根據(jù)文本指令自動(dòng)生成大規(guī)模3D自然場(chǎng)景或城市。生成的模型具備精細(xì)的幾何結(jié)構(gòu)、真實(shí)的材質(zhì)紋理和自然的光照效果，可無(wú)縫應(yīng)用于工業(yè)流程

PCGHub：多樣化程序化資產(chǎn)與布局生成平臺(tái)

場(chǎng)景的多樣性離不開(kāi)資產(chǎn)的多樣性。

為此，PCGHub提供了一個(gè)集成豐富程序化生成模塊和3D資產(chǎn)的平臺(tái)，旨在解決傳統(tǒng)方法的局限性并提升內(nèi)容真實(shí)感。

PCGHub提供了172個(gè)涵蓋自然環(huán)境、建筑等多領(lǐng)域的程序化資產(chǎn)，并配備了散射、網(wǎng)格、線性等多種靈活的布局生成器，使開(kāi)發(fā)者能夠輕松創(chuàng)建豐富多樣的3D場(chǎng)景。

表1：PCGHub中各元素功能概覽

這些資產(chǎn)可通過(guò)調(diào)整幾何和材質(zhì)參數(shù)實(shí)現(xiàn)多樣化變化。

從2,362個(gè)原始參數(shù)中提取了263個(gè)核心參數(shù)，并封裝為標(biāo)準(zhǔn)化API，每個(gè)API配有詳盡文檔，包括功能描述和參數(shù)規(guī)格，方便用戶(hù)調(diào)用和擴(kuò)展。

此外，PCGHub還包含11,284個(gè)高質(zhì)量3D靜態(tài)資產(chǎn)，極大地豐富了資源庫(kù)的多樣性。

PCGHub的推出，為生成多樣化且真實(shí)感強(qiáng)的場(chǎng)景提供了高效而靈活的解決方案。

圖2：某個(gè)樹(shù)木程序化生成模塊的API文檔、API功能及生成結(jié)果示例

PCGPlanner：智能場(chǎng)景生成與布局規(guī)劃

PCGPlanner利用PCGHub提供的資源，實(shí)現(xiàn)高效的自動(dòng)化場(chǎng)景生成。整個(gè)生成過(guò)程包括四個(gè)關(guān)鍵階段：

（1）場(chǎng)景分解：根據(jù)用戶(hù)需求分析場(chǎng)景并列出所需資產(chǎn)；

（2）地形生成：構(gòu)建基礎(chǔ)地形并應(yīng)用適當(dāng)?shù)牟馁|(zhì)；

（3）物體生成與檢索：根據(jù)需求生成或?qū)雸?chǎng)景所需的資產(chǎn)；

（4）資產(chǎn)放置：根據(jù)不同的布局類(lèi)型和程序化生成器，在場(chǎng)景中安排資產(chǎn)。

圖3：SceneX框架通過(guò)四個(gè)階段將用戶(hù)文本輸入轉(zhuǎn)換為不同的3D場(chǎng)景：場(chǎng)景分解階段、地形生成階段、物體生成和檢索階段以及資產(chǎn)放置階段

一系列實(shí)驗(yàn)驗(yàn)證了SceneX在質(zhì)量、效率和場(chǎng)景編輯上的全方位優(yōu)勢(shì)。主要成果如下：

用戶(hù)與專(zhuān)家一致好評(píng)

在對(duì)場(chǎng)景質(zhì)量進(jìn)行評(píng)分時(shí)，邀請(qǐng)了用戶(hù)和專(zhuān)業(yè)設(shè)計(jì)師參與測(cè)試。

結(jié)果表明，SceneX生成的場(chǎng)景獲得了用戶(hù)和專(zhuān)家的一致認(rèn)可，評(píng)分結(jié)果幾乎持平。

這意味著，無(wú)論是普通用戶(hù)還是行業(yè)專(zhuān)家，都對(duì)SceneX生成的場(chǎng)景贊不絕口。

表2：美學(xué)平均得分（AS）和美學(xué)專(zhuān)家平均得分（AES）的比較分析

圖4：不同場(chǎng)景下個(gè)性化編輯結(jié)果的可視化

圖5：SceneX場(chǎng)景生成效果對(duì)比

所見(jiàn)即所得的精準(zhǔn)還原

通過(guò)提示詞與場(chǎng)景匹配度評(píng)估，SceneX展現(xiàn)了卓越的語(yǔ)義理解和生成能力。

無(wú)論是靜謐的河邊風(fēng)光，還是繁華的城市景象，SceneX都能完美復(fù)現(xiàn)用戶(hù)想象，實(shí)現(xiàn)「所見(jiàn)即所得」。

圖6：大規(guī)模場(chǎng)景和城市生成結(jié)果

效率無(wú)與倫比

時(shí)間就是一切，而SceneX讓場(chǎng)景生成變得又快又準(zhǔn)。

實(shí)驗(yàn)結(jié)果顯示，生成一片壯麗的自然景觀只需要短短幾分鐘，打造一座大型城市也快得令人驚訝。

結(jié)語(yǔ)

SceneX框架展示了程序化內(nèi)容生成與多Agent工作流結(jié)合的巨大潛力，為大規(guī)模場(chǎng)景生成提供了全新的解決方案。

通過(guò)其強(qiáng)大的可控性和高質(zhì)量的生成能力，SceneX為虛擬世界構(gòu)建、游戲開(kāi)發(fā)、影視制作等領(lǐng)域開(kāi)辟了新的可能性。

未來(lái)，SceneX將進(jìn)一步優(yōu)化生成過(guò)程，為用戶(hù)提供更加高效便捷的場(chǎng)景生成體驗(yàn)。