一、從單模態到全模態：AI正在走向理解真實世界

AI發展的速度不斷的在突破，從ChatGPT的大型語言模型（Large Language Model,LLM）浪潮，到現在能夠看圖、聽聲音、理解影片的多模態AI。

(一)單模態Unimodal：AI開始理解文字

大型語言模型的出現讓AI有接近人類水準的語言理解與生成能力，不管是寫文章、翻譯、回答問題或寫程式，本質上都是由大量文字資料訓練而成，早期的大型語言模型屬於典型的單模態模型，唯一能夠理解的來源就是文字，這個階段AI認知的世界是由文字所組成的。

(二)多模態Multimodal：AI開始理解影像與聲音

隨著技術進步，AI不再侷限於文字，視覺語言模型（Vision-Language Model,VLM）讓AI將影像與文字結合，有看圖理解與圖文推理能力，影片語言模型（Video-Language Model,Video-LM）又進一步讓AI理解時間序列與動態場景，這時的AI已經能夠同時處理文字、圖片、聲音、影片，AI理解的世界不再只有文字，而是由多種感知資訊共同組成。

(三)全模態Omnimodal：建立統一的感知能力

多模態模型雖然能處理多種資料，但許多系統仍然是由不同模組分工完成，因此產業開始朝向全模態發展，希望建立一個能夠同時理解所有模態的統一模型，在全模態架構中，文字、圖片、聲音、影片還有感測器資料，都被映射到同一個語意空間之中，讓模型能夠跨模態推理與決策，這也是目前許多先進AI系統發展的方向。

(四)世界模型World Model：從理解資料到理解世界

雖然全模態AI看起來非常強大，但本質上仍然是在「處理資料」，它可以看，也能閱讀，但它未必真正理解物體在空間中的位置、尺寸、材質，或是與周圍物件的關係是什麼，因此下一個重要發展方向便是世界模型（World Model），世界模型的目標是建立一個可以被AI理解的數位世界，讓模型不只是處理影像與文字，而是理解物件、空間與物理規則。

(五)物理人工智慧Physical AI：AI開始進入真實世界

當AI擁有世界模型後，就可以從數位空間進一步延伸到真實世界，這也就是非常受關注的物理人工智慧（Physical AI），像是機器人、自動駕駛、智慧工廠或數位孿生系統，都需要AI理解真實世界中的空間結構、物件關係與物理規則。

二、產業正在讓「AI理解物理世界」

當產業開始建立世界模型（World Model）時，一個新的問題也隨之浮現：「如果AI需要理解世界，那世界在數位中該如何被描述、定義？」，真實世界對AI而言，並不是一個可以直接進行大量訓練與反覆試錯的環境，物理世界的成本高、風險高且不可重複，讓AI難以像在數位環境中高效率的學習。

因此，問題的關鍵從「AI如何理解物理世界」轉變為「如何先構建一個AI可以學習的世界」，在這個轉折點上，NVIDIA推動的，不只是GPU運算能力和AI模型的加速，而是更基礎但重要的事，就是建立一個可計算、可模擬、可重複的數位世界，讓AI能夠在裡面學習與理解物理世界，在這樣的架構下，現實會被逐漸數位化，從工廠生產線、倉儲物流系統，到城市交通，延伸至整個地球的氣候與環境系統。

●　NVIDIA Omniverse：被用來建構數位孿生環境，支援工廠、機器人與複雜系統的模擬與協作。

●　NVIDIA Earth-2：將數位孿生的概念擴展到地球尺寸，用於氣候與環境系統的高精度模擬。

這些看似不同類型的系統，本質上其實指向同一個目標，就是將真實世界轉換為一個可以被AI理解、推理與訓練的「可計算世界」。

三、當世界被數位化之後，我們要「如何描述這個世界？」

數位世界開始被建構出來之後，無論是工廠、城市，還是地球的模擬系統，這些數位環境都不是單一模型或靜態場景，是由大量異質資料所組成的複雜系統，像是CAD設計資料、BIM建築資訊、IoT感測器數據、物理模擬結果、即時運作狀態等等，這些資料來自不同工具、不同格式與不同產業流程，因此問題從「建立數位世界」，進一步變成「如何描述一個足夠複雜、可被共享與推理的數位世界」。

如果沒有統一的描述方式，這些資料會雞同鴨講，無法整合、共享，也無法讓AI進行一致性的理解與推理，在這個背景下，OpenUSD成為關鍵技術。

OpenUSD的核心價值，並不單純是「3D檔案格式」，它讓不同來源的資料可以被組合成相同的世界描述，能夠將分散在不同系統中的資訊，統一為可組合的場景結構，讓AI、模擬系統與工程工具可以共享同一個模型。

●　能夠將來自不同系統的資料進行組合（composition）

●　支援分層式的世界描述（layered representation）

●　保留物件之間的關係與語意結構

●　讓場景不再是「單一模型」，而是「可組合的世界系統」

換句話說，如果說NVIDIA正在解決的是「建立數位世界」，那麼OpenUSD所解決的就是「如何讓這個數位世界可以被描述、理解與共享」。

四、為何談到AI、物理人工智慧和數位孿生，就會談到OpenUSD？

上述的問題，無論是哪一個，它們都有一個共同點就是「除了理解文字、圖片或影片，也要理解物件之間的關係、空間結構，以及世界如何隨時間產生變化」，才能夠正常運作下去。

OpenUSD核心能力就是能夠描述物件是什麼、物件在哪裡、物件之間有什麼關係、場景如何被組合、世界如何持續演化，這些能力正好是世界模型與物理人工智慧需要的。

假設一個機器人要拿起桌上的杯子，它不只要知道是哪一個杯子要拿，還要知道：

1. 杯子在這個空間的哪裡？
2. 杯子的尺寸與形狀？
3. 杯子是否能夠被抓取？
4. 杯子的材質是甚麼？
5. 我要用多少力道去抓取？
6. 抓取後是否會碰撞到其他物體？
7. 周圍環境是否會影響行動結果？

這些資訊都屬於世界模型的一部分，不單是影像辨識的範圍，對於物理人工智慧而言，模型要看見世界，也需要理解世界中的物件、空間、關係與物理規則。

因此，在訓練與模擬過程中，需要一套能夠完整描述世界狀態的資料結構，而這是OpenUSD的強項，它能夠將這些資訊分散於不同系統中，以一致且可組合的方式整合到同一個場景中，讓模擬平台、數位孿生系統以及AI模型可以共享同一套描述，換句話說，OpenUSD並不是AI模型本身，而是為AI提供一個更完整、更結構化的數位世界，讓AI從「理解資料」到「理解世界」。

五、NVIDIA為何大量投入在OpenUSD？

(一)OpenUSD是Omniverse的基礎

推動OpenUSD是因為它已經成為NVIDIA建構數位世界的重要基礎，Omniverse是用來建構、協作與模擬數位世界的平台，OpenUSD的角色就是將這些異質資料整合到同一個世界模型之中，讓不同工具、不同團隊與不同系統能夠共同描述與操作同一個數位世界，如果Omniverse是數位世界的運行平台，那麼OpenUSD就是數位世界的語言。

(二)OpenUSD也是物理人工智慧（Physical AI）的資料基礎

大型語言模型主要從文字資料中學習，物理人工智慧必須學習如何在真實世界中感知、推理與行動，像是機器人抓取、自主導航、倉儲物流或是智慧工廠的自動化設備，這些模擬不適合依賴真實環境進行反覆訓練與測試，因為成本過高且風險不好控制。

因此，大量訓練工作必須先在數位世界環境中模擬完成，而模擬環境是否有效，關鍵就在於它能否如實的反映真實世界中的空間結構、物件關係與物理規則，從這個角度來看，OpenUSD能夠承載世界模型的資料架構，讓數位世界成為AI學習與訓練的基礎環境。

六、從GPU公司到世界模擬平台

觀察NVIDIA近年的發展方向時，會發現布局不再侷限於GPU或AI模型本身，從GPU運算平台、生成式AI、Omniverse、機器人模擬到OpenUSD生態系，都指向「建立一套能夠讓AI理解、模擬與學習真實世界的基礎設施。」

如果說過去NVIDIA的核心價值是提供運算能力，那麼未來NVIDIA將打造讓AI能夠認識世界、學習世界，讓數位世界更接近物理世界的虛實整合平台，在這個過程中，OpenUSD就是連接數位與物理世界的重要橋樑。

七、OpenUSD是為下一代物理人工智慧（Physical AI）生態布局

提供標準化的世界描述，AI就可以理解真實的物理空間，OpenUSD解決異質資料的問題，將它轉化成可共享、可推理的結構，讓AI在虛擬環境中完成高效的物理模擬，能精準、安全的走出數位，進入到現實生活中。

八、宙盟資訊：技術與培訓的專業夥伴

宙盟資訊是軟體專業經銷商，致力於提供專業且完整的服務。從軟體授權與安裝協助，到技術培訓與專案顧問服務，協助創作者與企業順利導入各式軟體，提升製作效率與品質。