OpenAI 發表 Shap-E 新模型 文字提示和圖片將可轉 3D 圖形 免費開放使用 附下載點

生成式 AI(Generative AI)引爆人工智慧熱潮,除以文字提示產生更多文字、圖片內容,新的 AI 模型也能夠產出 3D 立體圖形。

文字提示和圖片可轉 3D 圖形,OpenAI 發表 Shap-E 新模型

多數人對於輸入文字提示產生文字、圖片內容如 ChatGPT、Midjourney / DALL·E 2 等不感到陌生,OpenAI 新推出可將文字和圖片轉成 3D 圖形的 Shap-E 模型,成果可在微軟小畫家 3D(Paint 3D)中開啟,甚至能夠轉成用於 3D 列印機輸出的 STL 檔案。此外,Shap-E 相較自家去年發表的 Point-E,能夠提供更好的 3D 圖形,而且產出速度更快。

Point-E 根據文字提示產生 3D 點狀雲,Shap-E 則是直接建立物體的輪廓並採用稱為神經輻射場(Neural Radiance Fields,NeRF)的功能,克服初期模型的模糊性。NeRF 與 VR、AR 使用的技術相同,可使 3D 場景看起來更逼真。

Shap-E 可在 GitHub 下載,並且能在個人電腦上安裝執行,更重要的是,Shap-E 不需要 OpenAI API 密鑰,因此目前能夠免費使用。

儘管如此,國外媒體如 Tom’s Hardware 測試後觀察到,由於 OpenAI 並未提供 Shap-E 的詳細說明,只告訴大家使用 Python pip 指令來安裝,所以實際安裝至產出 3D 圖形的過程,耗費了數個小時的時間摸索。

目前測試 Shap-E 的成果普遍仍是低解析度、欠缺細節,不過能將文字和圖片轉成 3D 圖形的技術確實充滿發展潛力。

▲ Shap-E 模型產生的 3D 立體企鵝。(Source:GitHub

▲ 酪梨造型的椅子。(Source:GitHub

▲ 香蕉造型的飛機。(Source:GitHub

無論是文字或圖片轉成 3D 圖形,Shap-E 都需要大量的電腦系統資源。Tom’s Hardware 指出,例如以搭載 RTX 3080 顯卡和 Ryzen 9 5900X 處理器的桌機跑 Shap-E,完成繪製大約需要 5 分鐘,而在配備 RTX 4090 顯卡和 Intel Core i9-13980HX 處理的 ROG 電競筆電上,只需要 2~3 分鐘。 不過,當嘗試在搭載 Intel 第 8 代 U 系列處理器結合內建顯卡的舊款筆電跑 Shap-E,1 個小時只繪製約 3%。

由於 Shap-E 不支援 Nvidia 以外的顯卡品牌,如果你打算使用這個模型,必須先確保你擁有 Nvidia 顯卡,硬體規格也需要達到一定程度,才不至於耗費許多等待時間。

從輸入文字提示產生文字、圖片,再提升一個層次來到 3D 立體圖形,生成式 AI 的應用範圍越來越廣。3D 立體圖形可應用在許多場景,而我們想像元宇宙可望實現人類未來的虛擬生活,Shap-E 模型或許有助於產生建構元宇宙的素材。

 

 

夜神模擬器台灣官網
https://tw.bignox.com/

夜神模擬器Facebook粉絲專頁
https://www.facebook.com/twnox/

夜神模擬器LINE社群
https://bit.ly/noxline

Related Post