什么是三維重建?

2024-08-05 19:28:28    來源:今日熱點網    

隨著全球數字化進程加速演進,三維重建技術如同一座橋梁,連接著物理世界與虛擬世界的廣闊天地。何為三維重建?它是如何將紛繁復雜的現實世界,轉化為可漫游、可交互的數字空間?又都在哪些行業和場景中綻放出耀眼的光芒?

什么是三維重建?

從行業視角看三維重建

三維重建(3D Reconstruction)是一種利用計算機技術,從二維圖像或其他數據源中生成三維模型的過程。VR需要構建虛擬的數字空間,而三維重建技術正是對空間最完整、最深度信息采集的技術方案。

如視的三維重建探索

如視當下正在做的三維重建,是采集真實的空間深度信息(包括場景中物體的形狀、大小以及它們之間的空間位置關系等),結合RGB相機(一種色彩還原度高、能夠采集詳細光譜信息的彩色相機)采集的圖像信息,經由算法融合后構建1:1真實還原的三維模型的結果,如視軟硬一體的三維重建解決方案就是在此基礎上形成的。

由此得到的三維模型中,會包含豐富的語義信息,我們將之稱為潛藏數據。而如視將通過深度學習算法,進一步挖掘采集生成的VR產物,從中獲取包括空間結構信息、文字信息、物體信息、材質信息、光照信息等在內的潛藏數據并應用。

與三維重建共生共榮

三維重建是如視的核心技術能力,基于線下采集空間數據,如視通過自動建模、智能空洞填補、全自動數據提取、HDR 優化等三維重建技術將全部數據及圖片紋理精準映射到三維模型上,在數字世界還原真實的三維空間。

作為數字空間綜合解決方案引領者,如視自誕生起便深耕三維重建領域, 多年來,如視為全行業提供三維空間的采集、重建、展示能力,打造低成本、高效、有針對性的 VR 空間應用解決方案。

如視通過自研,實現了軟硬一體的三維重建全流程解決方案。

多樣的空間數據采集產品

如視產品矩陣已經完全覆蓋了超大、大、中、小,空間、物體全場景的三維重建,能夠提供高效、低成本、穩定的空間數據采集方案,滿足千行百業的三維重建需求。

強大的算法能力

如視通過強大的算法能力,打造自動化處理全流程,讓整個三維重建過程無需任何人工干預,為客戶提供高效的三維重建能力。同時,通過如視特有的基于數字空間的AI能力,如視為用戶提供自動平面圖、空間物體識別等多樣性的衍生產物。

豐富的產物數據編輯系統

為滿足用戶的多元化、個性化需求,如視打造了一套功能豐富強大的編輯系統,讓客戶可以對產物數據進行加工編輯。

靈活的場景應用解決方案

如視構建了一套跨越多行業、多業態的數字空間綜合解決方案,全面響應并賦能千行百業的數字空間應用需求。同時如視也提供了多樣靈活的部署方案,全方位支持客戶的多元化應用場景。

如何進行三維重建?

三維重建步驟

一般而言,三維重建需要經過圖像生成深度圖、深度圖生成點云、點云處理、網格重建、網格處理、紋理映射等步驟。

圖像生成深度圖

三維重建的第一步,是從知道每個點到相機的距離開始。而深度圖像就是一張特殊的照片,上面每個點的顏色深淺,代表了它在現實中的位置到觀察點所在垂直平面的真實距離。

深度圖生成點云

點云是空間中代表3D形狀或對象的數據點集合,數據集中的每個點代表一組X、Y、Z幾何坐標。在這一步中,電腦會根據深度圖像中的距離信息畫出許多“小點點(點云)”,它們代表了空間內所有3D形狀或對象的位置。

點云處理

之后,我們需要對點云數據進行一系列的處理和優化,提高后續三維重建的準確性和效率,如去除點云中的噪聲、離群點等無用或干擾數據,提高數據的純凈度和準確性等。

網格重建

網格是點云的一種簡化的表達形式,在三維重建中表示多面體形狀的頂點與多邊形的集合,這些網格通常由三角形、四邊形或者其它的簡單凸多邊形組成。網格重建,就是要把剛才獲取的“小點點”連接起來,形成“小面片(網格)”,這些面片(網格)組合起來就像是房間或者物體的外殼,讓房間或物體看起來更有立體感。

網格處理

為了進一步提高模型的質量,接下來需要對初步生成的網格模型進行優化和調整,比如去除網格中的尖銳邊緣和不平整表面,讓模型更加平滑和自然等。

紋理映射

紋理是一張圖片,可以根據特征映射貼在網格表面上。通過紋理映射給網格加上紋理后,諸如房間的墻紙、地板的顏色等內容就會顯現出來,模型就會變得更加真實。

3D模型

網格和紋理全部組合在一起,就得到了一個完整的三維模型,它將支持我們的隨意旋轉、放大、縮小等。

如視的創新與優化

如視的三維重建,與一般的三維重建步驟差別不大,但在深度圖和點云的生成上有兩種方式。

圖像生成深度圖,深度圖轉換成點云

人類通過兩個眼睛的視差來實現對距離的估算,但事實上我們用單個眼睛也可以大致估算出距離,這是因為我們的大腦已經記住了一些規律,比如近處的遮擋遠處、近處的體積看似大于遠處等。

利用這一原理,如視通過積累的數百萬專業設備掃描的三維數據集,以全景圖為輸入、深度信息為標注(答案)訓練出"單目圖像深度估算"Al模型——Cyclops,實現無需深度傳感器、僅采集空間圖像即可實現三維重建。Cyclops的誕生,推動了如視輕量級和消費級VR采集產品的誕生,讓VR 拍攝進入大眾的日常生活。

借助累積的百萬套真實空間數據,2019年11月Cyclops的推測誤差率突破性地達到4.23%,超越了學界水平,隨著采集矩陣的完善,到2023年4月,Cyclops算法誤差進一步降至1.35%。

傳感器(激光掃描儀)直接采集深度圖/點云

我們向某物體發射一束光,并通過接收裝置測量光線反射或散射回來的時間差,就可以直接計算出物體離我們有多遠,得到物體的深度信息。如果再配上一個角度測量裝置,測量光線發射的角度,結合已知的距離信息,就能直接得到該物體的空間坐標。而當我們利用傳感器,同時向某場景發射無數道光,就能得到場景中各點的空間信息,也就是它們離傳感器有多遠、具體在哪個角度等,并據此直接繪制出精準的深度圖和點云。

這種采集方式在空間數據的精準性、實時性、便捷性、抗干擾性等方面具備顯著優勢,如視旗下的專業級激光VR掃描儀“伽羅華(Galois)”,就利用了這一原理。伽羅華在采集過程中顯示出卓越的環境適應性,并能夠精確捕捉空間內的每一處細節,讓大空間和超大空間三維重建變得輕松與高效,為專業人士提供無以倫比的便利體驗。

三維重建質量影響因素剖析

三維重建的質量受到多種因素的影響,包括深度數據質量、點位拼接、操作規范、語義信息等。

深度數據質量

深度數據是三維重建的基石,其質量直接決定了三維模型的準確性和精細度。

如視目前已有的兩款專業級空間采集產品——激光VR掃描儀“伽羅華”和手持實景掃描儀“龐加萊”——都采用激光雷達傳感器,其產物質量受傳感器精度影響;此外,龐加萊因為采用了SLAM技術(同時定位與地圖構建技術,一種通過傳感器數據實時估計自身位置并構建環境地圖的技術),其質量還與其使用的IMU(慣性測量單元,一種集成了多種慣性傳感器的裝置,用于測量和跟蹤物體的加速度和角速度)、相機等質量有關;而輕量級產品全景相機、Realsee G1智能云臺和消費級產品如視VR APP,其產物質量與深度推測質量相關,目前誤差為1.35%。

點位拼接

定點式掃描設備點位拼接是利用多點位采集到的彩色圖像和深度信息,通過提取特征尋找相似的匹配點位,并計算相對位置和姿態,最終實現多個點位之間的精確拼接,簡單來說就是將多個點位采集到的深度數據進行整合。

操作規范

包括掃描密度、手動拼接、特征工具等在內的人工操作規范與否,會極大程度上影響三維重建的產物精度,作業人員需要按照規范操作步驟,合理設置點位進行采集。

語義信息

語義信息是指對三維模型中各元素(如物體、場景等)的識別和標注,在三維重建過程中引入一些標注的或自動識別的語義信息,不僅可以提高模型的語義豐富度,還有助于提高模型的準確性和實用性。

三維重建用在哪里?

三維重建的無限可能

三維重建技術廣泛應用于城市規劃、影視制作、游戲開發、考古研究、文物保護、醫療影像、虛擬現實(VR)、增強現實(AR)等諸多領域。隨著基于深度學習的三維重建方法突破傳統界限,開始處理更加復雜的場景重建任務,三維重建技術應用的廣度和深度將不斷拓展。

如視的三維重建產物

如視的三維重建技術,不僅能夠精準捕捉并還原真實世界的每一個細節,還能將這些數據轉化為豐富多樣的產物,包括全景圖、點云、模型等各個格式的導出,以及視頻、截圖等營銷物料的下載,滿足不同用戶群體的多元應用需求。

以三維重建推動產業進化

如視通過覆蓋了超大、大、中、小空間、物體等多行業、全場景的三維重建能力,為企業的線上營銷、空間運維、數字化管理等提供有效助力。目前,如視的三維重建技術已經成功滲透并深度服務工業園區、商業零售、文博會展、酒旅餐飲等九大行業,應用范圍覆蓋營銷推廣、內部管理、人員引導、模擬培訓等諸多場景,引領千行百業的數字化轉型。

結尾

三維重建技術作為數字化轉型的重要工具,正以前所未有的速度重塑著人類的生活方式。而如視正在以技術創新為驅動,以用戶需求為導向,持續加速三維重建技術迭代和產品升級,為千行百業提供更加高效、精準的三維重建解決方案。

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

關鍵詞:
[責任編輯:h001]

資訊播報

聯系我們:435 226 40 @qq.com

版權所有 重播新聞網 www.porb.cn 京ICP備2022022245號-17