影像拼接技術爭奪戰:SFM 還是 SLAM 比較強?
top of page

影像拼接技術爭奪戰:SFM 還是 SLAM 比較強?


影像拼接是將多個視角重疊的影像結合在一起,以產生一個單張無縫影像的過程,簡單來說,即是找出任兩張影像相同的特徵點(Feature points),去做縫合(Stitching)的動作。它經常被用於攝影和電腦視覺領域,以建立全景影像或影像鑲嵌。


image stitching
影像拼接,圖片來源:https://commons.wikimedia.org/wiki/File:Rochester_NY.jpg


無人機開啟新「視」界,21世紀新千里眼誕生

隨著近年無人機技術迅速發展,空拍技術是種能夠透過遠距離蒐集資訊的方法。在農業規劃上的應用日益廣泛,能夠幫助我們有效提升土地使用效率,並在突發事件的搜救行動中提供協助。透過空拍資料,亦可以深入了解油輪污染、土石流、洪水威脅以及海嘯等事件對水土的影響範圍。有些人將無人機空拍視為科學領域,也有人認為它是一種技術。不管怎麼看,它都是一種實用工具,能夠幫助我們更好地了解世界,並做出更明智的決策。


影像拼接到底多麻煩?

影像拼接涉及多個層面,包括影像校準(對齊要拼接的照片)和影像混合(將照片組合成單張融合照片)。影像校準通常使用特徵匹配等技術來完成,特徵匹配涉及辨認和匹配不同照片中的對應點。影像混合可以使用各種技術(例如平均化或羽化)來執行,這些技術可以平滑影像之間的過渡。常見的拼接工具如付費版Photoshop軟體,需要透過極為複雜的人工手動模式,才能將一張張照片組合而成,可以參考下面示範影片。



SfM 與 SLAM 之爭


Structure from Motion (SfM) 運動推斷結構

Structure from Motion(SFM)是一種電腦視覺技術,藉由相機的移動,根據不同角度和位置的平面影像,經過數學運算重建出物體的三維結構。簡而言之,就是利用拍攝環繞同一物體高度重疊(70~80%)的照片,並分析不同影像間的特徵和關聯,若能在兩張或以上的照片找到同樣的特徵,就可以藉此建立影像中的特徵點,包含被拍攝物體的三維空間資訊,而後就能利用這些特徵點建立3D模型,再以3D模型為底,產生地表數值表面模型(Digital Surface Model, DSM),再將DSM搭配鑲嵌演算法,從多張重疊的UAV影像產製高精度正射影像,再以高精度正射影像,產製數值地形資料。


SfM
SfM 示意圖,圖片來源:https://cvg.ethz.ch/.../privacy.../images/teaser.png?fbclid=IwAR22zrVvvl-mL6LQQMsQIJD6r3Ta2gseKTQy_LmyNYNXBdek5K11vNORs64
DSM
DSM 示意,credit to Kbosak from https://commons.wikimedia.org/wiki/File:DSM_construction_site.jpg









Simultaneous localization and mapping (SLAM) 同時定位與地圖構建

SLAM 是一種新的概念,用於機器人和電腦視覺的技術,與 SfM 運用特徵與關連算出結構不同,它利用設備在未知環境中導航,同時創建周圍環境的地圖。 該技術通常用於自動駕駛汽車、無人機和機器人應用。


在測繪學中,SLAM(同時定位和建地圖)是一種技術,可用於從一系列2D圖像建立環境的3D地圖。它通過分析拍攝圖像的相機的運動並同時確定相機在3D地圖中的位置來運作。


SLAM演算法可用於從無人機或手持相機拍攝的圖像建立3D地圖。它們也可用於從三腳架或建築物或橋上安裝的相機拍攝的圖像建立3D地圖。


SLAM可用於各種應用,例如建立建築物或景觀的3D模型,產生文化遺產應用的3D點雲,或建立虛擬現實或增強現實應用的3D模型。它可以使用各種演算法和軟體包來實現,並且通常需要從同一場景的不同觀點拍攝的一組圖像。


SLAM for robotics
SLAM 最初用作機器人,圖為機器人運用SLAM所畫的迷宮

爭奪戰

​SfM

SLAM

資料來源

SFM 需要 2D 影像作為輸入,僅限於影像中包含的訊息

SLAM 可使用光達、相機或 IMU 等感測器的組合來收集有關環境的資料

輸出資料

場景 3D 模型及正射影像,適合需要更詳細場景 3D 模型應用

可產生正射影像 (Orthophoto)適合需要環境地圖和即時定位的應用。

拼接速度

需要更強大的算力來處理影像資料和產製3D模型,這會導致拼接速度變慢

SLAM技術可以即時運行,允許無人機在環境中移動時不斷更新其位置和方向。這可以帶來更快的拼接速度和更自然流暢的影像。

精準度

可以產生高品質的全景影像,有控制點會更精準

可以產生高品質的全景影像,不考慮加控制點情況下,SLAM算法在追蹤無人機的位置和方向方面往往相對準確,可產生更加無縫和逼真的最終影像


SfM vs SLAM
SfM vs SLAM,圖片來源:https://www.researchgate.net/figure/Similar-pipeline-of-SfM-1-and-SLAM-2-algorithms_fig1_337119004

綜合來說,選擇哪種技術用於影像拼接將取決於決策者的具體要求和環境限制。SFM和SLAM能提供正射影像等強大功能,但SLAM具有一些額外的優勢,使其特別適合某些應用場景中。


1. 即時操作

如前所述,SLAM的主要優點之一是它可以實現即時操作。這意味著無人機在環境中移動時可以不斷更新其位置和方向,從而產生更自然、更流暢的最終圖像。這在動態場景或無人機需要不斷變化的場景中特別有用,例如搜索和救援行動或環境監測。


2. 提高效率

SLAM技術透過自動捕捉和對齊照片的過程,可以大大提高影像拼接的速度。這可以為飛手節省時間和精力,並能夠以最小的努力獲得更大或更複雜的場景。


總之,隨著 SLAM 算法能力的不斷提高,慢慢形成趨勢,它的即時操作和更高的效率對於廣泛應用在影像拼接上,具有相當的吸引力,應用甚至包括機器人導航、AR和無人機航空攝影,可以期待看到該技術在影像拼接領域的應用越來越廣泛。


快速拼圖技術在這些應用中起著至關重要的作用。透過將多張圖影像結合在一起,可以創建一張完整的地圖,並獲得有關環境的更多訊息。例如,在消防應用中,快速拼圖可以幫助消防人員了解火情的情況,並確定最佳的路徑進入火場;在尋找失蹤人員應用中,快速拼圖可以幫助搜救人員了解周圍環境,並推論失蹤人員可能的位置。此外,在調查潛在威脅應用中,快速拼圖可以幫助保安人員了解場所的情況,並確定潛在威脅的位置。


總而言之,無論是消防、協尋失蹤人員,還是調查潛在威脅,快速拼圖技術都在保護和拯救層面上發揮著其重要性。這些快速拼圖應用場景可以提供更多的訊息,協助人員更好地了解周圍環境,進而更有效地執行任務。

 

不知道怎麼做?交給 DataXquad 吧

我們是一個提供影像數據轉換相關服務的資訊團隊,過去在地理資訊以及數據領域擁有 10 年以上的豐富經驗,我們本身不僅僅是開發者,同時也是數據轉換工具與服務的使用者,能夠更快速的理解趨勢與需求。


DataXquad 是一個按量計費的線上影像數據轉換平台,零學習成本,所有程序都能滿足。我們為您簡化了影像數據轉換中最複雜的部份,讓更多數據能夠被應用,讓更多產業能夠從數據中受惠!針對影像拼接我們提供了兩套客製化服務,一種是SFM,另一種是SLAM,各有優缺點,選擇使用哪種技術取決於決策者的具體要求和環境限制。




bottom of page