把東西 P 掉不用再那麼麻煩了,看我們如何使用 GAN 來進行
top of page

把東西 P 掉不用再那麼麻煩了,看我們如何使用 GAN 來進行


「相片中有不想出現的雜物或路人,我們第一直覺就是會想要用修圖軟體把它去掉。」

這個想法已經深植在你我心中,可見去除不必要的雜訊以便呈現重要資訊,對大家來說是多麼重要的事情。


GAN 物件移除成果
GAN 物件移除成果

應用在航測的領域上,我們時常需要將蒐集來的無人機或是衛星照片,拼接成 2D 正射影像或是 3D 模型,以便做後續的應用與分析。而照片中的大小物體像是車輛、行人與動物等等,在有些時候都是非必要的資訊,除了讓畫面過於凌亂之外,也難以顯示其底下的真實狀況像是被遮住的道路標線、建築特徵等等。但是,我們總不能在執行飛行任務蒐集資料時,封鎖整塊任務範圍讓道路淨空,更別說要阻止鳥飛進來了。這時,物件移除就扮演了非常重要的角色。


傳統的作法

物件移除這件事拆解來看,就是將目標區域的物件抹去,再把它填上相似的樣貌,看起來就像是物體從不存在一般。


常見的傳統作法,就是使用修圖軟體,以人工的方式一張一張照片去移除,像是 Photoshop 就是一套非常知名的軟體,網路上常常在講的「P圖」一詞,就是在指「使用 Photoshop 修圖」。然而,這樣的作法看似簡單,卻存在著許多不便利性。

1. 人力成本

操作軟體修圖的技術含量高,並不是人人都可以輕鬆上手的,需要聘請專業的修圖人員,每請一位人員一個月至少需要幾萬元的人力成本。

2. 設備成本

電腦
電腦, Photo by 🇻🇪 Jose G. Ortega Castro 🇲🇽 on Unsplash

修圖需要內有更高階設備的電腦,尤其是處理影像運算相關的零件都要價不斐,一台電腦組裝下來都接近10萬或更高。另外,還需要購置專業的修圖軟體,種種累加起來的成本非常可觀。


3. 效益不高

在預算有限、人力有限的情況下,如果要得到乾淨漂亮的成果,將會相當費時費力,將來要做調整也比較麻煩。而如果要提高效率,則需要聘請更多的專業人員以及購買更多的電腦設備,反倒大幅增加了成本,卻不是隨時都需要這麼多資源的,整體效益非常不值得。


4. 許多場合並不適用

以航測領域為例,每次任務蒐集回來的原始資料都是幾百張的相片,如果使用人工進行處理,將會是一項極具艱難的任務,並不適合。


使用深度學習的作法

深度學習的技術給了更好的解決辦法,就連 Samsung 以及 Google 手機內建的物件移除功能也是用深度學習技術開發的。如同「GAN - 黑白影像自動上色」這篇文章中提到過,GAN 這項技術如何應用在將黑白照片自動上色,GAN 一樣可以應用在物件移除上,藉由人工智慧的應用,讓照片中的物件可以被自動偵測出來並將其區域挖除,之後再用 GAN 的技術去填補照片中的缺口。


經典案例

針對航測影像的物件移除功能,我們與零次方科技合作,已經開發出適合的模型以及自動化的數據管道,同時,具備以下特點。


1. 自動化運行,成本低,效率高

使用我們開發的線上數據轉換平台中的物件移除工具,將原始檔案上傳後,只要等結果出來即可,中間的過程都是自動化進行的,交由深度學習技術自動偵測要移除的物體、移除再用 GAN 填補,無須再花費資源在利用率不高的人力與設備上,效率也將變得更好。


2. 能夠移除的項目豐富

我們訓練的模型至今已經能辨識出高達80種類型的物件,大至車輛、行人、飛機、招牌等,小至身上的眼鏡、小動物像是貓、狗、麻雀等等,都能夠被辨識出來然後移除。


3. 提升解析度的加工

為了讓物件能更精準的被抹去,避免去除到其他範圍,我們提升物件範圍的解析度以銳化物件邊緣。


4. 小物件辨識

我們的模型能夠辨識出照片中非常小範圍的物件並去除,有效避免航拍照片中因為物件太小而辨識不出來的問題。


看看我們的範例:

GAN example
GAN 成果

GAN removal
GAN 成果

深度學習的應用大幅度的增加了便利性,在未來,只需要動動手上傳數據,就可以自動地得到自己想要的資料,更是解決了傳統手工方式的成本效益問題,不僅是應用在航測上,只要有影像中物件移除的需求,都可以使用我們開發出來的 GAN 物件移除工具來處理!

 

影像處理、數據轉換,DataXquad 一站滿足所有需求!

DataXquad 是一個按量計費的線上影像數據轉換平台,零學習成本,所有程序都能滿足。我們為您簡化了影像數據轉換中最複雜的部份,讓更多數據能夠被應用,讓更多產業能夠從數據中受惠!





參考資料:



bottom of page