用 GAN 找回老照片的靈魂色彩
top of page

用 GAN 找回老照片的靈魂色彩


雖然黑白照片富含豐富的歷史資訊,但由於各種規格與畫質等因素而未被充分利用,同時,透過實驗證明,得知顏色、紋理和亮度等光譜特徵有助於提升影像分析,對土地監測的貢獻是眾所皆知的,如果能將黑白影像上色,將是一大貢獻!


傳統的作法

一直到 2010 年中期之間,主要是採用半自動的方式進行上色,最常見的方法有兩種 - 顏色轉移與顏色塗鴉。


顏色轉移是給目標照片一張參照彩色照片,接著由電腦去吸取相似的顏色素質如色彩、光線、質地,然後套用在要上色的黑白照片上。相對的,顏色塗鴉則是直接在目標照片上的各個區域以塗鴉的方式畫上顏色,電腦會判斷顏色的範圍與深淺變化,以進行上色。


data transfer example
顏色轉移範例 (圖片來源 : https://chaphlagical.icu/DIP/index/colorize-sig02.pdf)

color scribble example
顏色塗鴉範例 (圖片來源 : https://slideplayer.com/slide/5079546/)

然而,這兩種方法都需要人工操作的參與,像是顏色轉移需要提供參照影像,而顏色塗鴉需要手動畫出上色的位置,在處理具有大量資料的歷史航測照片上,便顯得不太合適。


使用深度學習的作法

幸運的是,深度學習技術的發展提供了解方。起初,有人提出使用卷積神經網路 (CNN) 的方法,目前的上色技術有一半以上也是使用 CNN 的技術,然而,這種方式主要傾向最小化誤差,反而導致得到飽和度不高甚至是模糊的結果,在有些情況下也不是我們想要的。


GAN

我們使用生成對抗網路 (GAN) 的方式進行自動上色,GAN 由兩項網路構成,分別是生成網路與辨別網路,藉由彼此相互對抗所產生出越來越接近目標的結果。此外,相較於先前需要提供大量訓練資料給 AI 以進行訓練,這項方式可以減少訓練資料量,同時能達到自動化的目的。


CIELAB

CIElab
CIELAB (圖片來源:https://sensing.konicaminolta.asia/what-is-cie-1976-lab-color-space/)

常見用來描述數位影像色彩的方式為 RGB,也就是以光的三原色紅色、綠色、藍色的分配數值來描述每個像素點的顏色,相對的代表我們需要預測三個數值,才能生成灰階影像的色彩,因此,我們使用國際照明委員會 (CIE) 提出的色彩空間 L*a*b* 來進行生成,它是一個 3D 的色彩模型,x 與 y 軸 (a*,b*) 代表色相,z 軸 (L*) 代表亮度,因為灰階照片本身已有亮度 (L*) 資訊,因此我們生成色彩只需要預測兩個數值即可,如此將能提升準確率。


我們研發中的成果

我們不斷的嘗試不同的訓練設定及訓練資料,期望找出最符合航測需求的訓練模型,在經過幾次測試與訓練後,我們已逐漸訓練出比較合適的模型,以下是我們訓練後測試的結果:


GAN colorization

這項技術可以大幅的增加老舊資料的價值,給灰階照片上色,就好像賦予它靈魂一般,應用在航測上,不但可以更容易分辨照片上的內容,例如哪邊是樹林、哪邊是城市等等,更可以做為探究環境變遷與時空發展的重要資料,將給人類帶來非常大的福祉!

 

影像處理、數據轉換,DataXquad 一站滿足所有需求!

DataXquad 是一個按量計費的線上影像數據轉換平台,零學習成本,所有程序都能滿足。我們為您簡化了影像數據轉換中最複雜的部份,讓更多數據能夠被應用,讓更多產業能夠從數據中受惠!





參考資料:

bottom of page