3分鐘快速了解:甚麼是「數據轉換」
top of page

3分鐘快速了解:甚麼是「數據轉換」


在這個數據爆炸的年代,擁有數據驅動的概念至關重要,相較於憑著直覺做決策,有數據的佐證反而能大幅提升準確度並降低風險。而如何在數據洪流中獲取有價值的洞察,「數據轉換」就扮演著關鍵性的角色了。


DIKW 金字塔

DIKW
DIKW

從知識管理學的角度來看,DIKW 金字塔告訴我們數據型態的四個層次,分別是數據 (Data)、資訊 (Information)、知識 (Knowledge)、智慧 (Wisdom),大家常常在談的「如何從數據中獲取洞察?」就是將數據從 Data > Wisdom 的過程,每一個階段的轉變,都有其重要意義。


  • 數據 (Data):原始資料的集合,泛指各類事實、數字或信號。

  • 資訊 (Information):經過清理錯誤、篩選、整理而成為更容易被測量、分析、視覺化的數據。

  • 知識 (Knowledge):一種特定的方式或框架,能夠串聯不同的資訊,讓我們知道「如何」做決策。

  • 智慧 (Wisdom):將知識付諸於行動,並不停經過反證與回饋而積累。


綜觀整個過程中,每一個階段除了將數據的形式改變之外,更重要的是增加了價值,而這也是「數據轉換」的精隨,藉由數據轉換,讓原始資料能夠成為高價值情報,進而串聯成「知識」讓決策者了解如何付諸行動,而成為「智慧」!


數據轉換,就是將原始資料蛻變成高價值情報的過程

數據有限,價值無窮

沒有一個數據集能夠滿足所有的需求,又或者說,不同的數據集間也可以相互蛻變成滿足不同需求的價值情報,而這也是數據轉換的延伸意義,經由數據轉換,讓數據對您有價值!


因此,從數據蒐集到最終產出情報的數據轉換過程中,會經過各種不同的程序,像是基本的資料整理、分割、篩選、剔除等等到資料格式的轉變、視覺化,甚至是加入 AI 賦能做分析,根據不同的需求,會有不同的程序套用在數據上,這個過程叫做數據管道 (Data pipeline)。


數據管道 (Data Pipeline)

正如其名,數據管道引義自水管 (Pipeline),簡單來看,就是蒐集、轉換、輸出的流程。以水資源過濾為例,湖泊、河流、水庫等蒐集了各個來源的水 (蒐集),之後進行各個程序像是加氯、沉澱、過濾泥沙 (轉換),而成為初步的水資源 (輸出)。接著,再根據不同的用途像是農業、工業、民生、飲用水等等,流向不同的地方做其他程序 像是酸鹼值調整、水質調整等,又會延伸出更多不同的管道。


Pipeline
水管示意圖,圖片來源: https://medium.com/@saeed.zareian/a-real-data-pipeline-manifest-9da0e23bbde8

Data Pipeline
數據管道,圖片來源: http://www.pybloggers.com/2017/01/what-is-data-engineering/

而數據就像水一樣,在系統中流動,同樣經過蒐集、轉換、輸出的過程,藉由不同的管道設計,讓數據流向我們希望他去的地方,做相對應的程序,最後變成我們要的情報流出來。


影像數據轉換

影像雖然是非結構性資料,但其用途無窮,尤其在當今 AI 技術日趨成熟的背景之下,透過數據轉換能夠大幅增加影像的價值,像是將 2D 照片轉換成 3D 模型、或是將影像加入地理相關資訊可以呈現在地圖上、甚至是加入電腦視覺的技術,用 AI 做影像分析等等,都是影像數據轉換的應用場景。


然而,進行影像數據轉換的成本太高,包含了技術門檻、設備成本、人力成本、時間成本,讓這件事僅能交由少部分的人進行,讓數據的價值未能被充分利用,減少了很多可能性。


DataXquad 是一個按量計費的線上影像數據轉換平台,零學習成本,所有程序都能滿足。我們為您簡化了影像數據轉換中最複雜的部份,讓更多數據能夠被應用,讓更多產業能夠從數據中受惠!





參考資料:



bottom of page