基于可復(fù)用構(gòu)件思想的ETL架構(gòu)設(shè)計
加入技術(shù)交流群
2.3 銀聯(lián)統(tǒng)計分析系統(tǒng)ETL架構(gòu)設(shè)計
基于可復(fù)用構(gòu)件思想銀聯(lián)統(tǒng)計分析系統(tǒng)ETL架構(gòu)具體包含六個功能模塊(如圖3所示)包括：元數(shù)據(jù)抽取模塊、可重用構(gòu)件選擇和導(dǎo)入模塊、數(shù)據(jù)倉庫架構(gòu)自動維護模塊、ETL過程定義模塊、ETL調(diào)度模塊、ETL構(gòu)件生成模塊。各個模塊的具體功能分工如下：
(1)元數(shù)據(jù)抽取模塊。這個模塊主要完成兩項工作：抽取銀聯(lián)業(yè)務(wù)數(shù)據(jù)和維度數(shù)據(jù)元數(shù)據(jù)，并在此基礎(chǔ)上對系統(tǒng)進行更精確的定義，例如銀聯(lián)各類數(shù)據(jù)源提供的時間周期、銀聯(lián)數(shù)據(jù)倉庫數(shù)據(jù)保留的時間和備份頻率等信息。
(2)可重用構(gòu)件的選擇和導(dǎo)入模塊。在銀聯(lián)統(tǒng)計分析系統(tǒng)的分析和設(shè)計階段，已經(jīng)識別了抽取層、集成轉(zhuǎn)換層等各層有重用價值的構(gòu)件。為了管理和重用這些構(gòu)件，構(gòu)件選擇和導(dǎo)入模塊的功能有兩個：第一，從銀聯(lián)構(gòu)件庫中抽取已經(jīng)封裝的全流水交易數(shù)據(jù)抽取構(gòu)件、集成轉(zhuǎn)換構(gòu)件、KPI轉(zhuǎn)換構(gòu)件、維度類數(shù)據(jù)集成轉(zhuǎn)換構(gòu)件(包括商戶、機構(gòu)、終端、商戶類別、地區(qū)信息五類構(gòu)件)、KPI自動測試類構(gòu)件，將其導(dǎo)入到ETL過程庫，按照ETL架構(gòu)(見圖1)對導(dǎo)人的構(gòu)件分層組織，生成系統(tǒng)的ETL過程框架(如圖4(a)所示)，圖4(a)中的ETL過程鏈中三個JOB節(jié)點分別對應(yīng)ETL架構(gòu)(見圖1)中的抽取層、數(shù)據(jù)集成轉(zhuǎn)換層、特殊處理層，圖4(b)～(d)分別對應(yīng)各導(dǎo)人構(gòu)件(一個JOB節(jié)點代表一個導(dǎo)人構(gòu)件的處理過程)在這三個層次中的組織形式。第二，模塊可根據(jù)新項目銀聯(lián)分公司特殊業(yè)務(wù)規(guī)則和指標口徑配置每個構(gòu)件的處理規(guī)則，將配置信息加入元數(shù)據(jù)庫中。
(3)數(shù)據(jù)倉庫架構(gòu)自動維護模塊。數(shù)據(jù)倉庫架構(gòu)自動維護模塊主要功能是依據(jù)元數(shù)據(jù)庫中的信息，為銀聯(lián)統(tǒng)計分析系統(tǒng)完成數(shù)據(jù)倉庫的創(chuàng)建和初始化工作，完成事實表、維度表創(chuàng)建，完成每個構(gòu)件需要的配置表、中間表和臨時表的建立等工作，而這些原本需要用手工來實現(xiàn)和維護的。
(4)ETL過程定義模塊。在初始框架的基礎(chǔ)上，可通過ETL定義模塊可視化地定義構(gòu)件庫中沒有可重用構(gòu)件的ETL過程，例如手續(xù)費和品牌費抽取、商戶信息抽取(如圖5所示)、終端信息過程等，使整個銀聯(lián)統(tǒng)計分析系統(tǒng)的ETL趨于完善。
(5)ETL調(diào)度模塊。ETL調(diào)度模塊可以根據(jù)系統(tǒng)的調(diào)度設(shè)置，執(zhí)行ETL過程庫中的ETL過程，實現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、加載、換算等工作。
(6)可重用構(gòu)件生成模塊。對于新定義的ETL過程，若可重用價值高，可通過ETL構(gòu)件生成模塊從ETL過程庫中抽取相應(yīng)ETL處理過程包裝成可重用構(gòu)件?？芍赜脴?gòu)件一般包括以下內(nèi)容：ETL處理過程、配置過程說明文檔、相關(guān)表(配置表、中間表和臨時表)的信息、初始化數(shù)據(jù)、特殊規(guī)則配置功能界面，構(gòu)件這些構(gòu)成部分由ETL構(gòu)件生成模塊分別存入到構(gòu)件庫中相關(guān)表中。
3 結(jié) 語
這里介紹了一個基于可復(fù)用構(gòu)件思想的ETL架構(gòu)，以北京銀聯(lián)、江蘇銀聯(lián)、浙江銀聯(lián)等10家省級銀聯(lián)統(tǒng)計分析系統(tǒng)為例，介紹了該架構(gòu)各層構(gòu)件的識別過程，設(shè)計了ETL模塊構(gòu)成以及各模塊主要功能。該架構(gòu)已經(jīng)在10家省級銀聯(lián)分公司的統(tǒng)計分析系統(tǒng)的ETL構(gòu)建中應(yīng)用，實踐表明該架構(gòu)是有效的，它能夠在比較短的時間內(nèi)完成統(tǒng)計分析系統(tǒng)的構(gòu)建，可有效縮短系統(tǒng)的開發(fā)周期，大幅度降低各分公司的時間成本和資金成本，對于推動數(shù)據(jù)倉庫和商業(yè)智能在銀聯(lián)各個省級分公司的應(yīng)用有顯著意義和使用價值。
評論