?? 11.txt
字號:
龐大的事實表中,所以只要掃描事實就可以進行查詢,而不必把多個龐大的表聯接起來;同
時由于維表一般都很小,甚至可以放在高速緩存中,與事實表作聯接時其速度較快.另一方
面,對于非計算機專業的用戶而言,星形模型比較直觀,通過分析星形模型,很容易組合出
各種查詢。如通過網點和業務類別兩個維,可分析網點在相同業務類別上的情況,便于各網
點發現各自的優勢,取長補短;又如通過交易方式、客戶和時間三維,可分析不同時間的不
同需求。相應地,可以對不同的客戶提供不同的服務,在不同的時間采取不同的方式。
3.2.2雪花模型
雪花模型是星形模型的擴展,它比星形模型增加了層次結構,體現了維的不同粒度的劃分。
使用雪花模型進一步增加了查詢的范圍,以幫助決定市場開發的策略;也能回答如"某一網
點某個業務類別去年共完成多少,人均完成如何"的問題,以預計下一年不同網點的完成量
,為制訂業務計劃提供依據。以上的例子只有一個事實表,而在實際應用中,往往有若干事
實表,它們分別和各維表相關聯,構成擴展的雪花模型。在有些查詢中可能會用到若干個同
時聯接了相同維表的事實表。
整個數據倉庫是依據模型方法建立的,在創建數據倉庫時需建立下列幾類表:
(1) 系統信息表:用于維護運行及編程所需,如記錄系統時間、數據備份、數據轉儲和
系統數據字典;
(2) 檔案數據表:系統中各對象數據,資金信息、客戶地區、網點信息、系統憑證等;
(3) 原始單據表:記錄原始單據備查;
(4) 數據倉庫數據表:數據倉庫的主題表與維表,如多維數據:包括儲蓄帳戶余額、含
金量、應付利息、現金流入量、現金流出量、現金轉入量、現金轉出量等;
(5) 轉換對照表:用于數據源至數據倉庫轉換中的客戶對照、資金對照等。
3.3環境設計
建立數據倉庫時,需要綜合考慮軟硬件環境,如數據加載性能、查詢性能、建倉規模和用戶
規模。通過數據采集、轉換、綜合和遷移,形成與原有數據庫相分離的、完全獨立的數據倉
庫。數據倉庫需要高性能數據庫管理系統和并行數據庫技術的支持.由于大容量的數據存儲
和迅速查詢的要求,作為數據倉庫的主機系統應有高性能的CPU。良好的I/O接口和大容量的
聯機硬盤及內存,作為快速查詢與分析使用。同時也應配一部分海量外存設備,如光盤陣列
和磁帶機等,作數據轉儲使用。
3.4數據采集、整理與存儲
數據倉庫的數據源來自OLTP中的操作數據,這些數據源都可能有不同的格式,如平臺、標準
和含義。在不同數據源中,甚至同一個源中,有可能出現同一對象的多個實例(如客戶)。
物理點上,他們分布于各地的數十個局域網或幾十臺PC上,且又分屬于不同的操作系統與數
據庫管理系統上。這對數據源的采集帶來了困難,需對各個物理點(各局域網)和邏輯點(
路徑或同一網中異構環境)上抽取,數據按一定的模式進行整理與過濾(同一對象多個實例
),最后轉換成一個數據倉庫接口需要的標準數據源。這些工作在整個數據倉庫建設中占據
相當長的時間。對于數據采集與導入,如果在同構環境下(如同一操作,同一數據庫系統)
,問題就易解決;異構環境下,就需要相應工具進行數據處理。研制開發一套異構操作系統
異構數據庫系統的數據轉換工具,用于數據倉庫的數據導入。這些工具利用了ODBC的技術及
各數據庫系統的結構,實際使用效果較好,解決了數據庫互操作的問題。
在系統的數據傳送與采集方面進行一些專用軟件開發工作,如:
(1) 遠程數據采集模塊:如點對點通信(用于連鎖店)數據傳送程序;外地網點撥號上
網數據傳送程序;外地網點間互聯路由器方式數據傳送程序。
(2) 未轉換數據緩沖表生存模塊:如從遠程或本地采集來的數據,轉入一定格式的未轉
換數據緩沖表。
(3) 完整性檢測模塊:未轉換數據緩沖表對數據進行一定的檢測與整理,如代碼統一化
,過濾同一對象多個實例,使之形成一個數據倉庫所需標準接口數據,模塊涉及的代碼設對
照關系表,最后形成待載入數據倉庫的標準數據表。
(4) 數據載入模塊:主要用于異構環境下數據轉移和數據倉庫的數據載入.具體是從標
準數據表將數據載入數據倉庫中的數據表。
數據源確定與數據載入完成后,下一步就是數據倉庫的數據存儲問題.存儲包含了數據不同
視圖的存放形式,其存儲管理系統,正如前面環境設計所討論的,主要有關系數據庫管理系
統(RDBMS)或多維數據庫管理系統(MDDBMS),目前用RDBMS的較多,MDDBMS表示的數據形
式,易于為數據倉庫用戶理解與使用。
3.5方案
DW、OLAP和DM是作為三種獨立的信息處理技術出現的。DW用于數據的存儲和組織;OLAP集中
于數據的分析;DM則致力于知識的自動發現。它們可以分別應用到信息系統的設計和實現中
,將它們結合起來,利用它們的內在聯系和互補性,充分發揮各自特長,形成銀行決策支持
系統方案:DW+OLAP+DM+WWW=BANK-DSS。
3.6原則及目標
(1) 充分利用現有的信息基礎,包括辦公自動化系統、對公業務處理系統、人事檔案系統等
,特別是"綜合網"的軟、硬件平臺及其產生的大量數據信息。
(2) 采用成熟、先進的技術。當今信息技術發展迅速,新技術、新設備層出不窮,采用先進
可靠的技術,既能保證系統的發展需求,又能保證系統的可靠運行。
(3) 質量高,符合國際、國內有關標準,具有可擴充性。
(4) 方便性,界面友好,便于操作。
(5) 安全性。
3.7邏輯結構
采用客戶/服務器結構。服務器部分是整個系統的數據倉庫,包括事務處理服務器和應用服
務器兩部分,負責整個系統所需信息的收集、匯總、整理、存儲、分析和傳輸。整個OLTP的
CLIENT/SERVER也包含在DSS的服務器部分。工作站部分是DSS的主要部分,供決策者和管理
者使用,它以服務器傳遞的數據為基礎,以中文圖形窗口為界面,以模型、知識為核心和驅
動,提供信息咨詢和決策支持。
3.8系統組成
數據倉庫一般由五個功能部分組成:①數據源的確定與采集;②數據的轉換;③數據的載入
與存儲;④數據的查詢分析;⑤元數據。處理面向決策的數據調取與分析,涉及一些OLAP的
工具的使用,如查詢各類視圖的產生、報表的形成、對有價值的數據挖掘等。元數據(Meta
Dada)是其他四個部分的基礎,是管理數據倉庫的控制參數.元數據和數據倉庫數據一樣
,對數據倉庫開發者非常重要.數據倉庫環境需要在一些元素基礎上的原數據.這些元素數
據從OLTP中選取出來,包括他們的域、有效性、采集規則以及將這些元素數據轉換成數據倉
庫集成視圖的規則.元數據也描述數據倉庫的數據庫,包括控制中央數據庫的數據遷移到相
關數據集市分配規則.有關數據結構、執行和監控數據也可成為元數據.監控數據倉庫過程
(例如選取、加載、使用)的各過程能產生元數據,被用作決定整個環境運行的良好程度.
同樣,用來識別在選取和加載過程中數據質量問題的元數據必須被數據倉庫用戶獲得,從而
他們能夠將這類知識作為決定他們分析精確程序的一項因素.數據倉庫管理者能通過元數據
對數據倉庫進行管理。
系統工作步驟為:①對原始數據進行規范化處理,得到規范數據,建立數據倉庫;②在數據
倉庫的基礎上運行專家系統,得到規則結果;③調用分析模型和知識管理系統,得到分析結
果;④調用市場預測模型和知識系統,得到預測結果;⑤根據原始數據、專家系統、分析預
測結果,生成分析預測報告,并以文字、圖形、報表、圖畫、語音等方式輸出。
3.9實現構架
根據數據庫技術的發展和激烈的市場競爭的需求,我們提出以數據倉庫為基礎、以OLAP和
DM工具為手段的一整套可操作、可實施的DSS解決方案。數據倉庫用于數據的存儲和組織;
OLAP集中于數據的分析數據挖掘和致力于信息的自動發現。將它們結合起來,設計出一種新
的DSS構架,如圖1所示。這種構架有兩個主要特點:
(1) 以MIS系統和數據庫中的大量數據為基礎,系統由數據驅動
* 在底層的數據庫中保存大量的事務級數據。這些數據是整個DSS系統的數據源。
* 數據倉庫對底層數據庫中的事務級數據進行集成、轉換和綜合,重新組織成面向全局
的數據視圖,為DSS提供數據存儲和組織的基礎。
* 在線分析從數據倉庫中的集成數據出發,構建面向分析的多維數據模型,再使用多維
分析方法從多個不同的視角對多維數據進行分析、比較。分析活動從方法驅動轉向數據驅動
,把分析方法和數據結構分離以適應數據多變的需求。
* 數據挖掘以數據倉庫和多維數據庫中的大量數據為基礎,自動地發現數據中的潛在模
式,并以這些模式為基礎自動做出預測。數據挖掘表明,知識就隱藏在日常積累下來的大量
數據之中,而僅靠復雜的算法和推理并不能發現知識,數據才是知識的真正源泉。
圖1 基于數據倉庫的BANK-DSS構架
(2) 完整統一的DSS解決方案
在傳統的DSS中,數據庫、模型庫和知識庫往往被獨立地設計和實現,因而缺乏內在的
統一性。而數據倉庫、聯機分析和數據挖掘組成的新的DSS構架對這種不統一問題給出了令
人滿意的回答。
* 數據倉庫解決了DSS數據庫內數據的不一致問題。建立在數據倉庫上的DSS數據庫可以
為用戶的數據訪問提供統一的全局數據視圖。
* 多維數據模型和OLAP為用戶提供了一個帶有普遍性的數據分析模型。各種分析方法和
工具可以有效地互操作。
* 以數據倉庫和多維數據庫為基礎的數據挖掘可為決策提供全局性的知識,這些知識可
以為所有的應用共享。
* 由于內存的統一性,這種新結構能很好地解決相互間的銜接問題。
數據倉庫為OLAP提供了充分可靠的數據基礎,數據挖掘可以從數據倉庫和多維數據庫中找到
所需的數據,數據挖掘中發現的知識可以直接用于指導OLAP的分析處理,而OLAP分析得出的
新知識也可以補充到系統的知識庫中。
3.10利用Internet/Intranet進行決策支持
作為信息傳播的載體Internet,隨著能夠聯入Internet的人數逐漸增多,日益變成人們
熟知的全球范圍網(WWW),大大豐富了Internet的信息資源。九十年代,企業網已經成為連
接企、事業內部各部門與外界交流信息的重要基礎設施。在市場經濟和信息社會中,企業網
對增強企業的綜合競爭能力有著重要的作用。
Internet特別是Intranet的出現,對決策支持系統的研究與開發提出了許多極富挑戰性
的問題。新的基于Internet的決策支持擴大了可利用信息的范圍。當一個企業網是建立在
Intranet上時,就分析與決策而言,至少在以下兩點上會發生很大變化;
(1) 分析、決策用的數據不再集中于某一場地,而是分散到網絡上的不同地區、部門。
?? 快捷鍵說明
復制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -