?? 11.txt
字號(hào):
(2) 運(yùn)行在Internet環(huán)境里的分析、決策模型及知識(shí)處理方法會(huì)從一臺(tái)機(jī)器上的集中式
處理。變成在網(wǎng)絡(luò)環(huán)境下的分布、或分布再加上并行的處理方式。這些變化為我們研究分布
式數(shù)據(jù)倉庫、分布式?jīng)Q策處理提供了機(jī)遇。
決策支持系統(tǒng)與Internet兩種技術(shù)的結(jié)合,使更多的用戶能夠容易、透明地通過超級(jí)連
接,從網(wǎng)絡(luò)的一個(gè)點(diǎn)到另一個(gè)點(diǎn),操作文件,方便地訪問信息,從而改變?nèi)藗兊臎Q策方式。
利用Internet的Web用戶可以漫游網(wǎng)絡(luò),確定感興趣的信息并將它們下載;用戶還可以很容
易地用建立報(bào)表以及在網(wǎng)上公布的作法進(jìn)行信息傳遞和交換。
3.11 數(shù)據(jù)挖掘(Data Mining)
數(shù)據(jù)挖掘是從大量的、不完全的、先前不知道的、模糊的、可能有污染的隨機(jī)詳細(xì)數(shù)據(jù)中提
取隱含的、潛在有用的信息和知識(shí)的過程。挖掘的對(duì)象是數(shù)據(jù)庫和數(shù)據(jù)倉庫,其目的是通過
對(duì)數(shù)據(jù)的統(tǒng)計(jì)、分析、綜合、歸納和推理,揭示事件間的相互關(guān)系,預(yù)測未來的發(fā)展趨勢,
起到輔助實(shí)際工作問題求解、支持決策的作用。
建成數(shù)據(jù)倉庫,只是把各種數(shù)據(jù)集中到一起,形成一個(gè)數(shù)據(jù)集合,可利用多維OLAP工具、查
詢和報(bào)表開發(fā)工具等信息存取工具進(jìn)行查詢,產(chǎn)生各種統(tǒng)計(jì)報(bào)表、圖形等,要真正發(fā)揮數(shù)據(jù)
倉庫的決策支持作用,就要對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行廣泛深入的挖掘。數(shù)據(jù)挖掘能夠發(fā)現(xiàn)
OLAP處理過程所不能發(fā)現(xiàn)的更為復(fù)雜的更有洞察力的答案。
數(shù)據(jù)挖掘有多種方法:歸納法、神經(jīng)網(wǎng)絡(luò)、相關(guān)分析、模糊邏輯、統(tǒng)計(jì)分析、遺傳算法、決
策樹方法和可視化技術(shù)等。在解決問題時(shí),可使用以下幾種手段:預(yù)測模型、數(shù)據(jù)庫分析、
鏈元分析和編差檢測。(1) 預(yù)測模型:在OLAP中使用演繹推理,在數(shù)據(jù)挖掘中使用歸納推理
。(2) 數(shù)據(jù)庫分析:把數(shù)據(jù)庫自動(dòng)劃分為聚類(簇)。(3) 鏈元分析:基于對(duì)橫向關(guān)聯(lián)和順
序關(guān)聯(lián)的發(fā)現(xiàn),且對(duì)記錄間聯(lián)接進(jìn)行確證。(4) 偏差檢測:對(duì)記錄不能被歸入到特定格元現(xiàn)
象的偵知和解釋。可以交叉更替使用各種算法以挖掘更多的信息。
使用數(shù)據(jù)倉庫和數(shù)據(jù)挖掘,我們就可以從個(gè)人客戶帳戶( 信用卡、各類儲(chǔ)蓄存單、卡折等
)上發(fā)生的明細(xì)帳了解客戶的收入來源、消費(fèi)愛好及習(xí)慣、收支發(fā)生的頻度等,分析其消費(fèi)
支付行為,對(duì)客戶帳戶進(jìn)行分類,根據(jù)明細(xì)數(shù)據(jù)給客戶計(jì)分,采取措施優(yōu)化客戶服務(wù),如,
給予優(yōu)良客戶消費(fèi)優(yōu)惠折扣以鼓勵(lì)消費(fèi)并吸引潛在客戶。對(duì)于單位帳戶,如廠商,可以通過
了解客戶經(jīng)營的產(chǎn)品結(jié)構(gòu)、行業(yè)性質(zhì)、市場占有率、社會(huì)需求及國家的有關(guān)政策等,分析其
發(fā)展趨勢,確定其資金償還能力、信用等級(jí)等,也可通過對(duì)一些潛在的客戶數(shù)據(jù)分析,拓展
有前途的客戶,最終起到降低成本與風(fēng)險(xiǎn)、提高效益的作用。
對(duì)此已有一些成功的案例,如IBM在對(duì)信用卡欺詐的偵測、目標(biāo)市場和固定資產(chǎn)評(píng)估等的數(shù)
據(jù)庫分析中成功地使用了這些算法和手段。擁有二十億美元資產(chǎn)的Firstar銀行根據(jù)消費(fèi)者
是否有家庭財(cái)產(chǎn)貸款、賒帳卡、存款證或其他儲(chǔ)蓄、投資產(chǎn)品,將他們分成若干組,使用數(shù)
據(jù)挖掘程序預(yù)測什么時(shí)間向每位客戶提供哪種產(chǎn)品。數(shù)據(jù)倉庫、數(shù)據(jù)挖掘構(gòu)成了決策支持系
統(tǒng)(DSS)框架,使DSS進(jìn)入實(shí)用階段,更有效地提高決策支持能力。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘?qū)?銀行管理決策和IT人員提出了更高的要求,傳統(tǒng)的OLAP系統(tǒng)提高效率有限,不具有多大的競
爭優(yōu)勢。IT人員要從OLTP系統(tǒng)中擺脫出來,從事高附加值的工作,管理決策人員需要掌握一
定的計(jì)算機(jī)方面的知識(shí)。
銀行經(jīng)營的最終目的是創(chuàng)造和獲取最大利潤,充分利用已有的數(shù)據(jù)資源,挖掘出其中的信息
黃金,深化和客戶的關(guān)系,發(fā)現(xiàn)潛在的客戶群,搶占市場,將對(duì)降低投資風(fēng)險(xiǎn),避免高風(fēng)險(xiǎn)
投資,提高投資效益起到意想不到的作用。
4 數(shù)據(jù)倉庫系統(tǒng)預(yù)選解決方案
4.1 IBM數(shù)據(jù)倉庫解決方案
IBM早在90年代初期,就投入大量優(yōu)秀技術(shù)人員和資金開始了數(shù)據(jù)倉庫的研究,并啟動(dòng)
了Star-Brust大型科研項(xiàng)目。該項(xiàng)目主要就是為了攻克數(shù)據(jù)倉庫領(lǐng)域的一些技術(shù)難題,例
如優(yōu)化星型連接(Star-join),實(shí)現(xiàn)多維分析。因此,IBM現(xiàn)在發(fā)布的數(shù)據(jù)倉庫產(chǎn)品都是
經(jīng)過反復(fù)推敲和久經(jīng)考驗(yàn)的,真正做到讓用戶買起來放心,用起來舒心。基于對(duì)數(shù)據(jù)倉庫結(jié)
構(gòu)的深刻理解和多年積累的經(jīng)驗(yàn),IBM設(shè)計(jì)了自己的數(shù)據(jù)倉庫結(jié)構(gòu)。它作為一種開發(fā)式結(jié)構(gòu)
,方便了用戶的產(chǎn)品選擇、實(shí)施和今后的擴(kuò)展。
在數(shù)據(jù)抽取階段完成對(duì)各種數(shù)據(jù)源的訪問,數(shù)據(jù)轉(zhuǎn)換階段完成對(duì)數(shù)據(jù)的清洗、匯總和整
合等,數(shù)據(jù)分布階段完成對(duì)結(jié)果數(shù)據(jù)存儲(chǔ)的分配。這三個(gè)階段通常緊密結(jié)合在一起,集成在
一個(gè)產(chǎn)品中實(shí)現(xiàn)。例如,Visual Warehouse、Data Joiner、Data Propagator都跨越了這三
個(gè)階段。其中,Data Joiner和Visual Warehouse可以訪問各種關(guān)系型和非關(guān)系型的數(shù)據(jù),
關(guān)系型數(shù)據(jù)庫主要包括DB2數(shù)據(jù)庫家族、Oracle、Sybase和Informix,非關(guān)系型數(shù)據(jù)有VSAM
。Visual Warehouse還可以進(jìn)行數(shù)據(jù)映射的定義,以定期地抽取、轉(zhuǎn)換分布數(shù)據(jù)。
DataPropagator采用數(shù)據(jù)復(fù)制的方式可避免對(duì)日常業(yè)務(wù)系統(tǒng)事物處理性能的影響。當(dāng)用戶有
特殊需求時(shí),可以通過編程接口編程實(shí)現(xiàn)或選擇第三方廠商(如ETI和Vality Technology)
的產(chǎn)品。
數(shù)據(jù)倉庫的存儲(chǔ)由DB2家族產(chǎn)品來完成,以保證數(shù)據(jù)倉庫始終高性能地運(yùn)轉(zhuǎn),提供完整
、準(zhǔn)確的數(shù)據(jù),以便于將來的升級(jí)和擴(kuò)展。若希望使用多維數(shù)據(jù)庫,則可選用第三方的產(chǎn)品
,例如:Arbor軟件公司、Pilot軟件公司、Planning Sciences軟件公司。如果既想擁有多
維數(shù)據(jù)庫的獨(dú)特功能,又要把數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫中以便管理,則DB2 OLAP Server是
用戶的最佳選擇。
DataGuide通過描述性數(shù)據(jù)幫助用戶查找和理解數(shù)據(jù)倉庫中的數(shù)據(jù)。
其中數(shù)據(jù)的呈現(xiàn)由不同產(chǎn)品完成不同層次的分析要求。其中,Approach可進(jìn)行查詢和統(tǒng)
計(jì)分析,Intelligent Decision Server支持多維分析,Intelligent Miner用于數(shù)據(jù)挖掘。
用戶也可選擇自己喜愛的第三方產(chǎn)品,這些第三方廠商包括:Andyne、Brio、Business
Objects、Cognos、Information Advantage 。
整個(gè)數(shù)據(jù)倉庫的管理工作可交給Visual Warehouse, ADSM是大型磁盤陣列管理的得力助
手,DB2 ECC for TME10可從一點(diǎn)集中管理各種關(guān)系型數(shù)據(jù)( DB2、Oracle、Sybase、
Informix)。
以上各個(gè)階段的結(jié)構(gòu)都是按照IBM Information Warehouse 和IBM Open-Blueprint的
架構(gòu)統(tǒng)一設(shè)計(jì)的,因此相互之間結(jié)合得既緊密又非常開放,只要符合標(biāo)準(zhǔn)的軟件就可結(jié)合在
一起。
最后,為了幫助用戶快速實(shí)施,IBM可由IBM Global Services 或IBM Global-
Solution提供可靠的咨詢服務(wù)。這些服務(wù)也可從廣泛的第三方獲得。因此,在此架構(gòu)下,
IBM提供給用戶的是一個(gè)完整的、靈活的、開放的解決方案。
IBM Visual Warehouse是IBM數(shù)據(jù)倉庫解決方案的重要組成部分,它主要由以下幾部分
功能組成:數(shù)據(jù)訪問;數(shù)據(jù)轉(zhuǎn)換;數(shù)據(jù)分布;數(shù)據(jù)存儲(chǔ);靠元數(shù)據(jù)查找和理解數(shù)據(jù);顯示、分析
和發(fā)掘數(shù)據(jù);數(shù)據(jù)轉(zhuǎn)換過程的自動(dòng)化及其管理。它縮短了復(fù)雜的海量數(shù)據(jù)與有洞察力的商務(wù)
決策之間的差距,有助于公司更進(jìn)一步了解其業(yè)務(wù)、市場、競爭對(duì)手和客戶。
IBM的Visual Warehouse的數(shù)據(jù)源可以是DB2家庭中的任一數(shù)據(jù)庫,也可以是Oracle、
Sybase、Informix、SQL Server數(shù)據(jù)庫和IMS、VSAM文件系統(tǒng);存放數(shù)據(jù)倉庫的數(shù)據(jù)庫可以
是DB2 UDB for Windows NT,OS/2,AIX/600,HP UX,Sun Solaris,SCO,SINIX和DB2/400,DB2
for OS/390;Visual Warehouse 的管理平臺(tái)為Windows NT和 OS/2;而且以上適用的平臺(tái)仍
在不斷地?cái)U(kuò)展。下面,我們將從幾個(gè)用戶關(guān)心的方面來分析一下Visual Warehouse。
(1)元數(shù)據(jù)的存儲(chǔ)(Meta Data)
Visual Warehouse建立在集成的元數(shù)據(jù)的倉庫之上,該元數(shù)據(jù)的倉庫提供了一個(gè)所有管
理和操作功能的中心。數(shù)據(jù)倉庫的模型以元數(shù)據(jù)的形式存儲(chǔ)于該倉庫中,它定義了數(shù)據(jù)倉庫
的結(jié)構(gòu)和內(nèi)容,用于對(duì)數(shù)據(jù)源進(jìn)行抽取、過濾、轉(zhuǎn)換、映射后放入數(shù)據(jù)倉庫。這種元數(shù)據(jù)是
以商業(yè)視圖被定義的,而且商業(yè)視圖可以在多個(gè)數(shù)據(jù)倉庫間輸入和輸出,大大方便了具有相
同結(jié)構(gòu)數(shù)據(jù)倉庫的建造。
(2)數(shù)據(jù)倉庫的規(guī)模化擴(kuò)展
Visual Warehouse很易于擴(kuò)展,單個(gè)數(shù)據(jù)倉庫可支持非常大量的數(shù)據(jù),也可靠簡單地增
加內(nèi)存、處理器升級(jí)和存儲(chǔ)設(shè)備擴(kuò)容來支持更多的升級(jí)和用戶,訪問更多數(shù)據(jù)源。另外,我
們還可以不同的主題同時(shí)實(shí)施多個(gè)部門級(jí)數(shù)據(jù)倉庫,最后再把它們整合到一起形成企業(yè)級(jí)的
數(shù)據(jù)倉庫。
(3)開放的系統(tǒng)環(huán)境
Visual Warehouse提供了一個(gè)真正開往的系統(tǒng)環(huán)境,它不僅提供了數(shù)據(jù)倉庫的所有功能
和組件,而且可以"即插即用"的方式與用戶喜歡的第三方軟件組合,以最少的費(fèi)用快速開發(fā)
出用戶所需的數(shù)據(jù)倉庫。
(4)規(guī)模化的體系結(jié)構(gòu)
Visual Warehouse提供了完整的分布式客戶機(jī)/服務(wù)器環(huán)境,它使得用戶可充分享受到
"網(wǎng)絡(luò)計(jì)算"帶來的便利,而且適用于多種平臺(tái)。它包括四個(gè)組件:管理員、控制數(shù)據(jù)庫、客
戶端管理員、代理。這些組件既可分布于幾個(gè)不同的服務(wù)器,也可都安裝在同一服務(wù)器上。
(5)Visual Warehouse的管理
Visual Warehouse的管理是由其客戶端管理員實(shí)現(xiàn)的,它的管理得以集中于一點(diǎn)。它包
括以下幾點(diǎn):商業(yè)視圖、監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)換過程、定期執(zhí)行、級(jí)聯(lián)式商業(yè)視圖、版本、Visual
Warehouse中的觸發(fā)器、用戶自定義程序,元數(shù)據(jù)等。
(6)高效裝入
除了Windows NT,Visual Warehouse的代理(Agent)現(xiàn)在可以運(yùn)行于AIX和OS/2,這就帶
來了針對(duì)位于這些平臺(tái)上數(shù)據(jù)中心的裝入性能的改善,因?yàn)閿?shù)據(jù)無需再通過Windows NT上的
代理。另外,除了現(xiàn)有的基于SQL的目標(biāo)裝載,Visual Warehouse現(xiàn)在還提供用于文件傳輸
和裝載過程管理的程序。
(7)處理OLAP
Visual Warehouse支持DB2 OLAP Server上一種或多種星型圖表的全部映射或裝載。另
外Visual Warehouse現(xiàn)在也支持指定和創(chuàng)建DB2 OLAP Server以外生成的星型圖表初始化或
引入關(guān)鍵碼。
(8)高端可升級(jí)性選項(xiàng)
現(xiàn)在,Visual Warehouse對(duì)抽取和轉(zhuǎn)變程序具有更完善的支持。Visual Warehouse利用
這種支持給IBM的戰(zhàn)略基礎(chǔ)伙伴提供數(shù)據(jù)加工后的管理:ARBOR軟件公司和ETI。
(9)商務(wù)視圖建模改善
Visual Warehouse圖形查詢編制器得以擴(kuò)展,目前除了支持常用的SQL語句還支持JOIN
和GROUP BY語句,簡化了復(fù)雜的SQL聲明。
Visual Warehouse基于久經(jīng)考驗(yàn)的獨(dú)創(chuàng)技術(shù),可以支持復(fù)雜業(yè)務(wù)分析過程的每一步驟,
同現(xiàn)有應(yīng)用程序環(huán)境集成,轉(zhuǎn)換數(shù)據(jù),自動(dòng)執(zhí)行數(shù)據(jù)倉庫處理,分析數(shù)據(jù),并為決策人員提
供信息。Visual Warehouse是一種簡單易用、經(jīng)濟(jì)有效的數(shù)據(jù)中心和數(shù)據(jù)倉庫產(chǎn)品,可以處
理部門中設(shè)計(jì)、實(shí)現(xiàn)和應(yīng)用方案時(shí)的相應(yīng)任務(wù)。其較低的維護(hù)成本和迅速的實(shí)現(xiàn)過程將使工
作組迅速提高工作效率。
Visual Warehouse提供了完整的Web支持功能,允許從任何Web瀏覽器訪問任何數(shù)據(jù)。因
為Visual Warehouse的信息目錄完全支持Web,用戶可以訪問可用數(shù)據(jù)的詳細(xì)信息,包括格式
、通用性、擁有者和位置。
IBM的Visual Warehouse提供了強(qiáng)有力的工具以定義、建立、管理、監(jiān)控和維護(hù)一個(gè)商用信
息系統(tǒng)環(huán)境……數(shù)據(jù)倉庫。但是,IBM并不滿足于此。為了更好地滿足用戶的需求,IBM設(shè)計(jì)
了一個(gè)完整的解決方案。IBM將Dataguide和Visual Warehouse集成在一起并與Lotus、
Approach和相應(yīng)平臺(tái)上的DB2 UDB打包在一起,作為一個(gè)完整的解決方案提供給用戶。其中
,Dataguide靠商用信息分類表支持商業(yè)需求,幫助用戶查找和理解數(shù)據(jù)倉庫中的商用信息
。Lotus、Approach可幫助用戶分析信息并把它以圖表的方式表示出來。
IBM的Visual Warehouse系列軟件包用于幫助企業(yè)迅速建立、管理和分析數(shù)據(jù)倉庫和數(shù)
?? 快捷鍵說明
復(fù)制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號(hào)
Ctrl + =
減小字號(hào)
Ctrl + -