發(fā)信人: GzLi (笑梨), 信區(qū): DataMining
標(biāo)  題: 數(shù)據(jù)挖掘與統(tǒng)計學(xué)（ZZ)
發(fā)信站: 南京大學(xué)小百合站 (Tue Jul  2 01:13:08 2002), 站內(nèi)信件

統(tǒng)計學(xué)和數(shù)據(jù)挖掘：交叉學(xué)科（zz）
統(tǒng)計學(xué)和數(shù)據(jù)挖掘：交叉學(xué)科 （www.itpub.net） 數(shù)據(jù)倉庫板
摘要：統(tǒng)計學(xué)和數(shù)據(jù)挖掘有很多共同點，但與此同時它們也有很多差異。本文討論了
兩門學(xué)科的性質(zhì)，重點論述它們的異同。 
關(guān)鍵詞：統(tǒng)計學(xué) 知識發(fā)現(xiàn) 
1． 簡介 
統(tǒng)計學(xué)和數(shù)據(jù)挖掘有著共同的目標(biāo)：發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)。事實上，由于它們的目標(biāo)相
似，一些人（尤其是統(tǒng)計學(xué)家）認(rèn)為數(shù)據(jù)挖掘是統(tǒng)計學(xué)的分支。這是一個不切合實際
的看法。因為數(shù)據(jù)挖掘還應(yīng)用了其它領(lǐng)域的思想、工具和方法，尤其是計算機(jī)學(xué)科，
例如數(shù)據(jù)庫技術(shù)和機(jī)器學(xué)習(xí)，而且它所關(guān)注的某些領(lǐng)域和統(tǒng)計學(xué)家所關(guān)注的有很大不
同。 

統(tǒng)計學(xué)和數(shù)據(jù)挖掘研究目標(biāo)的重迭自然導(dǎo)致了迷惑。事實上，有時候還導(dǎo)致了反感。
統(tǒng)計學(xué)有著正統(tǒng)的理論基礎(chǔ)（尤其是經(jīng)過本世紀(jì)的發(fā)展），而現(xiàn)在又出現(xiàn)了一個新的
學(xué)科，有新的主人，而且聲稱要解決統(tǒng)計學(xué)家們以前認(rèn)為是他們領(lǐng)域的問題。這必然
會引起關(guān)注。更多的是因為這門新學(xué)科有著一個吸引人的名字，勢必會引發(fā)大家的興
趣和好奇。把“數(shù)據(jù)挖掘”這個術(shù)語所潛在的承諾和“統(tǒng)計學(xué)”作比較的話，統(tǒng)計的
最初含義是“陳述事實”，以及找出枯燥的大量數(shù)據(jù)背后的有意義的信息。當(dāng)然，統(tǒng)
計學(xué)的現(xiàn)代的含義已經(jīng)有很大不同的事實。而且，這門新學(xué)科同商業(yè)有特殊的關(guān)聯(lián)（
盡管它還有科學(xué)及其它方面的應(yīng)用）。 
本文的目的是逐個考察這兩門學(xué)科的性質(zhì)，區(qū)分它們的異同，并關(guān)注與數(shù)據(jù)挖掘相關(guān)
聯(lián)的一些難題。首先，我們注意到“數(shù)據(jù)挖掘”對統(tǒng)計學(xué)家來說并不陌生。例如，Everitt
定義它為：“僅僅是考察大量的數(shù)據(jù)驅(qū)動的模型，從中發(fā)現(xiàn)最適合的”。統(tǒng)計學(xué)家因
而會忽略對數(shù)據(jù)進(jìn)行特別的分析，因為他們知道太細(xì)致的研究卻難以發(fā)現(xiàn)明顯的結(jié)構(gòu)
。盡管如此，事實上大量的數(shù)據(jù)可能包含不可預(yù)測的但很有價值的結(jié)構(gòu)。而這恰恰引
起了注意，也是當(dāng)前數(shù)據(jù)挖掘的任務(wù)。 
2． 統(tǒng)計學(xué)的性質(zhì) 
試圖為統(tǒng)計學(xué)下一個太寬泛的定義是沒有意義的。盡管可能做到，但會引來很多異議
。相反，我要關(guān)注統(tǒng)計學(xué)不同于數(shù)據(jù)挖掘的特性。 
差異之一同上節(jié)中最后一段提到的相關(guān)，即統(tǒng)計學(xué)是一門比較保守的學(xué)科，目前有一
種趨勢是越來越精確。當(dāng)然，這本身并不是壞事，只有越精確才能避免錯誤，發(fā)現(xiàn)真
理。但是如果過度的話則是有害的。這個保守的觀點源于統(tǒng)計學(xué)是數(shù)學(xué)的分支這樣一
個看法，我是不同意這個觀點的（參見【15】，【9】，【14】，【2】，【3】）盡
管統(tǒng)計學(xué)確實以數(shù)學(xué)為基礎(chǔ)（正如物理和工程也以數(shù)學(xué)為基礎(chǔ)，但沒有被認(rèn)為是數(shù)學(xué)
的分支），但它同其它學(xué)科還有緊密的聯(lián)系。 
數(shù)學(xué)背景和追求精確加強(qiáng)了這樣一個趨勢：在采用一個方法之前先要證明，而不是象
計算機(jī)科學(xué)和機(jī)器學(xué)習(xí)那樣注重經(jīng)驗。這就意味著有時候和統(tǒng)計學(xué)家關(guān)注同一問題的
其它領(lǐng)域的研究者提出一個很明顯有用的方法，但它卻不能被證明（或還不能被證明
）。統(tǒng)計雜志傾向于發(fā)表經(jīng)過數(shù)學(xué)證明的方法而不是一些特殊方法。數(shù)據(jù)挖掘作為幾
門學(xué)科的綜合，已經(jīng)從機(jī)器學(xué)習(xí)那里繼承了實驗的態(tài)度。這并不意味著數(shù)據(jù)挖掘工作
者不注重精確，而只是說明如果方法不能產(chǎn)生結(jié)果的話就會被放棄。 
正是統(tǒng)計文獻(xiàn)顯示了（或夸大了）統(tǒng)計的數(shù)學(xué)精確性。同時還顯示了其對推理的側(cè)重
。盡管統(tǒng)計學(xué)的一些分支也側(cè)重于描述，但是瀏覽一下統(tǒng)計論文的話就會發(fā)現(xiàn)這些文
獻(xiàn)的核心問題就是在觀察了樣本的情況下如何去推斷總體。當(dāng)然這也常常是數(shù)據(jù)挖掘
所關(guān)注的。下面我們會提到數(shù)據(jù)挖掘的一個特定屬性就是要處理的是一個大數(shù)據(jù)集。
這就意味著，由于可行性的原因，我們常常得到的只是一個樣本，但是需要描述樣本
取自的那個大數(shù)據(jù)集。然而，數(shù)據(jù)挖掘問題常常可以得到數(shù)據(jù)總體，例如關(guān)于一個公
司的所有職工數(shù)據(jù)，數(shù)據(jù)庫中的所有客戶資料，去年的所有業(yè)務(wù)。在這種情形下，推
斷就沒有價值了（例如，年度業(yè)務(wù)的平均值），因為觀測到的值也就是估計參數(shù)。這
就意味著，建立的統(tǒng)計模型可能會利用一系列概率表述（例如，一些參數(shù)接近于0，
則會從模型中剔除掉），但當(dāng)總體數(shù)據(jù)可以獲得的話，在數(shù)據(jù)挖掘中則變得毫無意義
。在這里，我們可以很方便的應(yīng)用評估函數(shù)：針對數(shù)據(jù)的足夠的表述。事實是，常常
所關(guān)注的是模型是否合適而不是它的可行性，在很多情形下，使得模型的發(fā)現(xiàn)很容易
。例如，在尋找規(guī)則時常常會利用吻合度的單純特性（例如，應(yīng)用分支定理）。但當(dāng)
我們應(yīng)用概率陳述時則不會得到這些特性。 
統(tǒng)計學(xué)和數(shù)據(jù)挖掘部分交迭的第三個特性是在現(xiàn)代統(tǒng)計學(xué)中起核心作用的“模型”。
或許“模型”這個術(shù)語更多的含義是變化。一方面，統(tǒng)計學(xué)模型是基于分析變量間的
聯(lián)系，但另一方面這些模型關(guān)于數(shù)據(jù)的總體描述確實沒有道理的。關(guān)于信用卡業(yè)務(wù)的
回歸模型可能會把收入作為一個獨立的變量，因為一般認(rèn)為高收入會導(dǎo)致大的業(yè)務(wù)。
這可能是一個理論模型（盡管基于一個不牢靠的理論）。與此相反，只需在一些可能
具有解釋意義的變量基礎(chǔ)上進(jìn)行逐步的搜索，從而獲得一個有很大預(yù)測價值的模型，
盡管不能作出合理的解釋。（通過數(shù)據(jù)挖掘去發(fā)現(xiàn)一個模型的時候，常常關(guān)注的就是
后者）。 
還有其它方法可以區(qū)分統(tǒng)計模型，但在這里我將不作探討。對此可參見【10】。這里
我想關(guān)注的是，現(xiàn)代統(tǒng)計學(xué)是以模型為主的。而計算，模型選擇條件是次要的，只是
如何建立一個好的模型。但在數(shù)據(jù)挖掘中，卻不完全是如此。在數(shù)據(jù)挖掘中，準(zhǔn)則起
了核心的作用。（當(dāng)然在統(tǒng)計學(xué)中有一些以準(zhǔn)則為中心的獨立的特例。Gifi的關(guān)于學(xué)
校的非線性多變量分析就是其中之一。例如，Gifi說，在本書中我們持這樣的觀點，
給定一些最常用的MVA（多變量分析）問題，既可以從模型出發(fā)也可以技術(shù)出發(fā)。正
如我們已經(jīng)在1.1節(jié)所看到的基于模型的經(jīng)典的多變量統(tǒng)計分析，……然而，在很多
情形下，模型的選擇并不都是顯而易見的，選擇一個合適的模型是不可能的，最合適
的計算方法也是不可行的。在這種情形下，我們從另外一個角度出發(fā)，應(yīng)用設(shè)計的一
系列技術(shù)來回答MVA問題，暫不考慮模型和最優(yōu)判別的選擇。 
相對于統(tǒng)計學(xué)而言，準(zhǔn)則在數(shù)據(jù)挖掘中起著更為核心的作用并不奇怪，數(shù)據(jù)挖掘所繼
承的學(xué)科如計算機(jī)科學(xué)及相關(guān)學(xué)科也是如此。數(shù)據(jù)集的規(guī)模常常意味著傳統(tǒng)的統(tǒng)計學(xué)
準(zhǔn)則不適合數(shù)據(jù)挖掘問題，不得不重新設(shè)計。部分地，當(dāng)數(shù)據(jù)點被逐一應(yīng)用以更新估
計量，適應(yīng)性和連續(xù)性的準(zhǔn)則常常是必須的。盡管一些統(tǒng)計學(xué)的準(zhǔn)則已經(jīng)得到發(fā)展，
但更多的應(yīng)用是機(jī)器學(xué)習(xí)。（正如“學(xué)習(xí)”所示的那樣） 
很多情況下，數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價值的信息。這說明數(shù)據(jù)
挖掘過程本質(zhì)上是實驗性的。這和確定性的分析是不同的。（實際上，一個人是不能
完全確定一個理論的，只能提供證據(jù)和不確定的證據(jù)。）確定性分析著眼于最適合的
模型－建立一個推薦模型，這個模型也許不能很好的解釋觀測到的數(shù)據(jù)。很多，或許
是大部分統(tǒng)計分析提出的是確定性的分析。然而，實驗性的數(shù)據(jù)分析對于統(tǒng)計學(xué)并不
是新生事務(wù)，或許這是統(tǒng)計學(xué)家應(yīng)該考慮作為統(tǒng)計學(xué)的另一個基石，而這已經(jīng)是數(shù)據(jù)
挖掘的基石。所有這些都是正確的，但事實上，數(shù)據(jù)挖掘所遇到的數(shù)據(jù)集按統(tǒng)計標(biāo)準(zhǔn)
來看都是巨大的。在這種情況下，統(tǒng)計工具可能會失效：百萬個偶然因素可能就會使
其失效。（【11】中包含例子） 
如果數(shù)據(jù)挖掘的主要目的是發(fā)現(xiàn)，那它就不關(guān)心統(tǒng)計學(xué)領(lǐng)域中的在回答一個特定的問