發(fā)信人: GzLi (笑梨), 信區(qū): DataMining
標(biāo)  題: <統(tǒng)計(jì)學(xué)習(xí)理論本質(zhì)》簡(jiǎn)要
發(fā)信站: 南京大學(xué)小百合站 (Sun Apr 21 00:14:09 2002), 站內(nèi)信件

我導(dǎo)師對(duì)與Svm用于數(shù)據(jù)挖掘很感興趣，所以要我作SVM方面工作，大家也稍微了解
一下吧。
轉(zhuǎn)自pris
有網(wǎng)友要的，目前國(guó)內(nèi)關(guān)于SVM的中文書籍好像只有《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)》  
張學(xué)工翻譯，清華大學(xué)的《模式識(shí)別》和《人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算》里面  
有少量介紹。下面是偶一個(gè)朋友寫的，文檔我上載到FTP上了。一下是第一部分，  
能有個(gè)大概印象。  


基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測(cè)數(shù)據(jù)（樣本）出發(fā)尋找  
規(guī)律，利用這些規(guī)律對(duì)未來數(shù)據(jù)或無法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。迄今為止，關(guān)于機(jī)器學(xué)習(xí)  
還沒有一種被共同接受的理論框架，關(guān)于其實(shí)現(xiàn)方法大致可以分為三種[3]：  
第一種是經(jīng)典的（參數(shù)）統(tǒng)計(jì)估計(jì)方法。包括模式識(shí)別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機(jī)器學(xué)  
習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)。參數(shù)方法正是基于傳統(tǒng)統(tǒng)計(jì)學(xué)的，在這種方  
法中，參數(shù)的相關(guān)形式是已知的，訓(xùn)練樣本用來估計(jì)參數(shù)的值。這種方法有很大的局限  
性，首先，它需要已知樣本分布形式，這需要花費(fèi)很大代價(jià)，還有，傳統(tǒng)統(tǒng)計(jì)學(xué)研究的  
是樣本數(shù)目趨于無窮大時(shí)的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)。但在實(shí)際問題  
中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)卻可能不盡人  
意。  
第二種方法是經(jīng)驗(yàn)非線性方法，如人工神經(jīng)網(wǎng)絡(luò)（ANN）。這種方法利用已知樣本建立非  
線性模型，克服了傳統(tǒng)參數(shù)估計(jì)方法的困難。但是，這種方法缺乏一種統(tǒng)一的數(shù)學(xué)理論  
。  
與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論（Statistical  Learning  Theory或SLT）是一種專門  
研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論。該理論針對(duì)小樣本統(tǒng)計(jì)問題建立了一套新的理  
論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在現(xiàn)有  
有限信息的條件下得到最優(yōu)結(jié)果。V.  Vapnik等人從六、七十年代開始致力于此方面研究  
[1]，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理  
論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開始受到越來越廣泛的重視。  
統(tǒng)計(jì)學(xué)習(xí)理論的一個(gè)核心概念就是VC維(VC  Dimension)概念，它是描述函數(shù)集或?qū)W習(xí)機(jī)  
器的復(fù)雜性或者說是學(xué)習(xí)能力(Capacity  of  the  machine)的一個(gè)重要指標(biāo)，在此概念
基  
礎(chǔ)上發(fā)展出了一系列關(guān)于統(tǒng)計(jì)學(xué)習(xí)的一致性(Consistency)、收斂速度、推廣性能(Gene  
ralization  Performance)等的重要結(jié)論。  
統(tǒng)計(jì)學(xué)習(xí)理論是建立在一套較堅(jiān)實(shí)的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了  
一個(gè)統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問  
題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點(diǎn)問題等）；同時(shí)，這一理論基礎(chǔ)上發(fā)展了  
一種新的通用學(xué)習(xí)方法──支持向量機(jī)（Support  Vector  Machine或SVM），已初步表
現(xiàn)  
出很多優(yōu)于已有方法的性能。一些學(xué)者認(rèn)為，SLT和SVM正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新  
的研究熱點(diǎn)，并將推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)有重大的發(fā)展。  
支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)  
有限的樣本信息在模型的復(fù)雜性(即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy)和學(xué)習(xí)能力  
(即無錯(cuò)誤地識(shí)別任意樣本的能力)之間尋求最佳折衷，以期獲得最好的推廣能力(Gener  
alizatin  Ability)。支持向量機(jī)方法的幾個(gè)主要優(yōu)點(diǎn)有：  
1.  它是專門針對(duì)有限樣本情況的，其目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)  
趨于無窮大時(shí)的最優(yōu)值；  
2.  算法最終將轉(zhuǎn)化成為一個(gè)二次型尋優(yōu)問題，從理論上說，得到的將是全局最優(yōu)點(diǎn)，解  
決了在神經(jīng)網(wǎng)絡(luò)方法中無法避免的局部極值問題；  
3.  算法將實(shí)際問題通過非線性變換轉(zhuǎn)換到高維的特征空間(Feature  Space)，在高維空  
間中構(gòu)造線性判別函數(shù)來實(shí)現(xiàn)原空間中的非線性判別函數(shù)，特殊性質(zhì)能保證機(jī)器有較好  
的推廣能力，同時(shí)它巧妙地解決了維數(shù)問題，其算法復(fù)雜度與樣本維數(shù)無關(guān)；  
在SVM方法中，只要定義不同的內(nèi)積函數(shù)，就可以實(shí)現(xiàn)多項(xiàng)式逼近、貝葉斯分類器、徑向  
基函數(shù)(Radial  Basic  Function或RBF)方法、多層感知器網(wǎng)絡(luò)等許多現(xiàn)有學(xué)習(xí)算法。  
統(tǒng)計(jì)學(xué)習(xí)理論從七十年代末誕生，到九十年代之前都處在初級(jí)研究和理論準(zhǔn)備階段，近  
幾年才逐漸得到重視，其本身也趨向完善，并產(chǎn)生了支持向量機(jī)這一將這種理論付諸實(shí)  
現(xiàn)的有效的機(jī)器學(xué)習(xí)方法。目前，SVM算法在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等  
方面都有應(yīng)用。例如，在模式識(shí)別方面，對(duì)于手寫數(shù)字識(shí)別、語音識(shí)別、人臉圖像識(shí)別  
、文章分類等問題，SVM算法在精度上已經(jīng)超過傳統(tǒng)的學(xué)習(xí)算法或與之不相上下。  
目前，國(guó)際上對(duì)這一理論的討論和進(jìn)一步研究逐漸廣泛，而我國(guó)國(guó)內(nèi)尚未在此領(lǐng)域開展  
研究，因此我們需要及時(shí)學(xué)習(xí)掌握有關(guān)理論，開展有效的研究工作，使我們?cè)谶@一有著  
重要意義的領(lǐng)域中能夠盡快趕上國(guó)際先進(jìn)水平。由于SLT理論和SVM方法尚處在發(fā)展階段  
，很多方面尚不完善，比如：許多理論目前還只有理論上的意義，尚不能在實(shí)際算法中  
實(shí)現(xiàn)；而有關(guān)SVM算法某些理論解釋也并非完美（J.C.Burges在[2]中就曾提到結(jié)構(gòu)風(fēng)險(xiǎn)  
最小原理并不能嚴(yán)格證明SVM為什么有好的推廣能力）；此外，對(duì)于一個(gè)實(shí)際的學(xué)習(xí)機(jī)器  
的VC維的分析尚沒有通用的方法；SVM方法中如何根據(jù)具體問題選擇適當(dāng)?shù)膬?nèi)積函數(shù)也沒  
有理論依據(jù)。因此，在這方面我們可做的事情是很多的。 

--
GzLi如是說：
     Joy and pain are coming and going both
     Be kind to yourself and others.

welcome to DataMining  http://DataMining.bbs.lilybbs.net
welcome to Matlab http://bbs.sjtu.edu.cn/cgi-bin/bbsdoc?board=Matlab

※ 來源:．南京大學(xué)小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.29]