發信人: GzLi (笑梨), 信區: DataMining
標  題: [轉載] [合集]集成機器學習的討論
發信站: 南京大學小百合站 (Tue Jul  8 11:45:33 2003)

【 以下文字轉載自 AI 討論區 】
【 原文由 miningboy 所發表 】

yinxucheng (yxc) 于Thu Jul  3 16:04:39 2003)

提到：

引子

    本人最近淺讀了一些集成機器學習方面的文章，有一點心得，主要還是一堆問題。希

望大家討論，并指教。

/////////////////////////////////////////////////////////////////////////////


1 什么叫集成學習

    （1）在機器學習領域為“Ensemble Learning”，主要意思是指，“generalization

 performance can often be improved by training not just one predictor, but rat

her using an ensemble, i.e., a collection of a (finite) number of predictors, 

all trained for the same task”[1]。中文意思大概為，“集成學習是用有限個學習器

對同一個問題進行學習，集成在某輸入示例下的輸出由構成集成的各學習器在該示例下的

輸出共同決定，以此來提高系統的推廣能力”[注1]。如果學習器（Learner）為人工神經

網絡的時候，就是Daniel研究的神經網絡集成（Neural Network Ensemble）。

    （2）而在模式識別領域，更多的人愿意稱為“A Multi-Model System”，意思是指，

對于某一個分類問題，針對不同的特征形成多個分類模式，然后對這些模式進行集成，從

而形成最終的分類器。

    （3）我認為上面兩種稱呼都有一定道理，應該是一致的。只是，機器學習中的集成方

法更側重理論上的推導和論證；而模式識別中的多模式方法則注重對于實際系統的可用性

與實用性。它們的最終目標應該是一致的，都為了提高研究對象的推廣能力。


2 兩種不同理論的集成學習

2.1 兩種不同的機器學習[2]

    （1）以貝葉斯理論為基礎的機器學習，主要關注學習的劃分問題，其代表是以BP算法

為核心的神經網絡研究。

    （2）以統計學習理論為基礎的機器學習，主要討論學習的推廣能力，其代表是以SVM

算法為核心的從數據到分布的歸納機理研究。

2.2 兩種不同的集成學習

    同樣，由于以上兩種不同的機器學習的存在，集成學習也分為兩類：基于貝葉斯理論

的集成學習[3]和與統計學習理論有深刻淵源的集成學習（如Boosting和Bootstrap）[4]。


3 幾個相關的問題

    （1）以上兩種集成學習的劃分是否正確？

    （2）現在比較熱門的主要是與統計學習理論有深刻淵源的集成學習，而在很多實際運

用系統中，用的較多而且效果較好的主要還是基于貝葉斯理論的集成學習。那么請問，集

成學習的有效性真正理論基礎是什么？還是人們實際工作的經驗積累（如模式識別中流行

的Multi-Model System）[注2]？

    （3）如果要進行集成機器學習的研究（包括理論研究），哪10篇論文是必須學習與理解的（非常急切）？

    （4）集成學習中那些方向是值得研究的（而且有可能出成果）[注3]？


備注

[注1]

    此處集成學習的中文翻譯根據Daniel等人對于神經網絡集成的中文理解[5]模擬來的。

[注2]

    對于我所從事的和我所觀察到的情況，大部分好的實用模式識別系統都是依據經驗的

Multi-Model Systems。

[注3]

    對于集成機器學習問題，我個人認為有三個比較棘手的問題（值得研究）。

    （1）VC維：單個學習空間的VC維的確定很難有P解決方法，那么集成學習呢？有沒有

存在相反的情況，即在集成學習中VC維的確定存在P方法？

    （2）訓練樣本：很多模式識別的研究者認為，訓練樣本的選擇和排列在實際應用中往

往非常重要，有時甚至超過學習器本身結構的選擇。怎樣針對不同的學習器選擇訓練樣本

是否應該是一個更加普遍的難題？

    （3）學習器：第三個問題當然就是集成學習中各學習器的選擇了。研究者普遍認為，

如果各學習器是異構的，將能夠較好的提高集成機器的推廣能力。怎樣判斷各學習器的差

異？如果學習器是具有差異的，那么在集成中，怎樣保證這些差異是互補的？


Reference 

[1] A. Krogh, P. Sollich, "Statistical mechanics of ensemble learning", Physic

al Review E, 55(1): 811-825, 1997.

[2] 王玨, "機器學習研究", 演講稿, 中國科學院自動化所, 2003.

[3] H. Lappalainen, J. W. Miskin, "Ensemble Learning", Advances in Independent

 Component Analysis (Ed. by Girolami, M), Springer-Verlag Scientific Publisher

s, 2000.

[4] R. E. Schapire, "A Brief Introduction of Boosting", The 16th International

 Joint Conference on Artificial Intelligence, 1999.

[5] 周志華, 陳世福, "神經網絡集成", 計算機學報, 25(1): 1-8, 2002.



daniel (飛翔鳥) 于Thu Jul  3 17:39:13 2003)
提到：

【 在 yinxucheng (yxc) 的大作中提到: 】
: 發信人: yinxucheng (yxc), 信區: AI
: 標  題: 集成機器學習的討論
: 發信站: 南京大學小百合站 (Thu Jul  3 16:04:39 2003)
: 
: 
: 引子
:     本人最近淺讀了一些集成機器學習方面的文章，有一點心得，主要還是一堆問題。希
: 望大家討論，并指教。
: /////////////////////////////////////////////////////////////////////////////
: 

這個帖子有點意思

: 
: 1 什么叫集成學習
:     （1）在機器學習領域為“Ensemble Learning”，主要意思是指，“generalization
:  performance can often be improved by training not just one predictor, but rat
: her using an ensemble, i.e., a collection of a (finite) number of predictors, 
: all trained for the same task”[1]。中文意思大概為，“集成學習是用有限個學習器
: 對同一個問題進行學習，集成在某輸入示例下的輸出由構成集成的各學習器在該示例下的
: 輸出共同決定，以此來提高系統的推廣能力”[注1]。如果學習器（Learner）為人工神經
: 網絡的時候，就是Daniel研究的神經網絡集成（Neural Network Ensemble）。
:     （2）而在模式識別領域，更多的人愿意稱為“A Multi-Model System”，意思是..
: 對于某一個分類問題，針對不同的特征形成多個分類模式，然后對這些模式進行集成，從
: 而形成最終的分類器。
:     （3）我認為上面兩種稱呼都有一定道理，應該是一致的。只是，機器學習中的集..
: 法更側重理論上的推導和論證；而模式識別中的多模式方法則注重對于實際系統的可用性
: 與實用性。它們的最終目標應該是一致的，都為了提高研究對象的推廣能力。

Ensemble Learning現在基本上就叫集成學習。相關的概念有上面說的多模型系統（這
實際上在很大程度上對應了機器學習里面的多專家混合）、Committee Learning、
Modular systems、多分類器系統等等。這些概念相互之間有非常密切的聯系，但仔細
來說還是有些區別。問題是對這些概念的界定，目前并沒有什么共識，有時不同的人在
用不同的術語說同一個東西，也有時是用同一個術語說不同的東西，所以區別也只能是
各說各話了。個人認為，集成學習一個非常重要的性質就是個體學習器是為同一個問題
進行學習，這與分而治之式地把問題分解為若干個子問題，然后再想辦法從個別解求得
整體解是不同的，因為前者導致了學習的難點在于個體學習器差異的獲得，而后者則在
差異上沒有難點（因為個體本來就是解決不同的問題），而在問題分解上很困難。換一