發信人: GzLi (笑梨), 信區: DataMining
標  題: Re: 今天開始第三、四節的學習吧
發信站: 南京大學小百合站 (Sun Dec 29 00:52:46 2002)

總算把這一節看完了。幾個概念很重要。我總結一下，大家請幫忙看看寫的對否？

歸納偏置、PAC模型、VC維、出錯模型都是描述學習算法的概念。
它們互相關系密切，但是也有區別。
1.歸納偏置指算法的最小斷言集合，表現在概念學習算法中的假設空間的歸納偏置
    和決策樹中的搜索策略的歸納偏置。是一個定性指標，一般來說偏置越強，
    算法越簡單、特別。
 PAC模型是指算法在假設空間中達到目標概念的可能性。是一個量化的指標。
 VC維是指算法的打散能力，量化指標，VC維越高，算法越強。
 出錯界限模型是指學習器收斂到正確假設前的總出錯數。可量化，以最優出錯界限
    做指標。
2.歸納偏置強，VC維要低最優，最優出錯界限要低，在PAC框架下，容易達到
3.覺得本章研究這幾個概念，中心在于樣本復雜度的計算。
  PAC模型下研究的結果好像不如在VC維中研究來的更有效果，因為結果更緊湊，更
  富實用性，而且研究范圍VC維來的廣泛。
4.關于VC維，我看過SVM（支持向量機）有關的材料，SVM是在VC維基礎上做的，所以
  這個概念很重要，據我所知，VC維還是很理論化，有很多算法的VC維不能有效計算，
  比如后向傳播算法的多層感知器網絡，本書也論述了，很多地方計算不出，只能近似。
  我師兄在1.11日我們數據挖掘討論中，也會講到，決策樹的VC維理論計算值，不如
  經驗值來的有用，范圍還是太大。

先寫這些，錯誤之處，歡迎批評指正。

【 在 GzLi (笑梨) 的大作中提到: 】
: Inductive bias, （ch. 2 )
: PAC learning, VC dimension, Mistake bounds (ch.7)
: please read last part of ch2.ps and  ch7.ps.
: 我看了一下書發現這幾個概念很重要，而且是相關的，所以我想放到一個里面
: 學習，好好討論幾天。


--
              ***  端莊厚重 謙卑含容 事有歸著 心存濟物  ***
數據挖掘  http://DataMining@bbs.nju.edu.cn/

※ 來源:．南京大學小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]