發(fā)信人: GzLi (笑梨), 信區(qū): DataMining
標(biāo)  題: [合集]做過boosting的高手請進(jìn)
發(fā)信站: 南京大學(xué)小百合站 (Tue Oct 29 18:48:18 2002), 站內(nèi)信件

jeff814 (mimi) 于Thu Oct 24 09:15:51 2002)
提到：

幾個問題（在//后面）


AdaBoosting算法如下：

n輸入:(X1,Y1), (X2,Y2),…(Xn,Yn) 

              Xi∈X, Yi∈Y={+1,-1} 

    初始化:D1(i)=1/n   

nFor t=1,…,T 

n在Dt下訓(xùn)練,   //(指該輪的訓(xùn)練集的得到，是按每個樣本的權(quán)重從最初給定的集合中按

概率抽取，對吧？)

n得到弱的假設(shè)ht: X->{-1,+1}, 

   錯誤率:Εt=ΣDt(i)  [ht(Xi)≠Yi]   //是按第一輪的訓(xùn)練集合來算的呢，還是按本

輪的集合來算的？

n選擇αt=1/2 ln ( (1- Εt)/ Εt ), 

n更改權(quán)值: 

     if ht(Xi)≠Yi , Dt+1(i)=Dt(i)* e αt /Zt 

        if ht(Xi)=Yi  , Dt+1(i)=Dt(i)* e -αt /Zt 

n輸出:H(X)=sign( ∑ αtht(X) )    )   //最終的假設(shè)是多輪獨立假設(shè)的加權(quán)。這里因

為Y={+1,-1}，所以實際上是取權(quán)重最大的假設(shè)作為最后輸出。也就是說，一般的形式應(yīng)該

是“加權(quán)”，“取最大”只是其中的特殊情況而已，對嗎？

附：權(quán)重——輪數(shù)

10.273     第一輪

9.262        二

4.793

4.612

5.599

3.032

0.414

2.742

1.595

1.604

//這樣的結(jié)果合理嗎？


Thanks


zoutao814@sina.com



strawman (獨上江樓思渺然) 于Thu Oct 24 09:32:01 2002提到：

如果錯誤率大于1/2你怎么辦？好像算法中沒有考慮吧。
                                
                                


strawman (獨上江樓思渺然) 于Thu Oct 24 17:34:18 2002提到：

adaboost算法有不同的版本，我知道的就有用于分類的和用于回歸估計的。算法的思想都
是一樣的，但是具體操作起來還是有些問題需要注意。
譬如說，訓(xùn)練錯誤率，有可能錯誤率大于0.5的，這樣的component要拋棄，還有可能錯誤
率等于0的，這樣的component的權(quán)趨于無窮大。還有，就是隨著訓(xùn)練輪數(shù)的增加，有些例
子的權(quán)值變得很大，這些例子就是那些難學(xué)習(xí)的例子；有些例子權(quán)值變得很小，這些例子
容易學(xué)習(xí)。這樣在正規(guī)化的時候，就有可能造成浮點數(shù)溢出。
這些都是應(yīng)該在程序中考慮到的。