發信人: GzLi (笑梨), 信區: DataMining
標  題: [合集][轉載] Re: 過學習？(轉寄)
發信站: 南京大學小百合站 (Tue Jan  7 11:05:40 2003)

GzLi (笑梨) 于Fri Jan  3 23:15:55 2003)
提到：

【 以下文字轉載自 GzLi 的信箱 】
【 原文由 <GzLi@smth.edu.cn> 所發表 】

來  源: 211.68.16.32

發信人: taopin (rover), 信區: AI       

標  題: Re: 過學習？

發信站: BBS 水木清華站 (Fri Jan  3 21:26:08 2003), 轉信


  舉個例子形象說明一下 過學習 吧。（不一定恰當，但希望你能感知其中的意思）


  有一個待擬合的函數 f(x) = 0 (x是所有自然數)


  現在一共提供了 10 個樣本點，由于存在噪音（測量誤差），樣本點取值如下：

  f(1) = f(3) = f(5) = f(7) = f(9) = -1

  f(2) = f(4) = f(6) = f(8) = f(10) = 1


  如果 學習機器 馬馬乎乎 的去學習，求個平均值，就正好“撞”上了 f(x) 的理論

表達式，即 f(x) = 0


  但如果 學習機器 偏偏要追求完美，為了更準確的匹配這 10 個學習樣本點，就

會搞出一種 會周期性上下 波動的函數，這樣反而過由不及。這就是 過學習。


  當然這里舉的是一個非常簡單的例子，實際學習當中，如果學習機器 太馬虎 了，

也不行，就會造成 欠學習。


【 在 zpustc (Simply Best) 的大作中提到: 】

: 欠學習很好理解,樣本數目不夠,導致學習效果不好.

: 過學習就不好理解了,難道不是樣本越多,可以獲取的

: 信息量越大,學習到的知識的準確率越高嗎?

: 有人遇到過學習的情況嗎?  



GzLi (笑梨) 于Fri Jan  3 23:30:28 2003)
提到：

這個例子比較生動的說明了，overfitting（過擬合、過學習）的現象。
作機器學習的同志值得一看。就轉寄過來了。
overfitting這個問題在學習問題中很普遍，而且也是一個老問題，
咱們正在學習的VC維和其它文獻中進一步論述的fat-shattering dimension
更是描述學習算法性能的，如果學習算法的能力遠遠大于數據內在的復雜
度，就容易產生overfitting。比如剛才這個例子中，如果用一個sinx函數擬合
就是過擬合，而用一個直線就是正確的。

【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Fri Jan  3 23:55:03 2003)
提到：

to be frank, this example is not very good.

什么叫做馬馬虎虎的學習，求個平均值？就這一句話，會讓對機器學習不熟悉的人產生
誤解。認為machine learning is not a principled science, without some ground
theory, but only some conjectures, coincidence, ...

見過的比較好的例子例如：一個可以用二次多項式擬合的點集（有誤差），如果要做到
在訓練集上完全擬合，用高次多項式來做，從而使結果多項式過度復雜，產生
overfitting

【 在 GzLi (笑梨) 的大作中提到: 】
: 【 以下文字轉載自 GzLi 的信箱 】
: 【 原文由 <GzLi@smth.edu.cn> 所發表 】
: 來  源: 211.68.16.32
: 發信人: taopin (rover), 信區: AI       
: 標  題: Re: 過學習？
: 發信站: BBS 水木清華站 (Fri Jan  3 21:26:08 2003), 轉信
: 
:   舉個例子形象說明一下 過學習 吧。（不一定恰當，但希望你能感知其中的意思）
: 
:   有一個待擬合的函數 f(x) = 0 (x是所有自然數)
: 
:   現在一共提供了 10 個樣本點，由于存在噪音（測量誤差），樣本點取值如下：
:   f(1) = f(3) = f(5) = f(7) = f(9) = -1
:   f(2) = f(4) = f(6) = f(8) = f(10) = 1
: 
:   如果 學習機器 馬馬乎乎 的去學習，求個平均值，就正好“撞”上了 f(x) 的理論
: 表達式，即 f(x) = 0
: 
:   但如果 學習機器 偏偏要追求完美，為了更準確的匹配這 10 個學習樣本點，就
: 會搞出一種 會周期性上下 波動的函數，這樣反而過由不及。這就是 過學習。
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 04:23:01 2003)
提到：

and, Burges (many SVM posts in this board, so, assuming Burges is familiar to
ppl here) has an interesting but accurate example.

Excerpts from 'A tutorial on Support Vector Machines for Pattern Recognition',
Data mining and Knowledge Discovery 2, 121-167, 1998. (An excellent tutorial 
for SVMs)

Roughly speaking, for a given learning task, with a given finite amount of 
training data, the best generalization performance will be achieved if the 
right balance is struck between the accuracy attained on that particular 
training set, and the 'capacity' of the machine, that is, the ability of the
machine to learn any training set without error.

A machine with too much capacity is like a botanist with a phtographic memory 
who, when presented with a new tree, concludes that is is not a tree because
it has a different number of leaves from anything she has seen before; a 
machine with too little capacity is like the botanist's lazy brother who 
declares that if it's green, it's a tree.

Excerpts ended. 

So, the botanist herself is overfitting everything, while his brother is rather
under-fitting.

【 在 ihappy (drunken new year) 的大作中提到: 】
: to be frank, this example is not very good.
: 什么叫做馬馬虎虎的學習，求個平均值？就這一句話，會讓對機器學習不熟悉的人產生
: 誤解。認為machine learning is not a principled science, without some ground
: theory, but only some conjectures, coincidence, ...
: 見過的比較好的例子例如：一個可以用二次多項式擬合的點集（有誤差），如果要做到
: 在訓練集上完全擬合，用高次多項式來做，從而使結果多項式過度復雜，產生
: overfitting
: 【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 04:44:56 2003)
提到：

and, that tutorial may not be the best one, but as far as i know, it's the 
best written one. strongly recommended, especially for those without a 
background.

【 在 ihappy (drunken new year) 的大作中提到: 】
: and, Burges (many SVM posts in this board, so, assuming Burges is familiar to
: ppl here) has an interesting but accurate example.
: Excerpts from 'A tutorial on Support Vector Machines for Pattern Recognition',
: Data mining and Knowledge Discovery 2, 121-167, 1998. (An excellent tutorial 
: for SVMs)
: Roughly speaking, for a given learning task, with a given finite amount of 
: training data, the best generalization performance will be achieved if the 
: right balance is struck between the accuracy attained on that particular 
: training set, and the 'capacity' of the machine, that is, the ability of the
: machine to learn any training set without error.
: A machine with too much capacity is like a botanist with a phtographic memory 
: who, when presented with a new tree, concludes that is is not a tree because
: it has a different number of leaves from anything she has seen before; a 
: machine with too little capacity is like the botanist's lazy brother who 
: declares that if it's green, it's a tree.
: Excerpts ended. 
: So, the botanist herself is overfitting everything, while his brother is ra..
: under-fitting.
: 【 在 ihappy (drunken new year) 的大作中提到: 】
: (以下引言省略 ... ...)


helloboy (hello) 于Sat Jan  4 08:28:34 2003)
提到：

過學習就是鉆牛角尖，不從事物的一般性出發思考問題，而是在考慮非常
特殊的情況，研究出來也不通用。
【 在 GzLi (笑梨) 的大作中提到: 】
: 【 以下文字轉載自 GzLi 的信箱 】
: 【 原文由 <GzLi@smth.edu.cn> 所發表 】
: 來  源: 211.68.16.32
: 發信人: taopin (rover), 信區: AI       
: 標  題: Re: 過學習？
: 發信站: BBS 水木清華站 (Fri Jan  3 21:26:08 2003), 轉信
: 
:   舉個例子形象說明一下 過學習 吧。（不一定恰當，但希望你能感知其中的意思）
: 
:   有一個待擬合的函數 f(x) = 0 (x是所有自然數)
: 
:   現在一共提供了 10 個樣本點，由于存在噪音（測量誤差），樣本點取值如下：
:   f(1) = f(3) = f(5) = f(7) = f(9) = -1
:   f(2) = f(4) = f(6) = f(8) = f(10) = 1
: 
:   如果 學習機器 馬馬乎乎 的去學習，求個平均值，就正好“撞”上了 f(x) 的理論
: 表達式，即 f(x) = 0
: 
:   但如果 學習機器 偏偏要追求完美，為了更準確的匹配這 10 個學習樣本點，就
: 會搞出一種 會周期性上下 波動的函數，這樣反而過由不及。這就是 過學習。
: (以下引言省略 ... ...)


GzLi (笑梨) 于Sat Jan  4 10:44:53 2003)
提到：

呵呵，這個例子的確不是很準確，只是網上也沒有人寫過類似的東西
而網友們對overfitting有的也不了解，就有個感性認識。
burges那個例子，我看過，寫的很好。
研究比較多的可能是IEEE fellow A. K. Jain。文章都是1990年前的了。

【 在 ihappy (drunken new year) 的大作中提到: 】
: to be frank, this example is not very good.
: 什么叫做馬馬虎虎的學習，求個平均值？就這一句話，會讓對機器學習不熟悉的人產生
: 誤解。認為machine learning is not a principled science, without some ground
: theory, but only some conjectures, coincidence, ...
: 見過的比較好的例子例如：一個可以用二次多項式擬合的點集（有誤差），如果要做到
: 在訓練集上完全擬合，用高次多項式來做，從而使結果多項式過度復雜，產生
: overfitting
: 【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 13:25:36 2003)
提到：

It's defintely wrong.

In most overfitting cases, it is because that the learner is TOO GENERAL,
compared with the training data. 

【 在 helloboy (hello) 的大作中提到: 】