發信人: strawman (獨上江樓思渺然), 信區: DataMining
標  題: [合集]VC維，到底怎么理解
發信站: 南京大學小百合站 (Sun Apr 13 11:46:15 2003)

bjxue (南方小孩) 于Fri Apr 11 09:49:34 2003)
提到：

在看《統計學習理論的本質》時，一直在想VC維是怎么回事，


他說什么打散的最大的h


那么打散是怎么理解的呢？



tau (Andy) 于Fri Apr 11 09:56:26 2003)
提到：

我個人理解：
跟插值中的龍格庫塔現象有點像
VC維越大約容易出現這種現象
即在訓練點處滿足但是其他點處不滿足



ihappy (如是我聞) 于Fri Apr 11 10:08:14 2003)
提到：

比如我們研究的對象是二維空間中的點,假設空間(hypothesis space)是所有二維空間的
直線.

那么當三個點可以組成一個三角形時(即,不在一直線上),無論怎么給這三個點分類,都可以
找到一條直線,使得這三個點被其正確分類.(三個點一共可以有8種情況)

但是不存在四個點,其任何分類組合都可以通過直線實現.

所以說,在二維空間里,3個點是可以被shatter的,而4個點不可以.

所以直線(二維空間的線性分類器)的vc維是3.



bjxue (南方小孩) 于Fri Apr 11 11:10:40 2003)
提到：

是不是說在平面上可以被直線打散的點的個數？3就是VC維（假設空間維二維空間的直線）



strawman (獨上江樓思渺然) 于Fri Apr 11 11:22:02 2003)
提到：

                                       是最大個數吧。


minus (qq) 于Fri Apr 11 11:23:53 2003)
提到：

是說能夠被完全分開的最大個數吧

不過很多空間的VC維計算&估計還是不大明白的，哪位給解釋一下



bjxue (南方小孩) 于Fri Apr 11 12:05:49 2003)
提到：

是的，是最大的個數！～

那位能夠更加清楚的解釋一下

VC維的sin(x)的情況呢？



minus (qq) 于Fri Apr 11 12:25:05 2003)
提到：

這個好像是說無論多少個點，只要選擇合適的參數，正弦函數都能夠將其
完全分開，所以說該函數空間的VC維為無窮大



strawman (獨上江樓思渺然) 于Fri Apr 11 14:57:46 2003)
提到：

啊？你沒問清楚啊。
sin(x)只是一個函數啊，一個hypothesis。VC維是針對hypothesis space來說的吧。



fpzh (fpzh) 于Fri Apr 11 15:27:54 2003)
提到：

是不是這樣的：

假設有一組實數樣本{x,y}，y取值在[0,1]之間，那么不論樣本是依據什么模型產生的，
只要用函數f(x,a)=sin(ax)去擬和它們（a是待定參數），總能夠找到一個a是訓練誤差
為0。（張學工，關于統計學習理論于支持向量機，自動化學報，2000年第一期）

我也一直搞不清這是為什么？

我的理解是，對于{xi,yi}，存在一個a，使得sin(a*xi)=yi，那這樣a*xi=arcsin(yi)+
ki*PI，這樣的a能找到嗎



nope (etadpu) 于Fri Apr 11 15:30:50 2003)
提到：

是分2類ba



bjxue (南方小孩) 于Fri Apr 11 17:46:03 2003)
提到：

那么在統計學習理論中哪個hypothesis space又是怎么回事呢？




minus (qq) 于Fri Apr 11 17:47:00 2003)
提到：

是不是就是學習的函數空間啊？



bjxue (南方小孩) 于Fri Apr 11 17:49:05 2003)
提到：

我也認為是，可是我還不能很明白的理解




GzLi (笑梨) 于Sat Apr 12 11:40:40 2003)
提到：

sin(ax) 是一個假設空間，他的vc維是無窮大的，因為它可以把任意的點分開，
大家可以試試，如果能把任意點分開，那么訓練誤差就是零嘍。