發信人: ashun (阿順), 信區: DataMining
標  題: 數據挖掘入門（十四）
發信站: 南京大學小百合站 (Mon Aug 20 10:29:05 2001)

6.評價和解釋。


a.         模型驗證。模型建立好之后，必須評價他的結果、解釋他的價值。記住從測試
集中得到的準確率只對用于建立模型的數據有意義。在實際應用中，隨著應用數據的不同
，模型的準確率肯定會變化。更重要的是，準確度自身并不一定是選擇最好模型的正確評
價方法。你需要進一步了解錯誤的類型和由此帶來的相關費用的多少。


無序矩陣。對分類問題來說，無序矩陣是理解結果的非常好的工具。如圖9所示，無序矩陣
把預測的結果與實際的情況進行對比。它不僅說明了模型預測的準確情況，也把模型究竟
在哪里出了問題也展示了出來。下表是一個簡單的無序矩陣，其中的列代表數據的實際分
類情況，行是預測的結果。在這張表值中，可以看到此模型在總共46個B類數據中成功預測
了38個，8個出了問題：2個預測成了A，6個成了C。顯然這比簡單的說模型總體準確度是8
2%要更詳細的多（123個成功預測除以總共150）。


在實際應用中，如果每種不同的預測錯誤所需付出的代價（金錢）也不同的話，那么代價
最小的模型（而不一定是錯誤率最小的模型）就是我們所要選擇的。例如，上面的無序矩
陣中，如果每個準確的預測會帶來￥10的收益，錯誤的預測A要付出￥5的代價，B是￥10，
C是￥20，那么整個模型的純價值是：


(123*￥10)-（5*￥5）-（12*￥10）-（10*￥20）=￥885


然而考察下面的無序矩陣（圖10），雖然準確度降低到79%（118/150），但純價值卻升高
了：


（118*￥10）-（22*￥5）-（7*￥10）-（3*￥20）=￥940


收益表（圖11）也是一種描述模型價值的方法。它顯示了通過應用模型響應（如直接郵件
推銷）的變化情況。變化的比率稱為lift。例如，如果用隨機抽取的方法選擇10%的客戶響
應率是10%，而通過模型選取10%的用戶響應率是30%，則lift值為3。


模型解釋的另一個重要組成部分是確定模型的價值。一個模型可能看起來很有意義，但要
實施它的話很有可能花的錢比賺的錢多。圖12是一個描述模型投資回報率（ROI）的圖表（
這里定義 ROI為利潤與開銷的比值）。注意圖中當選取比例超過80%時，ROI變成了負數，
ROI最高是在橫坐標為2時。

 

當然，也可以直接看利潤的變化情況（利潤為收入與花費的差值），如圖13所示：


注意到我們上面的例子中，最大lift在第一個1/10處（10%），最大ROI在第2個1/10（20%
），而最大利潤在第3、4個1/10處。


理想情況下，應該按照利潤表行事，但很多情況下利潤表并不能很容易的計算出來。


b.         外部驗證。如前面指出的，無論我們用模擬的方法計算出來的模型的準確率有
多高，都不能保證此模型在面對現實世界中真實的數據時能取得好的效果。經驗證有效的
模型并不一定是正確的模型。造成這一點的直接原因就是模型建立中隱含的各種假定。例
如，在建立用戶購買模式的模型時，可能沒有考慮通貨膨脹的影響，但實施模型時通貨膨
脹率突然由3%增加為17%，這顯然會對人們的購買意向產生重大影響，因此再用原來的模型
來預測客戶購買情況必然會出現重大失誤。


因此直接在現實世界中測試模型很重要。先在小范圍內應用，取得測試數據，覺得滿意之
后再向大范圍推廣。
--
業精于勤荒于嬉，行成于思毀于隨。 —— 韓愈
臨淵羨魚不如退而結網。           —— 班固
勿以惡小而為之，勿以善小而不為。 —— 劉備

※ 來源:．南京大學小百合站 http://bbs.nju.edu.cn [FROM: 202.119.80.20]