發(fā)信人: zrs (tita), 信區(qū): DataMining
標(biāo)  題:  基于 Web 的數(shù)據(jù)挖掘 
發(fā)信站: 南京大學(xué)小百合站 (Fri Mar 22 16:25:47 2002)

自動(dòng)抽取用 HTML、XML 和 Java 編寫的信息 

Jared Jackson (jjared@almaden.ibm.com)

Jussi Myllymaki (jussi@almaden.ibm.com)

IBM 研究員

2001 年 6 月


不可否認(rèn)，萬(wàn)維網(wǎng)是到目前為止世界上最豐富和最密集的信息來(lái)源。但是，它的結(jié)構(gòu)使它
很難用系統(tǒng)的方法來(lái)利用信息。本文描述的方法和工具將使那些熟悉 Web 最常用技術(shù)的開
發(fā)人員能快速而便捷地獲取他們所需的以 Web 方式發(fā)布的信息。

在信息時(shí)代快速成長(zhǎng)起來(lái)的萬(wàn)維網(wǎng)導(dǎo)致各種各樣的公用信息被大量分發(fā)。不幸的是，盡管
作為信息主要載體的 HTML 提供了一種方便地向讀者呈現(xiàn)信息的方法，但它可能并不是一
個(gè)很好的可以從中自動(dòng)抽取與數(shù)據(jù)驅(qū)動(dòng)的服務(wù)或應(yīng)用程序相關(guān)的信息的結(jié)構(gòu)。


已經(jīng)嘗試了多種方法來(lái)解決這個(gè)問(wèn)題。大多數(shù)方法都采用一些專用查詢語(yǔ)言的形式把 HTM
L 頁(yè)面的各個(gè)部分映射成代碼，而這些代碼將 Web 頁(yè)面上的信息填入到數(shù)據(jù)庫(kù)中。盡管這
些方法可能提供一些好處，但大部分會(huì)因?yàn)橐韵聝蓚€(gè)原因變得不切實(shí)際：首先，它們需要
開發(fā)人員花時(shí)間去學(xué)習(xí)一種無(wú)法在其它情況下使用的查詢語(yǔ)言，其次，它們還不夠健壯到
能處理不可避免的對(duì)目標(biāo) Web 頁(yè)面的簡(jiǎn)單更改。


在本文中，將討論使用標(biāo)準(zhǔn) Web 技術(shù)—— HTML、XML 和 Java ——開發(fā)的一種基于 Web
 的數(shù)據(jù)挖掘方法。這種方法即使不比其它專用方法更強(qiáng)大，也和其它方法不相上下，并且
對(duì)于那些已經(jīng)熟悉 Web 技術(shù)的人來(lái)說(shuō)，只需要付出很少的努力就可以收到很好的效果。另
外，本文還附送了許多開始數(shù)據(jù)抽取所需的代碼。


HTML：優(yōu)點(diǎn)與缺點(diǎn)

HTML 通常是一個(gè)很難用程序手段處理的媒體。Web 頁(yè)面中的大多數(shù)內(nèi)容描述與數(shù)據(jù)驅(qū)動(dòng)的
系統(tǒng)無(wú)關(guān)的格式編排，并且，由于要?jiǎng)討B(tài)添加標(biāo)題以及編寫其它服務(wù)器端腳本，所以文檔
結(jié)構(gòu)可能在每次連接到頁(yè)面時(shí)都需要進(jìn)行更改。又因?yàn)樗?Web 頁(yè)面主要部分的格式編排
不合理，所以使問(wèn)題變得更為復(fù)雜，其結(jié)果是現(xiàn)在的 Web 瀏覽器在進(jìn)行 HTML 語(yǔ)法分析時(shí)
非常不嚴(yán)謹(jǐn)。 


盡管存在這些問(wèn)題，但是 HTML 在數(shù)據(jù)挖掘方面仍然具有優(yōu)勢(shì)。您所感興趣的數(shù)據(jù)通常可
以用 HTML 樹中深度嵌套的單個(gè) <table> 或 <div> 標(biāo)記隔離開來(lái)。這使得抽取過(guò)程可以
專門在文檔的一小部分內(nèi)執(zhí)行。在缺少客戶機(jī)端腳本的情況下，只有一種定義下拉菜單和
其它數(shù)據(jù)列表的方法。HTML 的這些方面允許我們?cè)谝坏碛锌捎酶袷降臄?shù)據(jù)時(shí)能集中精力
于數(shù)據(jù)抽取。


背景技術(shù)

這里描述的數(shù)據(jù)挖掘技術(shù)的關(guān)鍵是把現(xiàn)有的 Web 頁(yè)面轉(zhuǎn)換成 XML，或轉(zhuǎn)換成 XHTML 可能
更適當(dāng)，并使用眾多工具中的一小部分來(lái)處理 XML 結(jié)構(gòu)的數(shù)據(jù)，以檢索出適當(dāng)?shù)臄?shù)據(jù)。



幸好有一個(gè)解決方案可以改正 HTML 頁(yè)面設(shè)計(jì)的薄弱之處。Tidy（可以從一些編程語(yǔ)言中
獲取的庫(kù)）是一個(gè)免費(fèi)使用的產(chǎn)品，可用于改正 HTML 文檔中的常見(jiàn)錯(cuò)誤并生成格式編排
良好的等價(jià)文檔。還可以使用 Tidy 來(lái)生成 XHTML（XML 的子集）格式的這些文檔。（請(qǐng)
參閱參考資料）。


本文中的代碼示例是用 Java 編寫的，并且在編譯和運(yùn)行它們時(shí)，需要在您系統(tǒng)的 class
path 中存在 Tidy jar 文件。它們還需要通過(guò) Apache 項(xiàng)目、Xerces 和 Xalan 使 XML 
庫(kù)可用。這兩個(gè)庫(kù)都基于 IBM 提供的代碼并分別控制 XML 語(yǔ)法分析和 XSL 變換。這三種
庫(kù)中的每一個(gè)都可從 Web 上免費(fèi)獲取，要找到它們，可以追隨上述鏈接或參考本文后面的
參考資料。理解 Java 編程語(yǔ)言、XML 和 XSL 變換將對(duì)您理解以下示例有幫助。有關(guān)這些
技術(shù)的參考資料，可以在本文后面找到。


方法概述和示例簡(jiǎn)介

我們用示例的方式來(lái)介紹數(shù)據(jù)抽取的方法。假設(shè)我們有興趣跟蹤幾個(gè)月以來(lái)每天不同時(shí)間
測(cè)得的華盛頓州西雅圖的溫度和濕度級(jí)別。假如，沒(méi)有現(xiàn)成的軟件用于報(bào)告此類信息以滿
足我們的需求，我們?nèi)匀粨碛袕谋姸喙簿W(wǎng)站收集此類信息的機(jī)會(huì)。


圖 1 舉例說(shuō)明了抽取的全過(guò)程。Web 頁(yè)面只有在創(chuàng)建了一個(gè)可合并到現(xiàn)有數(shù)據(jù)集的數(shù)據(jù)集
后才會(huì)被檢索和處理。


圖 1. 概要說(shuō)明抽取過(guò)程



只需要很少的幾個(gè)步驟，我們就可以擁有一個(gè)收集我們信息的合適而可靠的系統(tǒng)。這里列
出這些步驟是為了提供該過(guò)程的簡(jiǎn)要概述，圖 1 中顯示的是這一過(guò)程的較高形式。


標(biāo)識(shí)數(shù)據(jù)源并把它映射成 XHTML。 

查找數(shù)據(jù)內(nèi)的引用點(diǎn)。 

將數(shù)據(jù)映射成 XML。 

合并結(jié)果并處理數(shù)據(jù)。 

這些步驟中的每一步都將加以詳細(xì)說(shuō)明，并將提供執(zhí)行它們所必需的代碼。


獲取信 XHTML 格式的源信息

為了抽取數(shù)據(jù)，當(dāng)然需要知道可以在哪里找到它。在大多數(shù)情況下，源信息是顯而易見(jiàn)的
。如果要從 developerWorks 收集文章的標(biāo)題和 URL，我們將使用 http://www.ibm.com/
developerWorks 作為我們的目標(biāo)。在天氣這個(gè)例子中，我們有若干可供選擇的信息源。我
們將在示例中使用 Yahoo！Weather，但使用其它信息源也具有同等效果。我們將特別跟蹤
 URL：http://weather.yahoo.com/forecast/Seattle_WA_US_f.html 上的數(shù)據(jù)。圖 2 顯
示了這個(gè)頁(yè)面的屏幕快照。


圖 2. 華盛頓州西雅圖的 Yahoo! Weather Web 頁(yè)面



在考慮信息源時(shí)，牢記以下這些要素非常重要：


信息源是否是在可靠的網(wǎng)絡(luò)連接上生成可靠的數(shù)據(jù)？ 

信息源從現(xiàn)在起將存在多久？一個(gè)星期、一個(gè)月或甚至一年？ 

信息源的布局結(jié)構(gòu)有多穩(wěn)定？ 

我們尋求能夠在動(dòng)態(tài)環(huán)境下工作的健壯的解決方案的過(guò)程中，在抽取可用的最可靠和最穩(wěn)
定的信息源時(shí)，我們的工作將是最簡(jiǎn)單的。


一旦確定了信息源，我們?cè)诔槿∵^(guò)程中的第一步就是將數(shù)據(jù)從 HTML 轉(zhuǎn)換成 XML。我們將
通過(guò)構(gòu)造名為 XMLHelper（由 static helper 函數(shù)組成）的 Java 類來(lái)完成這一任務(wù)以及
其它與 XML 相關(guān)任務(wù)。這個(gè)類的全部信息源可以通過(guò)以下到 XMLHelper.java 和 XMLHel
perException.java 的鏈接找到。隨著本文的繼續(xù)展開，我們將構(gòu)建這個(gè)類的方法。


我們使用 Tidy 庫(kù)提供的函數(shù)在 XMLHelper.tidyHTML() 方法中執(zhí)行轉(zhuǎn)換。這個(gè)方法接受
 URL 作為一個(gè)參數(shù)并返回一個(gè)“XML 文檔”作為結(jié)果。當(dāng)調(diào)用此方法或任何其它與 XML 
相關(guān)的方法時(shí)，請(qǐng)仔細(xì)檢查是否有任何異常。清單 1 中顯示了執(zhí)行這些操作的代碼。圖 
3 顯示了代碼結(jié)果，Microsoft 的 Internet Explorer XML 查看器使用 Weather 頁(yè)面中
的 XML。


圖 3. 轉(zhuǎn)換成 XHTML 的 Yahoo! Weather Web 頁(yè)面



查找數(shù)據(jù)的引用點(diǎn)

請(qǐng)注意，無(wú)論是在 Web 頁(yè)面還是源 XHTML 視圖中的絕大多數(shù)的信息都與我們完全無(wú)關(guān)。
我們接下來(lái)的一個(gè)任務(wù)是在 XML 樹中找出一個(gè)特定區(qū)域，我們可從中抽取我們的數(shù)據(jù)而無(wú)
需關(guān)心外來(lái)信息。對(duì)于更復(fù)雜的抽取，我們可能需要在單個(gè)頁(yè)面上找出這些區(qū)域的若干實(shí)
例。


完成這一任務(wù)的最簡(jiǎn)單的辦法通常是，首先檢查 Web 頁(yè)面，然后使用 XML。只需要看一下
頁(yè)面，就可以知道我們正在查找的信息位于頁(yè)面的中上部區(qū)域中。即使對(duì) HTML 的熟悉程
度非常有限，也很容易推斷出我們正在查找的數(shù)據(jù)可能都包含在同一個(gè) <table> 元素下，
并且這個(gè)表可能總是包含象“Appar Temp”和“Dewpoint”這樣的字，無(wú)論當(dāng)天的數(shù)據(jù)可
能是什么。


記下我們觀察到的內(nèi)容，現(xiàn)在要考慮頁(yè)面所生成的 XHTML。搜索“Appar Temp”的文本（
如圖 4 所示）說(shuō)明該文本確實(shí)在一個(gè)包含我們所需的所有數(shù)據(jù)的表中。我們將把該表作為
引用點(diǎn)或錨。


圖 4：通過(guò)查找包含文本“Appar Temp”的表找到錨



現(xiàn)在，我們需要找到這個(gè)錨的方法。因?yàn)槲覀冋郎?zhǔn)備使用 XSL 來(lái)轉(zhuǎn)換我們的 XML，所以可
以使用 XPath 表達(dá)式來(lái)完成這個(gè)任務(wù)。我們將使用以下這個(gè)普通的表達(dá)式：



/html/body/center/table[6]/tr[2]/td[2]/table[2]/tr/td/table[6]


 


這個(gè)表達(dá)式指定了從根 <html> 元素到錨的路徑。這個(gè)普通的方法將導(dǎo)致我們對(duì)頁(yè)面布局
的修改非常容易遭到破壞。較好的方法是根據(jù)周圍的內(nèi)容指定錨。通過(guò)使用這個(gè)方法，我
們把 XPath 表達(dá)式重新構(gòu)造成：



//table[starts-with(tr/td/font/b,'Appar Temp')]


 


...更好一些，可以利用 XSL 將 XML 樹轉(zhuǎn)換成字符串的方法：



//table[starts-with(normalize-space(.), 'Appar Temp')]


 


將數(shù)據(jù)映射成 XML

擁有這個(gè)錨，我們可以創(chuàng)建實(shí)際抽取數(shù)據(jù)的代碼。這個(gè)代碼將以 XSL 文件的形式出現(xiàn)。X
SL 文件的目的是標(biāo)識(shí)錨，指定如何從錨獲取我們正在查找的數(shù)據(jù)（以簡(jiǎn)短跳躍的方式），
并且用我們所需的格式構(gòu)造一個(gè) XML 輸出文件。這個(gè)過(guò)程實(shí)際上比想象的要簡(jiǎn)單得多。清
單 2 給出了將執(zhí)行這個(gè)過(guò)程的 XSL 代碼，這些代碼還可以作為一個(gè) XSL 文本文件獲取。


<xsl:output> 元素僅告訴處理器我們希望的的變換結(jié)果是 XML。第一個(gè)，<xsl:template
> 建立名為 <xsl:apply-templates> 的根元素以搜索錨。第二個(gè)，<xsl:template> 讓我
們只匹配需要匹配的內(nèi)容。最后那個(gè)，<xsl:template> 在 match 屬性中定義錨，然后告
訴處理器跳到我們嘗試挖掘的溫度與濕度數(shù)據(jù)。


當(dāng)然，只編寫 XSL，作業(yè)將不會(huì)完成。我們還需要一個(gè)執(zhí)行轉(zhuǎn)換的工具。因此，我們利用
 XMLHelper 類方法對(duì) XSL 進(jìn)行語(yǔ)法分析并執(zhí)行這個(gè)轉(zhuǎn)換。執(zhí)行這些任務(wù)的方法分別名為
 parseXMLFromURL() 和 transformXML()。清單 3 給出了使用這些方法的代碼。


清單 3 


/**

 * Retrieve the XHTML file written to disk in the Listing 1

 * and apply our XSL Transformation to it. Write the result

 * to disk as XML.

 */


public static void main(String args[]) {

  try {

    Document xhtml = XMLHelper.parseXMLFromURLString("file://weather.xml");

    Document xsl   = XMLHelper.parseXMLFromURLString("file://XSL/weather.xsl")
;

    Document xml   = XMLHelper.transformXML(xhtml, xsl);

    XMLHelper.outputXMLToFile("XML" + File.separator + "result.xml");

  } catch (XMLHelperException xmle) {

    // ... Do Something ...

  }

}


 



合并與處理結(jié)果

如果我們只執(zhí)行一次數(shù)據(jù)抽取，我們現(xiàn)在已經(jīng)完成了。但是，我們并不只是想知道某一時(shí)
刻的溫度，而是要知道若干不同時(shí)刻的溫度。現(xiàn)在，我們需要做的是反復(fù)執(zhí)行抽取過(guò)程，
把結(jié)果合并到單個(gè) XML 數(shù)據(jù)文件中。我們本來(lái)可以再次使用 XSL 執(zhí)行，但我們將為把 X
SL 文件合并到 XMLHelper 類中最后創(chuàng)建一個(gè)方法。mergeXML() 方法允許我們把在當(dāng)前抽
取中獲得的數(shù)據(jù)合并到包含以前抽取數(shù)據(jù)的檔案文件中。


WeatherExtractor.java 文件中給出了用于運(yùn)行整個(gè)過(guò)程的代碼。我把程序執(zhí)行調(diào)度任務(wù)
留給讀者，因?yàn)閳?zhí)行這些任務(wù)的與系統(tǒng)相關(guān)的方法通常比簡(jiǎn)單的編程方法高級(jí)。圖 5 顯示
了每天運(yùn)行一次 WeatherExtractor，共運(yùn)行四天的結(jié)果。


圖 5. Web 抽取的結(jié)果



結(jié)束語(yǔ)

在本文中，我們已經(jīng)描述并證明從目前存在的最大信息來(lái)源——萬(wàn)維網(wǎng)——抽取信息的強(qiáng)
壯方法的基本原則。我們還討論了能夠使任何 Java 開發(fā)人員花最少的精力和具備最少的
抽取經(jīng)驗(yàn)就可以開始他們自己抽取工作所必需的編碼工具。盡管本文中的示例僅集中于抽
取有關(guān)華盛頓，西雅圖天氣的信息，但是這里出現(xiàn)的所有代碼幾乎都可以在任何數(shù)據(jù)抽取
中重復(fù)使用。事實(shí)上，除對(duì) WeatherExtractor 類進(jìn)行少許更改外，需要為其它數(shù)據(jù)挖掘
項(xiàng)目進(jìn)行更改的代碼只有 XSL 變換代碼（順便提一下，它從不需要編譯）。


這種方法與想象中的一樣簡(jiǎn)單。通過(guò)明智地選擇可靠的數(shù)據(jù)源以及在這些數(shù)據(jù)源中選取與
內(nèi)容相關(guān)但與格式無(wú)關(guān)的錨，可以使您擁有一個(gè)維護(hù)成本低廉，可靠的數(shù)據(jù)抽取系統(tǒng)。并
且，根據(jù)經(jīng)驗(yàn)級(jí)別和要抽取的數(shù)據(jù)量，您可以在一小時(shí)之內(nèi)就能安裝與運(yùn)行它。


參考資料 


Tidy for Java 由 Sami Lempinen 維護(hù)，并可從 SourceForge 下載。 

XML 庫(kù)、Xerces 和 Xalan 可以從 Apache Project 網(wǎng)站獲取。 

有關(guān) XML 的更詳細(xì)信息，developerWorks 提供了一個(gè)與該技術(shù)相關(guān)的專區(qū)。 

有關(guān) XSL 和 XPath 的教程有很多，可以使用您喜愛(ài)的 Web 搜索引擎找到它們。 

Jussi Myllymaki 著有一篇有關(guān) ANDES 系統(tǒng)中 Web 搜尋與數(shù)據(jù)抽取之間關(guān)系的論文，刊
登在香港的 WWW10 上。 

這里有一些使網(wǎng)站個(gè)性化的技術(shù)，以及使站點(diǎn)性能最大化的提示。 

“管理網(wǎng)站性能”介紹了如何對(duì)網(wǎng)站性能從瀏覽器到數(shù)據(jù)庫(kù)服務(wù)器以及舊系統(tǒng)，進(jìn)行微調(diào)
。 


關(guān)于作者 

Jared Jackson 自 2000 年 5 月 Harvey Mudd 大學(xué)畢業(yè)以來(lái)一直在 IBM Almaden Resea
rch Center 工作。Jared 還是斯坦福大學(xué)“計(jì)算機(jī)科學(xué)”系的研究生。可通過(guò) jjared@a
lmaden.ibm.com 與 Jared 聯(lián)系。  


 

 Jussi Myllymaki 于 1999 年作為“研究職員”加盟 IBM Almaden Research Center，并
從麥迪遜的威斯康星大學(xué)獲得博士學(xué)位。可通過(guò) jussi@almaden.ibm.com 與 Jussi 聯(lián)系
。 

 

英文原文  

 http://www-900.ibm.com/developerWorks/xml/x-wbdm/index_eng.shtml

 



--

※ 來(lái)源:．南京大學(xué)小百合站 http://bbs.nju.edu.cn [FROM: 218.0.250.175]