1、鎖定某個(gè)主題抓取; 2、能夠產(chǎn)生日志文本文件,格式為:時(shí)間戳(timestamp)、URL; 3、抓取某一URL時(shí)最多允許建立2個(gè)連接(注意:本地作網(wǎng)頁(yè)解析的線程數(shù)則不限) 4、遵守文明蜘蛛規(guī)則:必須分析robots.txt文件和meta tag有無(wú)限制;一個(gè)線程抓完一個(gè)網(wǎng)頁(yè)后要sleep 2秒鐘; 5、能對(duì)HTML網(wǎng)頁(yè)進(jìn)行解析,提取出鏈接URL,能判別提取的URL是否已處理過(guò),不重復(fù)解析已crawl過(guò)的網(wǎng)頁(yè); 6、能夠?qū)pider/crawler程序的一些基本參數(shù)進(jìn)行設(shè)置,包括:抓取深度(depth)、種子URL等; 7、使用User-agent向服務(wù)器表明自己的身份; 8、產(chǎn)生抓取統(tǒng)計(jì)信息:包括抓取速度、抓取完成所需時(shí)間、抓取網(wǎng)頁(yè)總數(shù);重要變量和所有類(lèi)、方法加注釋?zhuān)? 9、請(qǐng)遵守編程規(guī)范,如類(lèi)、方法、文件等的命名規(guī)范, 10、可選:GUI圖形用戶界面、web界面,通過(guò)界面管理spider/crawler,包括啟停、URL增刪等
標(biāo)簽: 日志
上傳時(shí)間: 2013-12-22
上傳用戶:wang5829
成都理工大學(xué)基于MAXPLUS II 的設(shè)計(jì)過(guò)程報(bào)告內(nèi)涵有源程序及設(shè)計(jì)過(guò)程中的調(diào)試:在文本編輯窗口中輸入二進(jìn)制8位優(yōu)先編碼器的程序; 3設(shè)計(jì)驅(qū)動(dòng)顯示程序如下: 5采用原理圖方式設(shè)計(jì)如下: 6引角分配圖如下: 7仿真結(jié)果如下:
標(biāo)簽: MAXPLUS 過(guò)程 程序 II
上傳時(shí)間: 2014-12-02
上傳用戶:zhuoying119
系統(tǒng)功能 1. 可以進(jìn)行文本操作; 2. 添加一個(gè)數(shù)據(jù)庫(kù)項(xiàng)目; 3. 刪除一個(gè)數(shù)據(jù)庫(kù)項(xiàng)目; 4. 修改一個(gè)數(shù)據(jù)庫(kù)項(xiàng)目; 5. 查詢信息; 6. 察看課程表。
標(biāo)簽: 數(shù)據(jù)庫(kù) 項(xiàng)目 操作
上傳時(shí)間: 2016-06-10
上傳用戶:水口鴻勝電器
利用圖片加密文本文件,調(diào)試環(huán)境:Win XP;.Net
標(biāo)簽: Win Net 加密 調(diào)試環(huán)境
上傳時(shí)間: 2014-01-15
上傳用戶:13215175592
1) 清晰且易于操作的用戶界面;動(dòng)態(tài)顯示光標(biāo)的當(dāng)前位置; 2) 在文本編輯區(qū)內(nèi)接受并保存輸入信息; 3) 在文本編輯區(qū)內(nèi)允許光標(biāo)上移,下移,左移,右移; 4) 允許刪除當(dāng)前光標(biāo)后的字符; 5) 將編輯文本存盤(pán),讀出并顯示硬盤(pán)中的指定文件。
標(biāo)簽: 光標(biāo) 文本編輯 操作 動(dòng)態(tài)顯示
上傳時(shí)間: 2017-02-16
上傳用戶:pinksun9
eWebEditor是基于網(wǎng)頁(yè)的、所見(jiàn)即所得的在線HTML編輯器。她能夠在網(wǎng)頁(yè)上實(shí)現(xiàn)許多桌面編輯軟件(如:Word)所具有的強(qiáng)大可視編輯功能;現(xiàn)在您使用的是來(lái)自eWebSoft在線文本編輯器飛魚(yú)修改版(JSP) 針對(duì)使用中發(fā)現(xiàn)的一些問(wèn)題所進(jìn)行的修訂版本。
標(biāo)簽: eWebEditor eWebSoft HTML Word
上傳時(shí)間: 2014-06-20
上傳用戶:笨小孩
漢字字頻統(tǒng)計(jì)軟件說(shuō)明: 1. 這個(gè)小工具可以對(duì)一個(gè)文本文件中出現(xiàn)的漢字的字形數(shù)和字種數(shù)進(jìn)行頻次統(tǒng)計(jì); 2. 字頻統(tǒng)計(jì)結(jié)果按照降序輸出; 3. 可同時(shí)選中多個(gè)文本文件進(jìn)行字頻統(tǒng)計(jì); 4. 程序啟動(dòng)后點(diǎn)擊主菜單中“統(tǒng)計(jì)字頻”下“選取文件”就可以開(kāi)始進(jìn)行字頻統(tǒng)計(jì); 5. 統(tǒng)計(jì)結(jié)果保存在HanZiFreq_Result.txt文件中; 6. 這個(gè)工具不能處理非純文本格式的文件(比如rtf,word .doc文件等),并且只能處理GB碼的文件。 7. \test目錄下有一個(gè)三個(gè)用于測(cè)試的文件:
標(biāo)簽: 漢字 統(tǒng)計(jì)軟件 行頻 輸出
上傳時(shí)間: 2014-01-09
上傳用戶:thinode
先創(chuàng)建文本文件IN.DAT,在文件中寫(xiě)20個(gè)四位整數(shù)。 編寫(xiě)函數(shù)readDat()把從文件中讀出這些數(shù)并存入數(shù)組a中;編寫(xiě)函數(shù)Calvalue( ), 其功能要求: 1. 求出這文件中共有多少個(gè)正整數(shù)totNum 2. 求這些數(shù)右移1位后, 產(chǎn)生的新數(shù)是偶數(shù)的數(shù)的個(gè)數(shù)totCnt, 以及滿足此條件的這些數(shù)(右移前的值) 的算術(shù)平均值totPjz。 最后在main( )函數(shù)中把所求的結(jié)果輸出。
標(biāo)簽: Calvalue readDat DAT 函數(shù)
上傳時(shí)間: 2017-06-30
上傳用戶:Breathe0125
文本編輯器的功能可模仿EDIT。文本編輯器的功能如:插入、刪除、修改、光標(biāo)移動(dòng)。塊操作有:剪切、拷貝、刪除、粘貼等。文件操作有:打開(kāi)、關(guān)閉、保存、另存等。還有菜單功能、幫助信息和鼠標(biāo)操作等。難點(diǎn)是:1、文件的管理;2、鼠標(biāo)功能與文本編輯和塊操作的連接。
上傳時(shí)間: 2013-12-23
上傳用戶:mpquest
HTTP是一個(gè)基于文本的協(xié)議,用于通過(guò)Web瀏覽器來(lái)檢索Web頁(yè)面。大多數(shù)情況下,如果你位于一個(gè)局域網(wǎng)連接時(shí),你是在一個(gè)代理服務(wù)器之后;這個(gè)代理服務(wù)器在某一端口運(yùn)行一個(gè)HTTP代理。在你的Internet Explorer的連接選項(xiàng)中,你可以按需要說(shuō)明局域網(wǎng)的設(shè)置。這個(gè)代理服務(wù)器運(yùn)行一個(gè)基于文本的協(xié)議,你只能從外部網(wǎng)格中得到HTTP相關(guān)的數(shù)據(jù)。但注意,有一個(gè)小漏洞,通過(guò)它你可以穿過(guò)HTTP,連接到外部世界,得到任何基于二進(jìn)制協(xié)議的數(shù)據(jù),甚至基于你自己的協(xié)議。這就是通過(guò)HTTPS。
上傳時(shí)間: 2015-03-20
上傳用戶:xc216
蟲(chóng)蟲(chóng)下載站版權(quán)所有 京ICP備2021023401號(hào)-1