1、鎖定某個主題抓取; 2、能夠產(chǎn)生日志文本文件,格式為:時間戳(timestamp)、URL; 3、抓取某一URL時最多允許建立2個連接(注意:本地作網(wǎng)頁解析的線程數(shù)則不限) 4、遵守文明蜘蛛規(guī)則:必須分析robots.txt文件和meta tag有無限制;一個線程抓完一個網(wǎng)頁后要sleep 2秒鐘; 5、能對HTML網(wǎng)頁進行解析,提取出鏈接URL,能判別提取的URL是否已處理過,不重復(fù)解析已crawl過的網(wǎng)頁; 6、能夠?qū)pider/crawler程序的一些基本參數(shù)進行設(shè)置,包括:抓取深度(depth)、種子URL等; 7、使用User-agent向服務(wù)器表明自己的身份; 8、產(chǎn)生抓取統(tǒng)計信息:包括抓取速度、抓取完成所需時間、抓取網(wǎng)頁總數(shù);重要變量和所有類、方法加注釋; 9、請遵守編程規(guī)范,如類、方法、文件等的命名規(guī)范, 10、可選:GUI圖形用戶界面、web界面,通過界面管理spider/crawler,包括啟停、URL增刪等
標(biāo)簽: 日志
上傳時間: 2013-12-22
上傳用戶:wang5829
wince操作系統(tǒng),evc4.0開發(fā)環(huán)境下,在沒有流接口驅(qū)動的情況下直接使pwm口輸出pwm波形,并利用定時器控制起停
標(biāo)簽: wince 操作系統(tǒng)
上傳時間: 2014-11-29
上傳用戶:saharawalker
Extensively revised for the latest Java (J2SE 5.0) release Deitel Java How to Program, 6/e now includes earlier coverage of objects new and streamlined case studies and OPTIONAL GUI and graphics sections. Now available in a briefer version (ch. 1-10) called Small Java. SafariX version available.
標(biāo)簽: Java Extensively revised Program
上傳時間: 2014-01-04
上傳用戶:yuzsu
數(shù)電課程設(shè)計:交通燈⑴設(shè)計一個十字路口的交通燈控制電路,要求甲車道和乙車道兩條交叉道路上的車輛交替運行,甲車道(主干道)放行45秒,乙車道(支干道)通行時間為25秒; ⑵在每次由綠燈變成紅燈的轉(zhuǎn)換過程中間,要亮5秒的黃燈作為過度,以使行使中的車輛有時間停到禁止線以外;
標(biāo)簽: 交通燈 數(shù)電 十字路口 控制電路
上傳時間: 2015-11-06
上傳用戶:我干你啊
基于Intel 8253定時器的兩端Asm,包括配套電路,流程圖 1。設(shè)計基于ISA總線的Intel 8253 的接口電路,用Intel 8253 的1個通道作定時器,演奏C調(diào)的各個音符,利用查表程序的方法依次演奏,每個音符演奏1s,停0.5s 演奏三遍后退出程序 2。利用Intel 8253的一個通道產(chǎn)生一個100Hz的方波,用示波器測試信號的正確性 以產(chǎn)生的方波作為另一個通道門控信號。利用此通道測量其高電平的寬度,在PC機顯示屏上顯示其數(shù)值并退出程序
上傳時間: 2014-01-07
上傳用戶:aysyzxzm
pyformat.zip包中有兩個文件夾,pyformat_src文件夾里的為源代碼,pyformat_dist文件夾里的為編譯后的exe可執(zhí)行程序,另外每個文件夾里都放了一個名為“testfile.txt”的測試文件。 源碼使用方法示例:執(zhí)行"python pyformat.py testfile.txt"。 可執(zhí)行程序使用方法示例:執(zhí)行“pyformat testfile.txt”。 即可把文件名中的不帶調(diào)拼音+聲調(diào)記號轉(zhuǎn)化為帶調(diào)拼音輸出到stdout。文件名可以有多個。 例如:輸入wo3 shi4 zhong1 guo2 ren2. 輸出為wǒ shì zhōng guó rén. zho1ng、zhon1g、zhong1、zhong12341等均輸出為zhōng。
上傳時間: 2015-11-26
上傳用戶:1427796291
在現(xiàn)代化的工業(yè)生產(chǎn)設(shè)備中,有大量的數(shù)字量及模擬量的控制裝置,例如電機的起停,電磁閥的開閉,產(chǎn)品的計數(shù), 溫度、壓力、流量的設(shè)定與控制等,工業(yè)現(xiàn)場中的這些自動控制問題,若采用可編程序控制器( P C ) 來解決自動控制問題已成為 最有效的工具之一,本文敘述P C 控制系統(tǒng)設(shè)計時應(yīng)該注意的問題。
標(biāo)簽: 工業(yè)生產(chǎn) 設(shè)備
上傳時間: 2015-11-30
上傳用戶:caiiicc
大家可能一直在用VC開發(fā)軟件,但是對于這個編譯器卻未必很了解。原因是多方面的。大多數(shù)情況下,我們只停留在“使用”它,而不會想去“了解”它。因為它只是一個工具,我們寧可把更多的精力放在C++語言和軟件設(shè)計上。我們習(xí)慣于這樣一種“模式”:建立一個項目,然后寫代碼,然后編譯,反反復(fù)復(fù)調(diào)試。但是,所謂:“公欲善其事,必先利其器”。如果我們精于VC開發(fā)環(huán)境,我們是不是能夠做得更加游刃有余呢?
上傳時間: 2015-12-12
上傳用戶:zhangyi99104144
一個簡單的停車場管理程序,是初級學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)時的一個十分重要的實驗,了解這個對學(xué)習(xí)堆棧十分有用,基本題目是 設(shè)有一個可以停放[size=10.5pt]N[size=10.5pt]輛汽車的狹長的停車場,[size=10.5pt] [size=10.5pt]它們有一個大門可以供車輛進出。車輛按到達(dá)停車場時間的先后次序從停車場最里面向門口處停放(最先到達(dá)的第一輛車停在停車場的最里面)。如果停車場已放滿[size=10.5pt]N[size=10.5pt]輛車,則后來的車輛只能在停車場大門外的便道上等待,一旦停車場內(nèi)有車開走,則排在便道上的第一輛車就可進入停車場。停車場內(nèi)如果有某輛車要開走,在它之后進入停車場的車輛都必須先退出停車場為它讓路,待其開出停車場后,這些車輛再依原來的次序進入。每輛車在離開停車場時,根據(jù)它在停車場內(nèi)停留時間的長短交費。如果停在便道上的車輛未進入停車場就要離去,允許其離去時不收停車費,并且仍然保持在便道上等待的車輛的次序
上傳時間: 2013-12-16
上傳用戶:yyq123456789
使用Delphi 6.0開發(fā)用于控制空調(diào)的程序,通過RS485來控制空調(diào)的起停,設(shè)定溫度等
標(biāo)簽: Delphi 6.0 控制 空調(diào)
上傳時間: 2013-12-24
上傳用戶:dongbaobao
蟲蟲下載站版權(quán)所有 京ICP備2021023401號-1