Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(DistributedFileSystem),其中一個(gè)組件是HDFS(HadoopDistributedFileSystem)。HDFS有高容錯(cuò)性的特點(diǎn),并且設(shè)計(jì)用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streamingaccess)文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是:HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ),而MapReduce則為海量的數(shù)據(jù)提供了計(jì)算[1]。
隨著科技技術(shù)的發(fā)展,數(shù)據(jù)呈現(xiàn)幾何級(jí)的增長,面對(duì)這個(gè)情況傳統(tǒng)存儲(chǔ)服務(wù)無法滿足復(fù)雜數(shù)據(jù)慢慢地暴露出來,傳統(tǒng)的存儲(chǔ)計(jì)算服務(wù)不僅浪費(fèi)著極大的資源,還對(duì)于環(huán)境有著極大的不利影響。在這個(gè)大環(huán)境下云計(jì)算應(yīng)勢(shì)而生。本論文將針對(duì)目前的存儲(chǔ)服務(wù)無法滿足復(fù)雜數(shù)據(jù)的問題,研究云存儲(chǔ)中的任務(wù)調(diào)度技術(shù)。通過與Hadoop平臺(tái)結(jié)...
??
?? 阿四AIR
用Linux和Apache Hadoop進(jìn)行云計(jì)算使用Linux 和 Hadoop 進(jìn)行分布式計(jì)算介紹Hadoop 框架.
...
??
?? tiantwo
hadoop:Nutch集群平臺(tái),分布式編程模式,讓Nutch可以自動(dòng)在普通機(jī)器組成的集群中以并行方式分布執(zhí)行...
??
?? cjf0304
Cygwin Hadoop的Windows下的基本安裝和配置...
??
?? baiom
hadoop 0.18.0安裝數(shù)據(jù)連接源代碼...
??
?? ippler8