Hadoop是一個(gè)用于運(yùn)行應(yīng)用程序在大型集群的廉價(jià)硬件設(shè)備上的框架。Hadoop為應(yīng)用程序透明的提供了一組穩(wěn)定/可靠的接口和數(shù)據(jù)運(yùn)動(dòng)。在 Hadoop中實(shí)現(xiàn)了Google的MapReduce算法，它能夠把應(yīng)用程序分割成許多很小的工作單元，每個(gè)單元可以在任何集群節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行。此外，Hadoop還提供一個(gè)分布式文件系統(tǒng)用來(lái)在各個(gè)計(jì)算節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)，并提供了對(duì)數(shù)據(jù)讀寫的高吞吐率。由于應(yīng)用了map/reduce和分布式文件系統(tǒng)使得Hadoop框架具有高容錯(cuò)性，它會(huì)自動(dòng)處理失敗節(jié)點(diǎn)。已經(jīng)在具有600個(gè)節(jié)點(diǎn)的集群測(cè)試過(guò)Hadoop框架。
標(biāo)簽：
Hadoop
MapReduce
Google
應(yīng)用程序
上傳時(shí)間：
2017-05-08
上傳用戶：wpwpwlxwlx
