Hadoop 簡介

Hadoop可運行于一般的商用服務器上，具有高容錯、高可靠性、高擴展性等特點

特別適合寫一次，讀多次的場景

適合

• 大規(guī)模數(shù)據(jù)
• 流式數(shù)據(jù)（寫一次，讀多次）
• 商用硬件（一般硬件）

不適合

• 低延時的數(shù)據(jù)訪問
• 大量的小文件
• 頻繁修改文件（基本就是寫1次）

Hadoop架構

• HDFS: 分布式文件存儲
• YARN: 分布式資源管理
• MapReduce: 分布式計算
• Others: 利用YARN的資源管理功能實現(xiàn)其他的數(shù)據(jù)處理方式

內部各個節(jié)點基本都是采用Master-Woker架構