Flume

[Hadoop] Flume + Hbase 연동하기

Flume ver : 1.4.0HBase Ver : 0.94.1Hadoop ver: : 1.2.1 시나리오 - NameNode : 192.168.1.2 - FlumeAgent : 192.168.1.5 - Flume Agent에서 Tail로 로그를 받아와 NameNode의 HBase로 저장한다. - NameNode와 Agent와 통신은 Avro 프로토콜을 이용한다. - HBase Table 명 : demo (미리 만들어줌) - Hbase ColumnFamily 명 : cf Flume Master Configuration(flume-hbase.conf)master.sources = node1master.channels = mem-channelmaster.sinks = hbaseSink # For each o..