Flume Hbase

    [Hadoop] Flume RegexHbaseEventSerializer Error

    [Hadoop] Flume RegexHbaseEventSerializer Error

    이슈사항Flume 1.4.1에서 Hbase로 갖고 올 경우 hbaseSink.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer 옵션을 사용하면 Regex로 로그를 파싱하여 가져 올 수 있다고 하였다. 허나 정규식은 전혀 먹히지 않아 소스코드 수정 후 성공하였다. RegexHbaseEventSerializer.java 소스코드를 살펴보면다음과 같이 기본 정규식이 세팅되 있다. 즉 문자의 모든 것을 가져온다는 의미인데public static final String REGEX_DEFAULT = "(.*)"; conf에서 hbaseSink.serializer.colNames = a 와 같이 컬럼을 하나만 줬을 경우에는 잘 들어간다. 이유는 위..

    [Hadoop] Flume + Hbase 연동하기

    Flume ver : 1.4.0HBase Ver : 0.94.1Hadoop ver: : 1.2.1 시나리오 - NameNode : 192.168.1.2 - FlumeAgent : 192.168.1.5 - Flume Agent에서 Tail로 로그를 받아와 NameNode의 HBase로 저장한다. - NameNode와 Agent와 통신은 Avro 프로토콜을 이용한다. - HBase Table 명 : demo (미리 만들어줌) - Hbase ColumnFamily 명 : cf Flume Master Configuration(flume-hbase.conf)master.sources = node1master.channels = mem-channelmaster.sinks = hbaseSink # For each o..