일반로그 분석은 정말 쉬울까?(feat. Elasticsearch)

다음은 윈도우 웹로그 수집 및 정리를 위한 Logstash 설정.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
input {
    file {
    path => "d:/ex.log"
    type => "weblog"
    start_position => "beginning"
    #sincedb_path => "/dev/null"
    codec => plain { charset => "CP949" } 
    }
}
filter {
    # '#'으로 시작하는, 로그 설명은 수집 안함
    if [message] =~ "^#" { 
        drop {}
    }
    # 로그 필드 정규화
    grok { 
        match => { "message" => "(?<timestamp>^.{19})\s\S+\s\S+\s(?<method>\S+)\s(?<w_path>\S*\/)(?<file>\S*)\s(?<var>\S+?)(\s|(\|.+\|)(?<error>\S+)\s)(?<dport>\S+)\s\S\s(?<sip>\S+)\s(?<agent>\S+)\s(?<status>\S+).+" }
    }
    # 'file' 필드에서 확장자를 별도 필드(ext)로 추출
    grok {
        match => { "file" => ".+\.(?<ext>.+)" }
    }
    date { match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ] }
    geoip { source => "sip" }
}
output {
    elasticsearch { 
        hosts => [ "localhost:9200" ] 
        index => "logstash-weblog"
    }
    #stdout { codec => rubydebug }
}