%EC%A0%95%EA%B7%9C%ED%91%9C%ED%98%84%EC%8B%9D

5일 중 3일을 정규표현식에 할애한 과정을 진행하다가 아차 (?) 싶었던 첫 강의가 생각난다. 그렇게 정규표현식 비중을 줄이고 줄여서 현재 정규표현식 과정은 반나절 정도 (..) 그럼에도 빠지지 않는 질문이 쉬운 정규표현식? 대체 방법? 정규표현식이 쉬워지는 방법은 많이 써보는 수밖에 없다 보니 정규표현식을 사용하지 않고 원하는 테이블 구조를 만드는 방법에 대한 고민을 자주 한다. 일단 엘라스틱 예제 데이터 생성. url 데이터에서 file 정보를 추출해보자. 다음은 읽기 스키마 기반의 런타임 필드 생성 쿼리....

로그 분석을 데이터 분석 수준으로 끌어올리려면 원시로그 덩어리를 필드별 고유성이 확보된 테이블 구조로 바꿔야 하는데, 이때 grok 필터의 역할은 독보적이다. 한가지 단점이라면 정규표현식을 이용하기 때문에 성능이 저하될 수 있다는 것. grok 필터는 로그스태시 필터링 성능에 얼마나 영향을 끼칠까? 윈도우8, i5(CPU), 8GB(Memory), SSD(mSATA) 사용 환경에서 아파치 웹로그 백만 개 입력 테스트를 해봤다. 아파치 웹로그용으로 제공되는 grok 패턴(COMMONAPACHELOG)을 사용한 결과 입력 완료까지 4분 소요....

제목이 너무 도발적인가? 지금 이순간에도 대규모, 대용량 환경에서 성능 등의 문제로 골머리 썩는 분들에겐 죄송 (..) 하지만 엘라스틱을 데이터 분석툴로 활용하는 입장에서는 쉬우니 쉽다고 할 수 밖에. 처음 접한 건 작년 여름, 데이터 분석 서비스를 제공하는 logz.io 를 통해서였다. 사실 데이터 분석 분야에서 엘라스틱이라는 오픈소스가 유행이라는 얘기는 들어왔지만, IDS 등 사실 관계가 '해킹' 맥락으로 필터링된, 한마디로 부정확한 데이터를 분석하는 입장에서 별로 관심이 없었다. 장비 구축이 전부인 분위기에서 '통합'으로 한 번 홀리고, 화려한 '비주얼'로 한 번 더 홀리는 SIEM류의 툴이 득세하는 바람에 보안관제 분야가 발전하지 못하고 있다는 생각을 오랫동안 해왔기 때문에 일부러 무시한 측면도 좀 있고. 하지만 실체를 보고나서는 생각이 바뀌었다....