KIBANA

키바나 기능 중에 'scripted field'라는 게 있다. 무엇에 쓰는 물건인가 싶어 찾아보니 ' 중요한 값을 스키마에서 별도 필드로 정의하지 못하였거나 또는 두 개 필드를 결합하여 단일 필드로 처리하고자 하는 경우 '에 유용한 기능이라고. [caption id="attachment_18522" align="aligncenter" width="600"] Management > Index Patterns > scripted filelds[/caption] 로그스태시 연동할 때 깜박하고 로그 필드 정의 빼먹었다가 처음부터 다시 하는 불상사를 막을 수 있다는 얘기. 로그스태시 연동 중 필터 과정이 데이터 전처리라면, scripted field는 데이터 후처리라고 할 수 있다 다음은 웹로그 중 요청 메소드와 응답코드 발생 현황. 두 필드를 합치고 싶다면?...

Desktop 및 스마트폰의 대중화로 다양한 OS와 브라우저들을 사용하게 되었다. 이때, 내가 운영하는 웹서버에 들어오는 사람들은 무슨 기기로 접속을 하는 것일까? 혹여 특정 OS의 특정 브라우저에서만 안되는 버그를 잡기 위해 몇일밤을 고생하며 겨우 수정했는데… 과연 그 OS의 브라우저에서는 접속은 하기나 하는걸까? (ㅠㅠ) 만약, 접속 사용자의 Device 정보를 알고있다면 고생하며 버그를 잡기 전에 먼저 해당 Device 사용율을 체크해 볼수도 있고(수정이 아닌 간단한 얼럿으로 해결한다거나?) 비지니스 모델까지 생각해야하는 서비스라면 타겟팅을 정하는 등 다양한 활용도가 높은 것이 바로...

ELK 스택 삼대장 중 키바나를 개발한 '라쉬드 칸(Rashid Khan)'이 비행기 타고 가다 뚝딱 만들었다는 timelion. 이름에서 알 수 있듯이 timelion은 시계열 데이터 분석에 특화되어 있으며, 함수 형식의 표현식을 사용한다. 자동완성을 지원하기 때문에, 학습도 그리 어렵지 않은 편. 웹서버 접속자의 국가별 발생 추이를 그려보자. 다음은 상위 5개의 접속국가 추이를 그려주는 표현식 '.es(split=geoip.country_name:5)'의 사용 결과. 아무 것도 안 그려진다. 뭐지? 접속 기록이 없다는 건가? 그건 아닌 것 같고, timelion이 아예 동작을 안 한 것 같다. 표현식은 맞는데(..) 인덱스명을 추가해봤다....

일반로그의 이상징후 분석은 쉽다 고 얘기했었는데, 그렇다고 로그에서 이상징후가 알아서 툭 튀어나오지는 않는다.  저번에 응답코드 404 발생 건수 변화 추적을 통해 이상징후를 포착하는 과정을 살펴봤었는데, 그때 파일 확장자 발생 개수 조건을 참고하면 판단이 조금은 쉬워진다는 사실을 알 수 있었다. 흔한 상관분석 시나리오. 사례를 하나만 더 살펴보자. 응답코드 500은 웹서버가 사용자 요청 처리에 실패하고 드러누웠음을 뜻한다. 보안은 물론, 시스템 운영 관점에서도 단골 분석 대상이라는 얘기....

멜론에서 ES, Kibana를 통한 통계시스템을 구축하고 있습니다. 다양한 내부사용자가 키바나를 사용할 예정이라 인증 및 권한 컨트롤에 대해 고민하고 찾아보게 되었습니다. 따라서 ES의 데이터를 및 키바나 사용권한을 컨트롤 할 수 있는 무료 오픈소스 플러그인 살펴보았습니다....

키바나를 사용하면 권한을 달리 하여 조회해야 할 필요성이 있습니다.결국 키바나 및 ES에 “인증”에 대한 authentication과 authorization 기능이 필요합니다. 이때 authentication을 매 시스템마다 늘리면 나중에 관리 포인트가 늘어나므로 기존에 존재하는 LDAP과 연동하는 기능을 알아보고 내용 정리하여 공유 합니다....

엘라스틱서치/키바나를 사용하며 인증(authentication)을 적용해야 하는 필요성을 느꼈습니다. 그래서 방법을 모색 후 ES 5.x 이상 버전에서 적용 가능한 인증 적용 방법을 정리하여 공유합니다. 아래의 방법은 개인목적이나 소규모의 ES 사용환경에서는 사용할만 할듯 합니다. 중대규모 클러스터나 상용 환경은 관리 측면이나 성능 저하가 없는지 등을 고려해봐야 할듯 합니다....