%EC%97%98%EB%9D%BC%EC%8A%A4%ED%8B%B1%EC%84%9C%EC%B9%98
2020-05-14
엘라스틱 머신러닝이 7.6 버전부터 지도학습 (supervised learning) 을 지원한다. 얼마나 잘 동작하는지 IDS 로그에 적용해보자. 다음 글을 참고했다. 새로 나온 이 영화 재미있을까? 학습 데이터는 1로 라벨링된 887개의 정탐과 0으로 라벨링된 6,700여 개의 오탐이 섞인 제일 만만한 sql injection 탐지 로그. 정탐 오탐 모델 학습 학습 데이터를 sqland-learning이란 인덱스에 저장 후, Machine Learning > Data Frame Analysis > Create analytics job 메뉴 클릭. ① 작업 유형은 classification...
2018-07-20
저번 포스팅에서는 라라벨 프레임워크 - 엘라스틱서치 사용 경험기 1편을 통해 엘라스틱서치를 사용하는 데 필요한 초기 작업에 대해 알아봤다. 주로 라라벨 프레임워크와 엘라스틱서치의 연동 그리고 기존의 데이터를 엘라스틱서치의 문서로 색인하는 작업을 진행했는데 오늘은 1편에 이어서 엘라스틱서치를 사용하면서 필요한 문서 관리 작업 수행에 대한 포스팅을 작성하고자 한다. 목차는 다음과 같다. 목차 라라벨 프레임워크 - 엘라스틱서치 사용 경험기 : 초기 작업 수행...
2018-07-17
요즘에는 검색엔진으로 엘라스틱서치를 워낙 많이 사용하다 보니까 여차여차 나도 스프링, 레일즈에서 엘라스틱서치를 구축했던 경험이 있다. 이번에는 라라벨 프레임워크에서 엘라스틱서치를 사용할 기회가 생겨 그 경험을 정리하기 위해서 포스팅한다. 목차는 다음과 같이 구성되어있다. 목차 라라벨 프레임워크 - 엘라스틱서치 사용 경험기 : 초기 작업 수행(현재) 라라벨 프레임워크 - 엘라스틱서치 사용 경험기 : 문서 관리 작업 수행 엘라스틱서치를 라라벨 프레임워크에서 사용하기 전에 엘라스틱서치를 구축하는 방법을 알아보면 보통 아래의 3가지 방법이 있다....
2018-04-17
제목이 너무 도발적인가? 지금 이순간에도 대규모, 대용량 환경에서 성능 등의 문제로 골머리 썩는 분들에겐 죄송 (..) 하지만 엘라스틱을 데이터 분석툴로 활용하는 입장에서는 쉬우니 쉽다고 할 수 밖에. 처음 접한 건 작년 여름, 데이터 분석 서비스를 제공하는 logz.io 를 통해서였다. 사실 데이터 분석 분야에서 엘라스틱이라는 오픈소스가 유행이라는 얘기는 들어왔지만, IDS 등 사실 관계가 '해킹' 맥락으로 필터링된, 한마디로 부정확한 데이터를 분석하는 입장에서 별로 관심이 없었다. 장비 구축이 전부인 분위기에서 '통합'으로 한 번 홀리고, 화려한 '비주얼'로 한 번 더 홀리는 SIEM류의 툴이 득세하는 바람에 보안관제 분야가 발전하지 못하고 있다는 생각을 오랫동안 해왔기 때문에 일부러 무시한 측면도 좀 있고. 하지만 실체를 보고나서는 생각이 바뀌었다....
2018-03-25
엘라스틱서치 검색 시 특수문자가 포함된 키워드를 검색해야 하는 경우가 있는데 기본 방식에서는 검색이 되지 않고 특별한 처리를 해야 가능하다....
2017-07-10
멜론에서 ES, Kibana를 통한 통계시스템을 구축하고 있습니다. 다양한 내부사용자가 키바나를 사용할 예정이라 인증 및 권한 컨트롤에 대해 고민하고 찾아보게 되었습니다. 따라서 ES의 데이터를 및 키바나 사용권한을 컨트롤 할 수 있는 무료 오픈소스 플러그인 살펴보았습니다....
2017-07-02
키바나를 사용하면 권한을 달리 하여 조회해야 할 필요성이 있습니다.결국 키바나 및 ES에 “인증”에 대한 authentication과 authorization 기능이 필요합니다.
이때 authentication을 매 시스템마다 늘리면 나중에 관리 포인트가 늘어나므로 기존에 존재하는 LDAP과 연동하는 기능을 알아보고 내용 정리하여 공유 합니다....
2017-03-06
ES를 운영하다보면 버전 업그레이드나 플러그인 설치 혹은 elasticsearch.yml 변경으로 인해 노드들을 재시작 할 필요성이 있다. 상용환경에서 ES를 운영하면 클러스터에 속한 노드가 2대 이상일 가능성이 있고 이 클러스터가 상용 트래픽을 받으며 재시작을 하려면 순차적 재시작(Rolling Restart)를 수행해야 한다. 이때 유의할 점을 TODO 리스트로 정리하여 포스팅 한다....
2017-02-15
엘라스틱서치/키바나를 사용하며 인증(authentication)을 적용해야 하는 필요성을 느꼈습니다. 그래서 방법을 모색 후 ES 5.x 이상 버전에서 적용 가능한 인증 적용 방법을 정리하여 공유합니다. 아래의 방법은 개인목적이나 소규모의 ES 사용환경에서는 사용할만 할듯 합니다. 중대규모 클러스터나 상용 환경은 관리 측면이나 성능 저하가 없는지 등을 고려해봐야 할듯 합니다....
2016-12-28
해당 글은 엘라스틱서치(이하 ES)가 어떻게 구동이 되는지 소스코드 레벨에서 따라가 보는것을 목적으로 합니다. ES 소스에 대한 궁금증을 해결하고 오픈소스 코드를 분석을 하여 실력을 늘리는데 목적이 있습니다....
더보기