제일 쉬운 로그 분석

popit에 처음 글 올립니다. 저는 주로 IDS 등 네트워크 보안장비 로그 분석하는 일을 해왔구요. 앞으로 로그 분석이나 보안 관련된 개인적인 경험을 풀어볼까 합니다. 첫번째 주제는 '보안 분야의 로그 분석에 대한 인식'입니다. 지적 많이 해주시구요. 편의상 경어는 생략합니다.

어느 기관 강의하러 갔다가 생긴 일

좀 높으신 듯한 분과 점심을 먹었는데 어떤 과목을 강의하냐 묻기에 '로그 분석'이라 답했더니 한마디 하시더라.

"제일 쉬운 거네" (참 예리하시다고 답해드렸음. ㅡㅡ)

솔직히 쉽다. 로그란 게 어차피 다 문자열이니 읽고 이해하면 끝. 이해가 안 가면 구글신께 물어봐도 되고. 그런데 2012년 SANS에서 발표한 재미있는 설문 조사 결과가 있다.

로그 분석에 할애하는 시간이 주당 몇 시간에 불과하다는 응답이 가장 많다. 그 정도의 시간만 투자하면 로그 분석이 끝난다는 뜻일까? 보고서는 갈수록 로그량은 증가하고 있지만, 정작 분석은 제대로 이루어지지 못하는 현실을 지적하고 있다.

갈수록 로그 분석의 중요성이 커지고 있음에도 왜 제대로 이루어지지 않을까? 보안 담당자들이 게으름을 피우느라 주당 몇 시간만 일하고 있는 것일까?

로그 분석이 잘 안 되는 이유

개인적인 경험에 비춰봤을 때, 로그 분석에 집중하지 못하는 가장 큰 이유는, 일단 바빠서였다(..) 하루가 멀다하고 업계지 지면을 장식하는 공포 마케팅 대응(상사님 안심시키기)하고, 훈련하고, 이슈(북한이 미사일 쐈으니까, 명절/연말이니까) 따라 비상근무 계획 세우고 등등.

두번째 이유는 그냥 로그가 너무 많다. 10G 네트워크에서 IDS를 운영하다 보면 하루에 천만 개 이상의 로그 발생을 경험하는 것도 그리 어렵지 않다.

보안 분야도 빅데이터가 유행한지 꽤 됐는데 로그 천만 개 처리가 어렵나? 할 수도 있겠다. 수집/저장이야 빅데이터에겐 껌이겠지만 분석은 약간 얘기가 다르다. 충분한 이해를 바탕으로 한 대부분의 로그 분석은 최종적으로 갯수만 세면 된다.

거래량 추이와 주가

대부분의 로그는 주식 거래량처럼 발생한 사실이 가공되지 않고, 원본 그대로의 맥락이 유지되기 때문에 갯수의 변화에 의미를 부여할 수 있다. 로그를 의심할 필요가 없다는 얘기.

그런데 IDS와 같은 보안장비는 패턴매칭을 통해 트래픽이나, 웹/서버 로그를 필터링한다. 알려진 해킹 패턴으로 거르면 좀 더 경제적인 로그 분석이 가능해지기 때문인데, 문제는 그 과정이 의도대로만 동작하지는 않는다는 것이다.

해킹 패턴으로 걸러도 모두 해킹의 맥락을 갖지는 않는다는 얘기. (룰 정확도가 낮아서 발생하는 문제인데, 이 얘기는 나중에 기회봐서) 그래서 로그를 하나하나 까봐야만 의미 부여가 가능한 게 보안 로그 분석이다.  잘 될 리가 없음.

이런 상황임에도 어쩌다 로그 분석이 쉽다는 선입견이 생겼을까? ('로그 포렌식'으로 용어를 바꾸면 쉽다는 생각을 안 할까?) 사고가 터진 후 이루어지는 로그 분석은 쉽기 때문이다.

왜 쉬울까? 사고가 발생했다는 얘기는 피해자나 공격자 정보가 이미 알려졌다는 얘기. '피해자'라는 힌트가 있고, '공격자'라는 타겟이 있기 때문에 분석 범위가 극적으로 좁혀진다. 쉬울 수 밖에.

비효율적일 수 밖에 없는 환경

결정적으로 사전 예방보다는 사후 대응이 티가 더 잘 난다. 해킹을 막으면 해킹이 아니기 때문.

'더 테러 라이브'의 한 장면

이런 배경 때문에 아무리 좋은 기술도 보안 분야에서는 빛을 보기 어렵다고 생각한다. 보안 분야에서 패턴매칭을 이용하는 이유는 로그가 너무 많기 때문인데, 이제 빅데이터 세상이니 갯수 변화 추적을 통한 이상징후 분석쯤 맘만 먹으면 어렵지 않다.

문제는 세상은 생각보다 아름다워서 비정상보다는 그래도 정상이 더 많다는 것이다. 이상징후 분석 열심히 해도 일한 티가 잘 안 날 수 있다는 얘기.

자신의 존재 가치를 입증할 수 있느냐는 생존의 문제다. 티 내기 쉬운 일을 선택하는 것이 인지상정. 그래서 진정한 IT 강국, 미국도 보안 분야는 우리랑 별반 차이가 없다.

그럼에도 사후 대응이 티가 더 잘 난다

최선은 무엇일까?

잘못 사용하면 대량 오탐이란 치명적 문제가 발생함에도 '알려진 해킹 패턴'이란 뚜렷한 잇점을 가지고 있는 패턴매칭 보안 체계가 쉽게 사라지진 않을 것이다. 결국 빅데이터 등을 이용한 이상징후 분석 체계와의 병행을 통한 상호보완 체계 수립이 최선이라 생각한다. 문제는 돈.ㅡㅡ;

보안은 기본적으로 돈을 까먹는 분야라서 그런지, 비싼 시스템은 사줘도 인력이나 조직에 대한 지원은 잘 안 해주더라. 그래서 미국발 최신기술만 찬양하다가 끝날 때가 많다. 왜 그럴까? IT 기술 발전의 역효과를 뜻하는 '생산성 역설'이란 용어가 있다.

"'생산성 역설(productivity paradox)'은 최근 들어 더욱 뚜렷이 모습을 드러내고 있다. 예컨대 (컴퓨터도 제대로 보급되지 않았던) 1947년부터 1983년까지 미국의 노동생산성 증가율은 평균 2.8%였다. 하지만 (인터넷 사용이 보편화된) 2000부터 2007년 사이 비율은 오히려 2.6%로 떨어졌다. '스마트폰 혁명'이 일어난 2007년부터 2014년 사이는 어땠을까? 정확히 반토막이 난 1.3%였다."

'생산성 역설'이 나타나는 이유는 무엇일까?

"‘제도’가 구비되어 있지 않았기 때문이다. 교육제도와 노동조직 등이 적절하게 준비되지 않으면 컴퓨터를 아무리 많이 설치하더라도 생산성은 정체된다. 기술과 제도는 공진화(co-evolution)한다. 따라서 컴퓨터 시설에 맞는 제도를 마련하자."

시스템이 인력과 조직에 내재화되고, 기본 프로세스가 되기까지 시간이 필요하며, 비싼 시스템의 뽕을 뽑으려면 인력과 조직에 대한 지원이 뒤따라야 한다는 얘기. 쌀로 밥 짓는 것처럼 당연하지만, 잘 지켜지지 않는 그런 얘기.

잘 모르겠다. 수단인 기술을 목적과 혼동하지만 않는다면 보안도 좀 재밌어질래나?