AWSKRUG 신년 콘퍼런스 참관 후기 #2
AWSKRUG 신년 콘퍼런스 참관 후기 #2
부제: 어디 쓰는 물건인고?
- 지난 이야기: AWSKRUG 신년 콘퍼런스 참관 후기 #1
지난 시간에는 AWSKRUG 신년 콘퍼런스 행사장의 분위기와
윤석찬 에반젤리스트의 AWS re:Invent 신제품 총정리 중 일부 내용을 소개해 드렸습니다.
이번 시간에는 본격적으로 본 세션 내용으로 들어갑니다.
AWS 쓰는 것이 복잡해? 그렇다면 가볍게 항해하자, Lightsail!
첫 포문을 연 것은 당근마켓 정창훈님입니다.
참고로 당근마켓은 지역 중고 거래 서비스입니다.
당근 말고도 많은 중고 물품이 올라오고 있습니다.
정창훈님은 AWSKRUG 소모임에 여러 번 세션 발표를 하셨는데
실제 경험담 위주로 좋은 건 좋은 대로, 깔 것은 까시는 분이라
약팔이 걱정말고 믿고 봐도 됩니다.
참고로 지난 번 모임에서는 서비스상 제한된 리미트 상한선도
전화해서 조르면 상향 조정해주더라.. 라는 비공식 팁까지 공유해주셨습니다.
(이런 것이 오프라인 모임의 묘미)
암튼, 다뤄준 신규 서비스는 Lightsail 인데 이게 좀 재미있습니다.
AWS 서비스의 특징이 각종 단위 기능들을 쭈욱 늘어놓고
레고 부품처럼 조립해서 쓰는 형식이라
단위 기능에 대한 기본적인 이해와
전체 그림이 머릿속에 있어야 어느 정도 그럴싸한 시스템 구성을 할 수 있습니다.
물론 이건 시스템 구성도는 그릴 수 있는 분들의 이야기이고
그게 아니라면 그냥 개인 PC에 Linux 깔아서 쓰는 것처럼
이것저것 다 깔아 쓰듯이 EC2 인스턴스에 웹서버 깔고 WAS 깔고 DB 깔게 되는데요
딱 이런 유즈케이스에 잘 맞는 것이 Lightsail입니다.
사실 부끄럽게도 VPS(Virtual Private Server)라는 단어를 이 날 처음 알았습니다.
그냥 가상 서버 만지작 거리면서 가상 인스턴스 정도의 단어 컨셉은 알았지만
이런 VPS라는 단어로 정의하는 컨셉이 있는 줄은 몰랐네요.
이건 나중에 검색을 해보면서 생각을 정리해봐야 겠습니다.
그리고 디지털 오션도 기술 문서가 잘 공개된 호스팅 업체 정도로 봤는데
제가 대충대충 봤나봅니다.
역시 전산은 혼자 공부하면 안된다는 걸 새삼 다시 깨닫게 되는군요.
(뭐라도 주워들어야 자신의 구멍을 찾을 수 있다는)
암튼 잠깐 이야기가 새었는데
지금 보니 Lightsail 사진을 거의 안찍어서 설명하기가 좀 쬐는데
제가 받은 인상과 정창훈님의 설명, 윤석찬님의 코멘트를 정리해보면 대충 이렇습니다.
기존의 AWS 서비스 조립 방식에서 해방될 수 있음
- 방화벽, 보안 키, 공용 IP 등등 복잡한 설정을 하나하나 할 필요 없음
- 차려진 밥상에 숟가락 들고 퍼먹으면 됨
- 세부적인 튜닝 필요없이 대충 맞는 크기 골라쓰면 됨
요금 계산한다고 계산기 두드릴 필요 없음
- 대략 최대 사용료로 월 얼마.. 안쓰면 그보다 줄어드는 요금 체계임
- 휴대폰 요금제를 골랐는데 안쓰니까 그것보다 적게 나오더라.. 라는 느낌임
- 요금제 안에 통화료, 데이터 이용료, .. 등등의 요금이 포함된 느낌
- 홈 쇼핑에 잭필드 신사 바지 3종 세트를 39,900원에 파는 느낌
개인 블로그나 중소 규모 회사의 홈페이지 운영에 적합해 보임
- 가상 서버에 공개 IP 있고 웹서버 있고 DB 서버 있는 많이 쓰는 패턴으로 활용 가능
- 대충 보니 워드프레스, 깃랩, 래드마인 등 이미 셋업된 것들이 있음
- 느낌이 딱 Bitnami를 AWS에 올린 느낌 (나중에 질문해보니 Bitnami 맞다고 함 ㅎㅎ)
- 중소 규모 개발사에서 형상 관리, 이슈 관리 등의 개발 환경 구성으로 가볍게 사용 가능할 듯
- 그래픽 디자이너들의 포트 폴리오 공개용 홈페이지를 워드 프레스로 활용해도 될 듯
- 규모가 크지 않은 업무용 웹 애플리케이션이 여러 개 있다면 담당자별로 하나씩 할당해줘도 될 듯
사실, 제가 중소규모 회사의 홈페이지라고 말은 했지만
대기업이라고 하더라도 각 서비스별로, 제품별로, 이벤트별로 홈페이지를 운영하기도 하는데
어차피 웹 기반 기업 시스템이 아닌 다음에야
다 이걸로 뚝딱뚝딱 뽑아 올려도 될 것 같습니다.
관련 문서
개인적으로는 SI 프로젝트 하던 시절에
협력업체 개발자가 검색하기 쉽도록 네이버 블로그에
온갖 팁들을 올렸었는데
NAS에 만들어둔 위키를 여기로 옮겨볼까 고민중입니다.
개인 토이 프로젝트 관리 용도로 레드마인 써 보는 것도 좋아 보입니다.
사실, 웹 디자이너들은 포트 폴리오 올린다고
웹 호스팅 업체 월 얼마씩 고정 금액 내게 되는데
이직할 때만 잠깐 잠깐 켜서 써도 될 것 같다는 생각이 드네요.
쌓인 로그를 별도 가공없이 SQL로 검색 되나? Athena?
다음은 Athena 입니다.
참고로 SDS의 애플리케이션 프레임워크 아닙니다.
(Athena -> SYSTEMiER -> Anyframe, ...
아.. SI 현장 뛰면서 땀내 나던 젊은 날이 생각나서 눙물이... ㅜㅜ)
발표자는 커플 메신저 비트윈으로 유명한 VCNC의 김명보님입니다.
김명보님은 AWSKRUG 소모임에서 VCNC의 노하우를 종종 공유해주시는데
AWS 카르타 한국 대표이기도 합니다.
작년 일본 AWS 사용자 모임인 JAWS-UG와 AWS 카르타 한일전이 있었는데
카르타의 본고장 일본을 꺾고 한국이 첫 승을 올리는데 기여하셨습니다.
암튼, VCNC가 제공하는 비트윈 서비스는 커플 메신저인데
커플끼리 사진 공유가 잦고 주고 받을 메시지가 많으면 한번 써보세요.
부부간이라도 애틋한 느낌 가질 수 있습니다.
암튼 이야기가 많이 옆으로 새었는데 다시 돌아가보면
Athena는 로그 파일에 대고 별 다른 가공 처리 없이
SQL을 날리면 데이터를 뽑아 먹을 수 있는 녀석입니다.
예전에 Hadoop, Spark 등으로 해줬던 일들을
AWS 안에서 바로 사용이 가능한 것인데
내용을 들어보니 Facebook의 Presto를 확장한 것으로 보입니다.
AWS는 이렇게 소위 잘 나가는 기술들을 확장해서
기존 시스템과 연동되게 만들어 기존 유저들을 품어버리는 전략을 잘 구사합니다.
(서로의 기술을 까면서 경쟁하는 대신 품어버리는 놀라운 전략 +ㅁ+)
실제로 VCNC에서는 위와 같은 형태로 로그를 S3(오브젝트 스토리지)에 저장하고
Spark 클러스터로 일일 단위 분석을 한 다음
Zeppelin을 화면을 뽑아 올리는 구조를 사용했다고 합니다.
AWS를 사용해보신 분들은 알겠지만 AWS의 자원이라는 것이
사용한 만큼 돈을 내기 때문에 꼭 써야 할 때면 켜고 안쓸 때는 끄는 것이 일반적입니다.
그러다보니 온 디맨드로 처리할수록 유리한데
짧은 시간에 잠시 쓰기 위해 켜고 내리는데 3~5분이 걸린다고
AS-IS의 문제점을 꼽으시더군요.
(3~5분이 어때서! 이게 뭐얏, 너무 배가 부르잖아욧!)
암튼, 이걸 해결하기 위해 Athena를 썼단 얘긴데
before, after를 잠깐 살펴보겠습니다.
Before
After
네.. 뭐가 뚝 떨어져 나갔습니다.
Spark 덜어내고 Athena 붙였더라구요.
으앗! 나는 아직 업무에 써보지도 못한 Spark를 벌써 쓰고 버리다니! ㅜㅜ
이런 금수저 개발자 같으니라구! (염장질 지대로.. ㅜㅜ)
암튼.. 그래서 지금은 Zeppelin을 바로 올려서 쓴다고 합니다.
(Zeppelin은 사랑입니다. ㅜㅜ)
네, 저거 SQL입니다.
그러면 저런게 나온답니다.
로그 파일을 별도로 가공도 안했는데...
오브젝트 스토리지 버킷에 그냥 들어 있을 뿐인데...
그걸 그냥 SQL 날려서...
우웃.. 멋있어 ㅜㅜ
SI 프로젝트 하던 가락이었다면
저 화면 하나 뽑아내기 위해
3개월짜리 프로젝트 하나 돌렸겠죠.
로그 패턴 분석하고, 데이터 정제하고
시각화 툴 PoC 하고, 쓰지도 않는 차트 지원되니 안되니 따지고 있고
높은 분이 난 저 색깔 싫어, 글자 작아, 그러면 그걸 또 시안 만들어서 컴펌 받으러 다니고...
그런데 그런 것이 이젠 그냥 됩니다.
원하는 화면이나 원하는 레이아웃이 아닐지 모르지만
그런 사치는 프로젝트 안해도 되는 걸 생각해서
참아보기로 합시다. 제발
암튼, 이것만해도 멋지다고 박수치고 노래 부를 판에
뭐가 더 아쉬운지 이런 얘길 하시네요.
발음하기도 어려워지는 Parquet라는 걸 사용하면
기존의 로그 포맷보다 읽기가 쉬워져서
원하는 데이터에 접근하기가 더 빨라진다고 하는군요.
AWS는 리소스를 사용하는 것이 곧 돈이니
비용 절감도 되니 이건 뭐 고려안해볼 수 없는 노릇이군요.
시스템에 신 기술을 도입하고
기존의 구조를 변경함에 있어서
이보다 더 직접적이고 체감되는 동기 부여가 또 있을까요?
기존의 SI라면 변화 자체가 쉽지 않기 때문에
그걸 변화시키기 위해서 온갖 장단점 분석하고
영향도 분석하고 투자대비 효과를 계산하고
상무님, 전무님 결재 라인 넘나들면서 설득하고
현업 담당자 술 사먹이면서 협조 요청하는데
아.. 이건 대체 뭔가요.
라스베가스 다녀온지 얼마나 되었다고
뚝딱 이걸 해 냅니다.
전에는 썸네일 이미지 변환을 서버리스 람다로 처리해서
그것도 비용 절감 엄청 했다더니
암튼 대단합니다.
다음 이야기
내용이 길어지면 읽기 불편할까봐 오늘은 여기서 마무리합니다.
(실은 제가 지쳐서 ㅜㅜ)
참고로 남은 내용들은 아래와 같습니다.
- Lex (음성 인식)
- Step Function (람다 흐름처리)
- Blox (컨테이너)
- IoT (유동인구 분석)
아직 놀랍고 신기한 기능들이 더 있고
이걸 또 놀랍고 신기하게 활용하는 분들의 이야기가 더 남아 있습니다.
현장에서 보고 싶으신 분은 AWSKRUG 모니터링 하시면서
오프라인 모임 한번 오세요.
그럼 다음 이 시간에...