if kakao
-
If Kakao 장애 재발 방지 에서 얻는 교훈 - CI/CD, Image RegistrySemina/CICD 2022. 12. 14. 14:24
이런 저런 이유로 장애가 발생할 수 있다. 큰 장애가 나면, 종종 운영관리 툴들도 같이 죽는 경우가 종종 있는데, If Kakao 장애 재발 방지 동영상에서, 이 문제가 2nd 우선 순위로 다루어 졌다. 1. 운영 관리 툴 이중화 큰 장애가 발생했는데, 이를 복구할 운영 관리툴도 같이 죽었다. AD ( Active Directory) SCM (Git ) CI/CD Wiki / Jira 그래서, 카카오 복구가 지연됐다고 한다. 특히 앱배포에 어려움을 겪었다고 한다. 그리고 언급은 안돼었지만, 개발망도 Main DC 에만 있는 경우가 많다. 개발망이 죽으면, 당장 서비스에 영향은 없지만, 복구를 위한 개발/수정 작업에 영향을 미친다. 2. image registry 이중화, 대역폭 이미 우리도 겪고 있는 문..
-
Distributed tracing 도입기 - Microservice architecture에서의 debugging (+istio)Semina/Monitoring 2021. 12. 19. 16:53
istio 에 jeager tracing 을 붙여서 성능을 개선하고, troubleshooting 한 사례가 소개 되었습니다. https://if.kakao.com/session/94 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com pdf : https://t1.kakaocdn.net/service_if_kakao_prod/file/file-1636526486542 GX ; Ground X - kakao 의 block chain platfrom 관련 서비스 Infrastructure stack Jaeger 선택 사유 - k8s & istio 와 좋은 호환성 아래 처럼 별도 설치 없이, istio 배포시 config 을 추가로 해주면 됨 ; 특이한 것은 format 은 zipk..
-
혼자서 퍼블릭 클라우드 전체를 배포하는 방법Semina/CICD 2021. 12. 19. 16:16
CI/CD 인데, 애플리케이션 배포가 아닌, on demand Cloud 환경등을 Tekton 을 이용하여 배포하는 방법에 대해 소개하고 있습니다. https://if.kakao.com/session/81 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com pdf : https://t1.kakaocdn.net/service_if_kakao_prod/file/file-1636526524996 쿠버네티스와 오픈스택 오픈스택: 클라우드 인프라스트럭처에 서비스를 제공하는 소프트웨어 집합 - SDN, virtual machine, object storage, block storage... 20여 개 서비스를 배포해야 함 openstack 관리의 어려움을 덜기 위해 쿠버네티스 등장 open..