Distributed tracing 도입기 - Microservice architecture에서의 debugging (+istio)

istio 에 jeager tracing 을 붙여서 성능을 개선하고, troubleshooting 한 사례가 소개 되었습니다.

 

https://if.kakao.com/session/94

if(kakao)2021

 

pdf : https://t1.kakaocdn.net/service_if_kakao_prod/file/file-1636526486542

 

GX ; Ground X - kakao 의 block chain platfrom 관련 서비스

 

Infrastructure stack

 

Jaeger 선택 사유 - k8s & istio 와 좋은 호환성

 

아래 처럼 별도 설치 없이, istio 배포시 config 을 추가로 해주면 됨

; 특이한 것은 format 은 zipkin 것을 사용 ; zipkin -> jaeger migration 편의를 위해 그랬을 듯

 

Distributed tracing stack

 

Architecture

; jager agent 가 istio-proxy 랑 붙어있어야 할 것 같은데, Jaeger collector 와 붙어 있는게 신기 했음

 

 

Jaeger UI

tags 들

 

Troubleshooting 사례로, ratelimit 초과 사례가 소개 되었음

 

성능개선 사례로, 중복 메소드(klay_blockNumber)를 찾아내는 사례가 소개 됨

 

장점

 

단점

 

Todo 로 Alert system 과 integration 과 스펙 고도화가 소개 됨

 

아쉬운점

성능 문제로 Collector -> Kafka -> Storage 구조를 고민하게 되는데, 그에 대한 설명이 없었음

또,  Storage 로 무엇을 썼는지, 성능 관련 문제는 없었는지, 튜닝 사례가 있었는지  설명이 없었음

 

 

참고 

 

Jaeger

https://medium.com/jaegertracing/jaeger-persistent-storage-with-elasticsearch-cassandra-kafka-f3c6c680a58c

 

 

Istio

https://istio.io/

 

 

예전에 었던 Mixer 는 Pilot 에 흡수 통합됨

https://www.alibabacloud.com/blog/architecture-analysis-of-istio-the-most-popular-service-mesh-project_597010

 

 

최신버전 한글 설명

https://velog.io/@beryl/Istio-%EA%B0%9C%EB%85%90

 

 

envoy-proxy : https://www.envoyproxy.io/docs/envoy/latest/configuration/overview/overview

- envoy : 외교 사절, 특사 라는 뜻

- citadel : 성채라는 뜻