[SKT DEVOCEAN YOUNG] 데보션 tech 행사 후기 - Kafka 한국사용자 모임

데보션 활동을 돌이켜보니 정말 많은 세미나, 행사에 참여할 기회도 많이 주어졌던 것 같다. 이번에 작성할 글은 그 중 5월에 진행되었던 Kafka 한국사용자 모임 밋업이다.

 

2024년 5월 23일 SKT타워 4층 Supex홀에서 진행된 KAFKA MEETUP은 Kafka 한국 사용자 모임에 계신 분들께서 카프카 사용 경험, 인사이트 등을 발표 형식으로 공유하는 방식이었다.

 

크게 두 개의 발표가 있었는데, 자세한 진행 스케줄은 아래 사진에서 볼 수 있다.

❶ 이커머스 환경에서의 카프카 클러스터 구축기 (심재민님) ❷ Kafka에서 protobuf 사용하기 (이동진님) 

 

 

 

강연을 들으며 정리했던 내용은 여기 노션 링크로 첨부해 두고, 블로그에서는 느낀점 위주로 작성하려고 한다.

 

❶ 이커머스 환경에서의 카프카 구축기

첫번째 세션에서는 Gmarket의 주문, 검색엔진에 Kafka를 도입하게 된 배경과 각 과정, 개선 결과를 알아볼 수 있었다. 주문뿐만 아니라 다른 비즈니스 전반에 공용으로 사용될 수 있다는 것이 너무 신기했다 😎 또, 구현에서 끝나는 것이 아니라 사내 전체에서 사용할 수 있는 어드민, 메타 데이터를 정의하여 사내 가이드로 사용하는 방식 등을 고민했던 부분이 인상깊었다! 

 

이전 골프존 커머스 인턴 당시, 팀장님께서 키워드 알림을 Redis로 구현하는 방식을 PoC 해보라고 하셨었는데 그때 처음 이벤트 큐 개념과 RabbitMQ, Kafka라는 것이 있다는 것을 알았었다. (다른 업무들 우선순위에 밀려 결국 진행하진 않고 조사만 하고 끝났지만 ㅎㅎ.. ) 

 

실제 회사에서는 이벤트 큐를 어떻게 사용하는지 너무 궁금했었는데, 비즈니스 전반적으로 사용된다는 게 너무 신기했다.

 

❷ Kafka에서 protobuf 사용하기

두번째 세션에서는 메시지에 저장되는 객체를 Protobuf와 Schema Registry를 이용해 개선하는 방식에 대해 알아볼 수 있었다.

Json을 직렬화하면 발생하는 문제점과 이를 해결하는 방안으로 제시해 주셨었다.

1. 극단적으로 단순한 data type에서만 쓸 수 있다 → Protobuf

2. Producer, Consumer 수가 늘어면 유지보수가 어렵다 → Schema Registry

 

단순히 이걸 무조건 사용해라!가 아니라 사용 배경과 여러 라이브러리의 비교, 그리고 최근 뉴스를 바탕으로 말씀해주셔서 더더욱 몰입하면서 들을 수 있었다. 또, 이전에 안드로이드 개발을 하면서도 데이터를 Serialize/Deserialize할 일이 있었지만, 동작 원리에 대해서는 고민해본 적이 없었던 것 같다 😭 이 점에 대해서도 반성하고, 내가 사용하는 Gson 라이브러리가 어떤 식으로 동작했는지 알아보고 싶다는 호기심을 갖게 되는 좋은 시간이었다! 

 

---

 

사실 너무 어렵고 아직 생소한 내용이라 잘못된 내용을 작성했을지도 모르겠다... 그치만 사실 세미나는 내용도 중요하지만, 그 공간에 있는 사람들로부터 받는 자극도 큰 도움이 된다고 생각한다! 퇴근 후에도 세미나에 참여해 서로 지식을 나누시는 모습이 너무 큰 자극이 되었고, 몇 년 후에는 나도 사람들과 함께 저의 경험담을 나눌 수 있었으면 좋겠다는 생각을 하게 되었다! 🙄🔥