[학습 테스트로 배워보는 kafka] 7. 학습 테스트로 consumer group 과 rebalancing 알아보기

---

해당 시리즈에서 제공하는 모든 소스코드는 github repository 에서 제공됩니다. 자세한 코드와 테스트 케이스는 github repository 에서 확인해주세요.

GitHub - my-research/kafka: apache kafka docs & practical usages(with spring) that i composed

이번 [학습 테스트로 배워보는 kafka] 시리즈는 아래 순서대로 챕터가 구성되고, 시리즈 외로 kafka 관련하여 더욱 많은 학습 정보는 kafka 심화 세션 에서 확인할 수 있습니다.

시리즈 목차

1. 시리즈를 시작하며
2. kafka 빠르게 훑어보고 아는체하기
3. kafka 컨셉과 용어 정리
4. 학습테스트 준비하기
5. 학습 테스트로 kafka producer 알아보기
6. 학습 테스트로 kafka consumer 알아보기
7. 학습 테스트로 partitioning 알아보기
8. 학습 테스트로 consumer group 과 rebalancing 알아보기 <-- 현재 글

학습의 단계별 순서로 목차가 구성되어있으므로 선행되어야 하는 챕터가 존재합니다

---

consumer group

 

카프카에는 컨슈머 그룹이라는 개념이 존재한다.

 

여러 개의 컨슈머들을 하나의 그룹으로 묶어서 메시지를 처리하는 방법을 의미한다.

 

컨슈머 그룹은 단순하게 컨슈머의 갯수를 늘린것이 아니다.

 

컨슈머 그룹은 single logical consumer 이다.

 

실제 우리가 작성하는 애플리케이션의 consumer 를 physical consumer 라고 할 때, 동일한 처리를 하는 consumer 들을 논리적 하나로 묶어놓은게 바로 consumer group 이다.

 

이렇게만 말해서는 이해가 잘 안될 수 있으니 그림으로 알아보도록 하자

 

consumer scaling 과 consumer group 의 관계

 

다음과 같이 consumer 가 있다고 가정해보자

 

 

이 consuemr 는 하나의 토픽에 대해서 message 2번까지 처리를 완료하였다.

 

그리고 message 3번에 대해서 이제 consume 을 할 차례인데, 처리량을 늘리기 위해 consumer 를 하나 추가했다고 해보자.

 

 

이렇게 단순하게 컨슈머만 추가했을 때, 문제가 발생한다.

 

앞서 컨슈머가 1번과 2번 메시지를 처리하였음에도 불구하고 새로운 컨슈머는 앞선 컨슈머에 대한 정보가 없기 때문에 또다시 1번과 2번 메시지를 처리하게 된다.

 

하지만 여기서 consumer group 개념이 등장한다면 이야기가 달라진다.

 

consumer group 은 다시 한 번 이야기하면, single logical consumer 이다

 

카프카 브로커 입장에서 하나의 논리적인 컨슈머로, 동일한 처리를 하는 물리적 컨슈머들을 묶어주는 역할을 한다

 

 

컨슈머 그룹 내에 새로운 컨슈머가 추가되었다고 하더라도 내부적으로 처리가 완료된 지점부터 다시 소비를 시작하게 된다.

 

처리가 완료된 지점을 이해하기 위해서는 다음 시간에 이야기할 offset 과 commit 을 알아야 한다. 다음 글도 계속 학습한다면 더 깊은 이해가 가능할 것이다

 

이렇게 카프카는 하나의 논리적 컨슈머인 컨슈머 그룹을 통해 다른 컨슈머들과 구분하여 토픽에 존재하는 메시지를 제공한다

 

바로 학습 테스트를 통해서 알아보도록 하자

 

테스트 1. 동일한 컨슈머 그룹에 속한 consumer 의 메시지 소비 테스트

테스트 설명

• 주석 1
  • my-topic 에 메시지를 총 6개 발행하였다.
• 주석 2 & 3
  • consumer 인스턴스 2개를 생성한다.
  • 둘 다 kafka 의 consumer config 인 groupId 로 동일한 fancy-consumer-group 을 지정했다
  • 두 컨슈머에 my-topic 을 구독하였다
• 주석 4.
  • ExecutorService 를 통해 새로운 스레드로 메시지를 소비한다
• 주석 5. & 6.
  • 메시지를 소비하고 소비한 메시지를 출력하도록 한다

☑️ expect: 동일한 컨슈머 그룹이므로 출력되는 메시지는 총 6개

테스트 결과

 

두개의 컨슈머가 브로커에 연결되었을 지라도 하나의 논리적 컨슈머(컨슈머 그룹) 이 브로커에 연결되었다.

 

그러므로 두개의 컨슈머가 중복되지 않는 메시지를 소비한다

 

이제 반대의 경우를 테스트 해보자

 

테스트 2. 다른 컨슈머 그룹에 속한 consumer 의 메시지 소비 테스트

 

이번 테스트는 앞선 테스트에서 consumer group 의 id value 만 변경해주면 테스트가 가능하다

 

테스트 설명

• 주석 1
  • my-topic 에 메시지를 총 6개 발행하였다.
• 주석 2 & 3
  • consumer 인스턴스 2개를 생성한다.
  • 첫번째 컨슈머는 groupId 로 fancy-consumer-group 을 지정했다
  • 첫번째 컨슈머는 groupId 로 not-fancy-consumer-group 을 지정했다
• 주석 5. & 6.
  • 메시지를 소비하고 소비한 메시지를 출력하도록 한다

☑️ expect: 다른 컨슈머 그룹이므로 출력되는 메시지는 총 12개

테스트 결과

 

카프카 브로커 입장에서 논리적 컨슈머가 서로 다르므로 2개의 컨슈머가 6개의 메시지를 소비하였다.

 

결과를 보면 우리의 예상대로 총 12개의 메시지를 소비한 것을 확인할 수 있다.

 

그래서 consumer group 이 왜 필요한데? -> 정답은 처리량

 

앞선 테스트를 통해 우리는 consumer group 이라는 논리적 컨슈머에 대해서 이해하였다.

 

그럼 이 consumer group 이 왜 필요할까?

 

지금부터는 지난 시간에 배운 partition 이라는 개념을 추가해 설명을 진행하려 한다. 만약 partition 에 대한 이해가 없으면 아래 내용을 따라가기 힘들 수 있으므로 돌아가서 학습하길 권장한다

 

컨슈머가 토픽의 메시지를 소비한다는 말은 정확히 이야기하면 컨슈머가 파티션의 메시지를 소비한다는 것과 동일하다.

 

이 말을 그림으료 표현하면 다음과 같다.

 

하나의 토픽에 3개의 파티션이 존재하는 하나의 컨슈머가 메시지들을 소비하고 있는 그림이다.

 

 

만약 여기서 토픽에 매우 많은 양의 메시지가 발행된다면 어떻게 될까?

 

 

컨슈머 하나가 처리할 수 있는 메시지의 처리량은 정해져있기 때문에 시스템의 처리율 은 낮아지게 될 것이다

 

바로 이런 상황에서 카프카는 consumer group 을 이용한다.

 

컨슈머가 처리하는 메시지의 처리량을 늘리기 위해 동일한 기능을 수행하는 consumer instance 를 늘려 처리를 병렬로 실행시키는 것이다.

 

 

여기서 중요한 개념이 존재하는데,

 

consumer group 과 partition

 

컨슈머 그룹을 이해하기 위해서 partition 은 매우 중요하다.

 

kafka 는 메시지의 순서보장을 위해 하나의 partition 에는 하나의 consumer 만 점유할 수 있도록 설계되었다.

 

그래서 같은 컨슈머 그룹 내에 있는 컨슈머 인스턴스 하나는, 오로지 하나의 파티션의 메시지만 소비할 수 있다.

 

결국 아래 그림과 같은 형태의 구성은 불가능하다

 

그럼 반대로 하나의 컨슈머가 두개의 파티션의 메시지를 소비하는 것은 가능할까?

 

가능하다.

 

 

결론은 이렇다.

 

• 파티션: 무조건 하나의 컨슈머에만 할당이 되어야 함
• 컨슈머: 하나 또는 하나 이상의 파티션의 메시지를 소비할 수 있음

 

두말 할 거 없이 위에서 배운 내용을 학습 테스트로 알아보자

 

테스트 3. [파티션-3] : [1-컨슈머] 테스트

테스트 설명

• 주석 1
  • my-topic 에 메시지를 총 6개 발행하였다.
  • 3개의 파티션 적절하게 분배되었을 것이다(파티션 설정은 kafka test 세팅시 해주었다)
• 주석 2
  • consumer 인스턴스 하나만 생성한다
• 주석 3
  • 새로운 스레드를 열고 메시지를 소비한다
• 주석 4
  • 메시지를 소비하고 소비한 메시지를 출력하도록 한다

☑️ expect: 하나의 컨슈머가 3개의 파티션 메시지 6개를 모두 소비

테스트 결과

 

예상했다 싶이 하나의 컨슈머가 3개의 파티션의 메시지를 모두 소비한 것을 알 수 있다

 

테스트 4. [파티션-1] : [3-컨슈머] 테스트

테스트 설명

• 주석 1
  • my-topic 에 메시지를 총 6개 발행하였다.
  • 1개의 파티션에게 모든 메시지가 들어갔을 것이다
• 주석 2
  • consumer 인스턴스 3개 생성한다
• 주석 3
  • 새로운 스레드를 열고 메시지를 소비한다
• 주석 4
  • 메시지를 소비하고 소비한 메시지를 출력하도록 한다

☑️ expect: 하나의 컨슈머에서만 메시지를 출력

테스트 결과

 

실제로 3개의 컨슈머가 연결을 시도했지만, 실제로 파티션을 선점한 컨슈머는 1개 뿐이다.

 

결국 결과로 하나의 컨슈머에서만 메시지를 소비하는 것을 알 수 있다

 

파티션 수와 컨슈머 그룹의 컨슈머 수의 관계

 

앞선 테스트를 통해서 파티션 수와 컨슈머 수의 관계에 대해서는 다음과 같이 정리할 수 있다

 

• 파티션 수 > 컨슈머 수
  • 특정 컨슈머는 특정 파티션 2개 이상을 컨슘할 수 있음
• 파티션 수 < 컨슈머 수
  • 특정 컨슈머는 놀고있음 (1 파티션:1 컨슈머 원칙때문에)
• 파티션 수 == 컨슈머 수
  • 가장 최적의 처리량

consumer group 과 rebalancing

 

앞서서 하나의 컨슈머가 두개의 파티션의 메시지를 소비하는 것이 가능하다고 했다.

 

카프카는 이러한 특성을 이용해서 탄력성(resilience) 를 제공한다.

 

그림으로 알아보자.

 

예를 들어 3개의 파티션에 각각 컨슈머가 연결되어있는 상태로 서비스가 제공되고 있었다.

 

하지만 특정 파티션에 연결된 컨슈머가 제 기능을 하지 못하는 상태가 되었다면 어떻게 될까?

 

그럼 특정 파티션의 메시지가 소비되지 못한 메시지들의 수가 늘어나게 되고, 전반적인 처리량이 낮아지게 된다.

 

이러한 상황에서 카프카는 rebalance 라는 과정을 통해 컨슈머 그룹 내의 가용 컨슈머를 선정하여 파티션의 메시지 소유권을 이전한다.

 

위의 그림은 rebalance 를 통해서 장애가 발생한 컨슈머에 물려있던 파티션을 다른 컨슈머에게 소유권을 이전한 것을 표현한 그림이다.

 

어떻게 컨슈머는 파티션의 소유권을 유지할까?

 

특정 파티션에 컨슈머가 정상적으로 연결되었음을 보장하는 방식은 hart beat check 를 통해 진행된다.

 

일정 주기로 체크하는 하트비트가 브로커에 잘 도착한다면 컨슘이 제대로 되고 있다는 뜻이므로 계속해서 소유권을 유지시킨다

 

이러한 하트비트는 컨슈머가 poll() 연산을 수행할 때와 가져간 메시지의 offset 을 commit 할 때 함께 보내는 것이 일반적이다.

 

만약 오랜 시간동안 하트비트 체크가 되지 않으면 파티션에 연결된 세션은 타임아웃이라 판단하고 컨슈머가 다운되었다고 상정한다.

 

그리고 리밸런싱이 시작되는 것이다.

 

리밸런싱이 시작되면 일정 시간동안 메시지는 처리할 수 없는 상태가 된다. 즉, 모든 컨슈머가 메시지를 소비할 수 없게 된다.

 

그래서 컨슈머가 계속해서 죽었다 살아나는 경우에는 단순 메시지 처리량에 대한 문제를 넘어 리밸런싱에 대한 side-effect 도 함께 고려해야 한다

 

학습 테스트 정리

• ✅ 동일한 컨슈머 그룹에 있는 컨슈머라면 서로 컨슈머
• ✅ 서로 다른 컨슈머 그룹은 토픽의 메시지를 소비하는 offset 을 각각 따로 관리한다
• ✅ 컨슈머 그룹 내의 컨슈머는 하나 혹은 그 이상의 파티션의 소유권을 갖는다.(메시지 소비에 대한)
• ✅ 같은 컨슈머 그룹 내에서 하나의 파티션에 두개의 컨슈머가 동시에 소유권을 가질 수 없다
• ✅ 파티션과 컨슈머의 최적의 수는 파티션 수 == 컨슈머 수
• ✅ 파티션에 연결된 컨슈머에 장애가 발생하였을 땐 rebalance 를 통해 가용 컨슈머에게 그 권한을 위임한다
• ✅ 컨슈머는 자신이 문제 없음을 보장하기 위해 heartbeat check 을 수행한다