[학습 테스트로 배워보는 kafka] 3. 카프카 학습 테스트 준비하기

---

해당 시리즈에서 제공하는 모든 소스코드는 github repository 에서 제공됩니다. 자세한 코드와 테스트 케이스는 github repository 에서 확인해주세요.

GitHub - my-research/kafka: apache kafka docs & practical usages(with spring) that i composed

이번 [학습 테스트로 배워보는 kafka] 시리즈는 아래 순서대로 챕터가 구성되고, 시리즈 외로 kafka 관련하여 더욱 많은 학습 정보는 kafka 심화 세션 에서 확인할 수 있습니다.

시리즈 목차

1. 시리즈를 시작하며
2. kafka 빠르게 훑어보고 아는체하기
3. kafka 컨셉과 용어 정리
4. 학습테스트 준비하기 <-- 현재 글
5. 학습 테스트로 kafka producer 알아보기
6. 학습 테스트로 kafka consumer 알아보기
7. 학습 테스트로 partitioning 알아보기
8. 학습 테스트로 consumer group 과 rebalancing 알아보기

학습의 단계별 순서로 목차가 구성되어있으므로 선행되어야 하는 챕터가 존재합니다

---

 

이번 챕터에서는 앞으로 학습할 카프카의 개념을 코드로 이해하기 위해서 사용할 방식인 학습 테스트에 대해 알아볼 것이다.

 

우선 학습 테스트에 대해서 잘 모를 수 있으니 학습테스트가 무엇인지, 그리고 어떤 장점이 있어서 이번 시리즈에서 채택하였는지 알아보도록 하자

 

학습 테스트란?

 

학습 테스트는 어떤 라이브러리나 프레임워크를 학습하고 익히기 위해서 작성하는 테스트이다.

 

이 개념은 martin fowler 가 "Refactoring: Improving the Design of Existing Code" 책에서 "학습 테스트" 라는 용어를 처음 사용했는데, 이후 우리나라에서는 토비의 스프링에서 언급되어 많은 관심을 끌었던 개념이다

 

실제 테스트 코드를 만들고 실행하면서 기술을 익히고 동작을 실험하는 모든 과정을 포함하는데, 이러한 방법들이 새로운 기술을 습득하고 익히는데에 개인적으로 가장 효과가 좋았다.

 

학습 테스트는 일반적으로 다음과 같은 순서를 거친다

 

1. 테스트 대상 선정
2. 테스트 코드 작성
3. 테스트 케이스 실행 (실패)
4. 실패 원인만 빠르게 해결 (성공시키기)
5. 조금의 variation 을 추가하여 실패 케이스 만들기
6. variation 케이스 성공시키기

 

위의 과정을 반복하며 점진적으로 개념과 지식을 확장하는 것을 목표로 한다.

 

예를들어 어떤 미지의 Calculator 라는 클래스가 있다고 가정해보자.

 

그리고 이 클래스의 내부 구현은 문서도 없고 미친듯이 복잡해서 눈으로 로직 파익이 어렵다고 가정하자.

 

학습 테스트의 접근법은 우선 해보는 것이다.

 

대충 어떠할 것이라는 예측만을 가지고 (일반적으로는 문서나 주석, 시그니처를 보면 예측을 하는 정확도가 더 높을 것이다) 이것저것 해보는 것이다

 

Calculator 라는 클래스의 int calc(int a, int b) 라는 시그니처가 있는데, 대충 연산을 하긴 하는데, 덧셈인지 곱셈인지 모르겠다면?

 

그냥 일단 테스트를 만드는 것이다.

 

그리고 덧셈이겠거니 하고 실행시켜본다

 

class UsageTest {

  Calculator sut = new Calculator();

  @Test
  void test() {
    int actual = sut.calc(10, 20); // 덧셈일 것으로 추측 & 실행

    // AssertionFailedException 발생
    assertThat(actual).isEqualTo(10 + 20)
  }
}

 

실패했다. 그럼 왜 실패했는지 원인을 파악해보고 다른 방식을 시도해본다.

 

class UsageTest {

  Calculator sut = new Calculator();

  @Test
  void test() {
    int actual = sut.calc(10, 20); // 앞서 실패했으니까 뺄셈이라고 추측 & 실행

    assertThat(actual).isEqualTo(10 - 20) // 성공
  }
}

 

이 테스트를 통해서 int calc(int a, int b) 는 뺄셈 연산을 수행하는 메서드라는 것을 알게 되었다.

 

내가 생각하는 학습 테스트의 장점

 

개인적으로 학습테스트는 이런 장점이 있는것 같다.

 

1. 원하는 기능만 빠르게 익힐 수 있다.
2. 점진적인 실험이 가능하다
3. 거짓말 하지 않는 문서를 직접 만들어나간다(공유가 가능하다)

 

원하는 기능만 빠르게 익힐 수 있다.

 

어떤 라이브러리의 특정 기능만을 원할때 매우 유용하다.

 

계속해서 되는 방식만 찾게되니 모든것을 알지 않아도 된다.

 

생산성 측면에서 매우 유리한 특징이 있다.

 

점진적인 실험이 가능하다

 

테스트를 한번 실행시키고 나면 여기서 여러가지 변형을 준 테스트가 가능하다

 

파라미터를 바꿔보고 경계값도 넣어보고 등등.

 

짧은 주기로 테스트 피드백을 통해서 기능을 알아가고 trouble shooting 을 통해 더 전문성을 높일 수 있다

 

거짓말 하지 않는 문서를 직접 만들어나간다(공유가 가능하다)

 

학습 테스트도 테스트이다.

 

테스트 코드를 잘 작성한다면 어디서든 항상 그 결과가 참인 regression test 가 가능하다.

 

결국 내가 검증한 기능에 대해서 언제든 거짓없는, 진실을 제공하는 문서가 된다.

 

그리고 이 문서는 코드로 작성되어있기 때문에 언제든지 모두에게 공유가 가능하다

 

이 학습 테스트를 장점이 있었기에 내가 지금 블로그의 이렇게 시리즈 글을 쓰고 있다.

 

이번 시리즈에서 사용할 학습 테스트 준비하기

 

이번 시리즈의 첫번째 목표는 spring 과 상관 없이 단지 apache kafaka 를 사용해보고 느껴보는것 이다.

 

그리고 이후에 spring 과 kafka 를 잘 사용하는 법에 대해서 알아볼 예정인데 우선 원활한 테스트를 위해서 spring 의 도움을 받을 예정이다

 

테스트를 위한 gradle 의존성

 

사실 apache kafka 만을 원한다면 필요한 의존성은 'org.apache.kafka:kafka_2.10' 인데 우리는 org.springframework.kafka:spring-kafka 을 사용할 것이다.

 

테스트를 위한 카프카 클러스터

 

그리고 카프카를 실행시키기 위해서, 정확히는 카프카 브로커를 실행시키기 위해서는 많은 설정들과 준비물이 필요하다.

 

카프카 브로커를 실행시키기 위해서는 클러스터에 대한 관리와 브로커 메타데이터 관리를 위해서 함께 사용되는 zookeeper 가 필요하다.

 

하지만 우리의 목표는 kafka 를 운영하고 관리하는 것이 아니므로 실제 카프카 클러스터를 띄우는데에 큰 노력을 들이지 않을 예정이다.

 

kafka 를 이용하는 서비스에서 대표적으로 많이 사용하는 테스트 방법은 아마 2가지 방법이 일반적일 것이다.

1. kafka testcontainers
2. inmemeory kafka broker

testcontainers 자체가 도커를 이용한 테스트이다 보니 테스트를 실행시키는데에 있어 많은 컴퓨팅 리소스가 필요해서 테스트의 빠른 피드백이 어렵다.

 

그래서 이번 테스트에서는 inmemory broker 를 이용할 것이다

 

org.springframework.kafka:spring-kafka-test 의존성에서 @EmbeddedKafka 라는 어노테이션을 통해서 쉽고 빠른 in memory broker 를 제공한다.

 

아래는 이번 시리즈에서 필요한 의존성을 포함한 build.gradle

plugins {
    id 'java'
    id 'org.springframework.boot' version '2.7.14'
    id 'io.spring.dependency-management' version '1.0.15.RELEASE'
}

// ..

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-web'
    implementation 'org.springframework.kafka:spring-kafka'

    testImplementation 'org.springframework.boot:spring-boot-starter-test'
    testImplementation 'org.springframework.kafka:spring-kafka-test'
}

tasks.named('test') {
    useJUnitPlatform()
}

EmbeddedKafka 테스트 설정

실제 카프카 동작 과정에 대해서는 다음 시간부터 자세히 확인해보도록 하고 우선 우리가 준비한 테스트 환경이 잘 돌아가는지 확인해보자

/src/test/java/{pkgDir} 경로에 테스트 하나를 만들고 다음과 같이 입력해보자

@SpringBootTest
@EmbeddedKafka(partitions = 1, brokerProperties = { // 카프카 브로커의 기본 속성 설정 선언
    "listeners=PLAINTEXT://localhost:9092", // bootstrap server
})
public class SampleTest {

  private static final Map<String, Object> props = Map.of(
    "bootstrap.servers", "localhost:9092",
    "key.serializer", "org.apache.kafka.common.serialization.StringSerializer",
    "value.serializer", "org.apache.kafka.common.serialization.StringSerializer"
  );

  KafkaProducer<String, String> producer = new KafkaProducer<>(props);

  @Test
  void sample() {
    // message produce to broker
    ProducerRecord<String, String> record = new ProducerRecord<>("a-topic", "hi~");

    producer.send(record);
  }
}

 

그리고 실행시켜보면 아래 그림과 같이 테스트가 성공하게 된다

 

원래 학습테스트는 실패하는 테스트를 통해 점진적으로 기술을 익히는 방식인데,블로그 글의 가독성과 특성으로 인해 성공하는 테스트만 보여줄 예정이다

 

테스트가 성공한다면 이제 준비는 끝났다!

 

번외

 

번외로 학습 테스트는 나만의 가이드 문서가 될 수 있다.

 

그래서 최대한 핵심만 남겨놓고 깔끔하게 유지하도록 노력하는 편이다.

 

시리즈 중간중간 테스트 코드 리팩토링을 통해서 Helper 나 Fixture class 를 많이 만들 예정인데, 그때마다 알려주긴 하겠지만 혹시 놓치는 부분과 이해가 가지 않는 부분이 있을 수 있으므로 자세한 코드는 dhslrl321-kafka github repository 에서 확인할 수 있다

 

그런 맥락으로 보면 카프카 브로커를 설정하는 코드를 조금 깔끔하게 만들기 위해서 테스트 어노테이션을 만들어봤다

 

@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@SpringBootTest
@EmbeddedKafka(partitions = 2, brokerProperties = {
        "listeners=PLAINTEXT://localhost:9092",
        "port=9092",
})
public @interface KafkaTest {
    String testDescriptions() default "";
}

 

그리고 실제 테스트 코드에서는 해당 어노테이션만 사용한다.

 

@KafkaTest
public class SampleTest {
  // ..
}