100만개 1000만개의 더미데이터를 생성하는 가장 쉬운 방법

TL;DR

 

이번 글의 핵심을 요약하면 다음과 같다

 

• 가장 효율적인 더미데이터 생성 방법
  • temp table 을 이용하여 insert Query 날리기
    • temp table 생성
    • generate_series 와 random 함수를 이용하여 insert
• docker-compose 로 실행
  • docker-compose 이용하기
  • application runner 이용하기
  • 등등

 

가장 효율적인 더미데이터 생성 방법

 

DB 나 Application 의 처리량 혹은 특정 대량 데이터의 상황을 테스트하기 위해 더미 데이터가 필요하다.

 

excel, mockaroo, bulk insert 등등 다양한 방법을 이용해서 대량의 데이터가 있는 실습 환경을 구성해봤는데 케이스에 따라 다르겠지만 이 방법이 가장 효율적이었다.

 

아래의 핵심 컨셉만 이해한다면 어떠한 구조의 데이터도, 어떠한 크기의 Dataset 이 필요하더라도 과장 섞어 10초 안에 생성 가능하다.

우선 진행 순서나 컨셉은 다음과 같다.

 

1. 더미데이터의 컬럼 값을 위한 테이블 구성
2. 컬럼 값을 기반으로 더미데이터 생성 후 임시테이블에 insert
3. 임시 테이블에서 더미 데이터 테이블로 insert

 

Step 1. 값을 위한 임시테이블 구성

 

names 는 더미데이터 컬럼의 랜덤한 값을 위한 단순 테이블로 더미 데이터 구조에 맞게 이러한 값 테이블 들을 얼마든지 추가해도 좋다.

 

아래에서 보겠지만 더미 데이터 생성할 때 위의 5가지 값들 중 랜덤하게 세팅 될 것이다.

 

-- value 테이블 생성
CREATE TABLE names
(
    id   SERIAL PRIMARY KEY,
    name TEXT
);

-- 임의 이름 value 삽입
INSERT INTO names (name)
VALUES ('Ann'),
       ('Bill'),
       ('Cindy'),
       ('Diane'),
       ('Emma');

 

 

Step 2. 값 테이블을 기반으로 더미데이터를 temp 테이블에 insert

 

이번 단계에서는 더미 테이블을 생성하고 앞서 만든 값 테이블을 기반으로 임시 테이블을 만들 것이다.

 

그 임시 테이블에는 generate_series() 함수로 id 를 생성하고 random() 을 이용해 값들을 세팅할 것이다.

 

-- Step 3: 더미 테이블 생성
CREATE TABLE person_data
(
    id   INTEGER PRIMARY KEY,
    name TEXT,
    age  INTEGER
);

-- generate_series를 사용하여 100만 개의 데이터 삽입
WITH tmp AS (
    SELECT
        generate_series(1, 1000000) AS id,  -- 1부터 100만까지의 id 생성
        (random() * 4 + 1)::integer AS idx, -- 랜덤한 이름을 선택하기 위한 인덱스 (1-5)
        (random() * 79 + 1)::integer AS age -- 랜덤한 나이 생성 (1-80)
)

 

위에 보이는 generate_series 에 따라 더미 데이터셋의 크기가 결정되므로 자율적으로 늘려주거나 줄여주면 된다.

 

Step 3. 임시 테이블을 기반으로 더미 데이터 insert

 

이제 실제 더미 테이블 (person_data) 에 insert 를 하면 된다.

 

temp table 에서 생성한 값을 sub query 로 조회해서 insert 하는 단순한 방법이다

 

INSERT
INTO person_data (id, name, age)
SELECT tmp.id,
       (SELECT name FROM names WHERE names.id = tmp.idx) AS name,
       tmp.age
FROM tmp;

 

전체 init.sql

 

앞서 이야기 한 전체 과정을 하나의 sql 파일로 만들면 아래와 같다.

 

CREATE TABLE names
(
    id   SERIAL PRIMARY KEY,
    name TEXT
);

INSERT INTO names (name)
VALUES ('Ann'),
       ('Bill'),
       ('Cindy'),
       ('Diane'),
       ('Emma');

CREATE TABLE person_data
(
    id   INTEGER PRIMARY KEY,
    name TEXT,
    age  INTEGER
);

WITH tmp AS (
    SELECT
        generate_series(1, 1000000) AS id,
        (random() * 4 + 1)::integer AS idx,
        (random() * 79 + 1)::integer AS age
)

INSERT
INTO person_data (id, name, age)
SELECT tmp.id,
       (SELECT name FROM names WHERE names.id = tmp.idx) AS name,
       tmp.age
FROM tmp;

 

이제 이 sql 파일로 쉽게 n 개의 데이터를 생성할 수 있게 된다.

docker-compose 로 실행

 

나는 이렇게 더미데이터를 생성하면 보통 Spring Application 과 통합하여 테스트나 검증을 수행한다.

 

이때 다양한 방법이 사용될 수 있겠지만 나는 보통 docker-compose 로 실행환경을 구성하는 것을 즐겨 하므로 내가 설정하는 docker-compose 는 아래와 같다.

 

version: "3.8"
services:
  order-db:
    image: postgres:14
    container_name: order-db
    environment:
      POSTGRES_DB: orderdb
      POSTGRES_USER: orderuser
      POSTGRES_PASSWORD: orderpassword
    ports:
      - "5432:5432"
    volumes:
      - ./sql/init.sql:/docker-entrypoint-initdb.d/init.sql

 

volumes 를 보면 알겠지만 dc 를 실행하는 위치에 /sql 하위 디렉토리에 앞선 sql 문이 init.sql 로 들어가 있어야 한다.

 

이외에도 spring application runner 나 Bean Initializer 를 사용하는 방법은 https://engineerinsight.tistory.com/71 에서 잘 정리되어 있으니 참고하는 것도 추천한다.

[Spring/DB] 데이터베이스에 더미 데이터 추가하는 4가지 방법: data.sql, @PostConstruct, @EventListener(Applica