본문 바로가기

장원익 기술블로그

🔬web application/- Database19

[SQL] Window 함수를 사용하면 Group By 가 못하는 것을 할 수 있다 배경회사에서 어떤 업무를 처리하던 도중 아래와 같은 요구사항을 만족하는 SQL 을 짜야했다. 특정 일에 발생한 transaction 중 가장 최신 transaction 데이터를 뽑아라 이 tx 데이터는 매일마다 대량으로 발생하는 데이터로 append only 테이블이다. userId 가 key 로 잡혀있고 n 개의 tx 데이터가 있는데 날짜 순으로 정렬된 최신의 데이터를 뽑기 위해 distinct 가 필요했다. 나는 자연스럽게 group by 쿼리를 짰는데 생각해보니 당연히 group by 로는 해당 요구사항을 만족할 수 없었다. 그러다 데이터 엔지니어링 팀에게 도움을 요청하였고 window 함수를 사용하면 내가 원하는 상황을 100% 만족시킬 수 있었고 이에 대한 내용을 공유해보려 한다. Group B.. 2025. 2. 9.

100만개 1000만개의 더미데이터를 생성하는 가장 쉬운 방법 TL;DR 이번 글의 핵심을 요약하면 다음과 같다 가장 효율적인 더미데이터 생성 방법temp table 을 이용하여 insert Query 날리기temp table 생성generate_series 와 random 함수를 이용하여 insertdocker-compose 로 실행docker-compose 이용하기application runner 이용하기등등 가장 효율적인 더미데이터 생성 방법 DB 나 Application 의 처리량 혹은 특정 대량 데이터의 상황을 테스트하기 위해 더미 데이터가 필요하다. excel, mockaroo, bulk insert 등등 다양한 방법을 이용해서 대량의 데이터가 있는 실습 환경을 구성해봤는데 케이스에 따라 다르겠지만 이 방법이 가장 효율적이었다. 아래의 핵심 컨셉만 이해한.. 2024. 10. 20.

오프셋 페이징, 단계별로 최적화하기 이 글은 offset based pagination 을 빌미로 데이터베이스의 내부 동작과 여러 개념들을 알아보는 글 입니다. 2개의 글로 구성되어 있고, 각각의 글에서 얻을 수 있는 insight 가 다르니 함께 읽으면 더욱 유익합니다. 오프셋 페이징이 느린 진짜 이유 오프셋 페이징, 단계별로 최적화하기 2023. 11. 19.

오프셋 페이징이 느린 진짜 이유 이 글은 offset based pagination 을 빌미로 데이터베이스의 내부 동작과 여러 개념들을 알아보는 글 입니다. 2개의 글로 구성되어 있고, 각각의 글에서 얻을 수 있는 insight 가 다르니 함께 읽으면 더욱 유익합니다. 오프셋 페이징이 느린 진짜 이유 느림의 근본적인 원인 0번 offset 부터 시작 offset 까지의 데이터는 버려지고 10건만 결과로 반환됨 offset based pagination 이 느린 이유 문제는 정렬 방식에 있음 정렬을 위해 결과 처리를 streaming 이 아닌 buffering 방식으로 전환 streaming vs buffering streaming: 쿼리 실행 결과를 즉시 client 에게 반환 LIMIT 구문과 함께 사용할 때 이점 존재 bufferi.. 2023. 11. 19.

[데이터베이스] Isolation Level, 고립 수준 Isolation Level, 고립 수준에 대해서 이해하기 위해서는 Transaction, 트랜잭션 에 대한 이해가 필요하다. 만약 트랜잭션에 대해서 확실하게 이해를 하지 못 했다면, 확인하고 오는 것을 추천한다! Isolation Level, 고립 수준 Isolation Level, 고립 수준은 트랜잭션들 끼리 일관된 데이터를 얼마나 허용할 것인지를 정하는 수준이다. 고립 수준에는 총 4가지의 수준, 3단계가 존재한다 (0단계 부터 시작) Level 0 Read Uncommitted Level 1 Read Committed Level 2 Repeatable Read Level 3 Serializable 이런 고립 수준에는 나름의 특징이 있다. 이제 각각의 수준에 따라서 알아보자. Isolation Le.. 2021. 4. 7.

[데이터베이스] Transaction, 트랜잭션이란? Transaction, 트랜잭션 트랜잭션(Transaction) 이란, 데이터베이스의 상태를 변경시키기 위해 수행하는 작업 단위이다. 데이터베이스의 상태를 변경시킨다는 이야기는 SELECT, UPDATE, INSERT, DELETE 와 같은 행동을 뜻한다. 이런 트랜잭션은 상황에 따라 여러 개가 만들어질 수 있다. 그 하나의 트랜잭션은 Commit (저장) 되거나 Rollback (철회)될 수 있다. 그 이유는 무엇일까? 예를 들어 우리가 문제를 풀면 포인트로 변경된다고 가정해보자. A, B, C, D 가 문제를 풀어 각각 100 Point 씩 얻었고 이를 DB에 저장하려 한다. A 저장 완료, B 저장 완료, C 저장 완료, D 저장 실패 이런 상황이 오게 된다면 잘못된 처리이므로 다시 저장을 수행해야.. 2021. 4. 7.

이전 1 2 3 4 다음

티스토리툴바