본문 바로가기

장원익 기술블로그

🔬web application41

[SQL] Window 함수를 사용하면 Group By 가 못하는 것을 할 수 있다 배경회사에서 어떤 업무를 처리하던 도중 아래와 같은 요구사항을 만족하는 SQL 을 짜야했다. 특정 일에 발생한 transaction 중 가장 최신 transaction 데이터를 뽑아라 이 tx 데이터는 매일마다 대량으로 발생하는 데이터로 append only 테이블이다. userId 가 key 로 잡혀있고 n 개의 tx 데이터가 있는데 날짜 순으로 정렬된 최신의 데이터를 뽑기 위해 distinct 가 필요했다. 나는 자연스럽게 group by 쿼리를 짰는데 생각해보니 당연히 group by 로는 해당 요구사항을 만족할 수 없었다. 그러다 데이터 엔지니어링 팀에게 도움을 요청하였고 window 함수를 사용하면 내가 원하는 상황을 100% 만족시킬 수 있었고 이에 대한 내용을 공유해보려 한다. Group B.. 2025. 2. 9.

100만개 1000만개의 더미데이터를 생성하는 가장 쉬운 방법 TL;DR 이번 글의 핵심을 요약하면 다음과 같다 가장 효율적인 더미데이터 생성 방법temp table 을 이용하여 insert Query 날리기temp table 생성generate_series 와 random 함수를 이용하여 insertdocker-compose 로 실행docker-compose 이용하기application runner 이용하기등등 가장 효율적인 더미데이터 생성 방법 DB 나 Application 의 처리량 혹은 특정 대량 데이터의 상황을 테스트하기 위해 더미 데이터가 필요하다. excel, mockaroo, bulk insert 등등 다양한 방법을 이용해서 대량의 데이터가 있는 실습 환경을 구성해봤는데 케이스에 따라 다르겠지만 이 방법이 가장 효율적이었다. 아래의 핵심 컨셉만 이해한.. 2024. 10. 20.

DDD 의 aggregate 에 대한 이야기 TL;DR 이번 글의 핵심을 요약하면 다음과 같다 aggregate 란 무엇인가 3가지 핵심 도메인 구성요소 중 가장 기본 entity 와 value 의 composition 완전한 하나의 개념 왜 aggregate 가 필요할까 고정자(invariant) 와 일관성 (consistency) 을 지키는 핵심 객체 aggregate 의 핵심 구성요소 3가지 entity, root-entity, value aggregate 을 설계하기 3가지 설계 지표 일관성을 기준으로 나누기 actor 를 기준으로 나누기 usecase 를 기준으로 나누기 잘 나뉘어진 aggregate 의 특성 aggregate 란 무엇인가 에릭 에반스가 제시한 DDD, domain driven design 에서 핵심 도메인 구성요소는 3가.. 2024. 4. 10.

cache 101 - Spring Cache 에 대하여 (feat. 캐시로 todo list 를 만들어보자) cache 101 시리즈는 web application 을 개발하며 마주하는 cache 에 대해 필요한 지식과 도구들의 사용법을 학습하는 시리즈입니다. 1. Cache 에 대한 거의 모든 것 의 순서대로 글을 읽으시면 학습에 더 많은 도움이 됩니다. 오늘은 Spring 에서 제공하는 Cache 에 대해서 이야기 해볼 것이다 Spring 에서는 Cache 에 대하여 Spring Transaction 과 마찬가지로 높은 추상화를 제공한다 @Transactional // spring transaction support public Todo create() {} @Cacheable // spring cache support public Todo create() {} Spring 에서는 이를 Cache Abstr.. 2024. 3. 13.

cache 101 - 캐시에 대한 거의 모든 것 이번에는 cache 에 대해서 알아볼 것이다. cache 라고 한다면 computer science 에서 정말 다양한 분야에서 사용되고, 동일한 기능을 수행하지만 문맥에 따라서 다른 이해도가 필요하다. 나는 cache 에 대해서 web application layer 의 문맥에서 설명을 할 것이고, software cache 에 대한 설명을 주로 할 것이다. hardware cache 와 더 low level 의 cache 를 원한다면 이 글은 적합하지 않을 수 있다. TL;DR 이번 글의 핵심을 요약하면 다음과 같다 1. 캐시란 무엇인가 cache: 데이터를 저장하여 미래에 해당 데이터에 대한 요청을 더 빠르게 처리할 수 있도록 하는 hardware 혹은 software cache 의 종류 h/w ca.. 2024. 2. 1.

오프셋 페이징, 단계별로 최적화하기 이 글은 offset based pagination 을 빌미로 데이터베이스의 내부 동작과 여러 개념들을 알아보는 글 입니다. 2개의 글로 구성되어 있고, 각각의 글에서 얻을 수 있는 insight 가 다르니 함께 읽으면 더욱 유익합니다. 오프셋 페이징이 느린 진짜 이유 오프셋 페이징, 단계별로 최적화하기 2023. 11. 19.

이전 1 2 3 4 ··· 7 다음

티스토리툴바