https://blog.jsontapose.com/tags/queue-design/ Recent content in Queue-Design on HandsLog Hugo -- 0.146.0 ko-kr Wed, 20 May 2026 13:49:51 +0000 https://blog.jsontapose.com/posts/bullmq-job-data-size-large-redis-latency-oom-queue-issues-7dbbc0/ Wed, 20 May 2026 13:49:51 +0000 https://blog.jsontapose.com/posts/bullmq-job-data-size-large-redis-latency-oom-queue-issues-7dbbc0/ <p>레디스가 싱글스레드라서 BullMQ에서 job data가 커지면 Redis가 터진다고 단순화해서 말하는 경우가 많음</p> <p>하지만 실제로는 Redis가 큰 payload 처리 때문에 막히고, 그 지연이 메모리와 네트워크 문제로 이어지며 타임아웃이나 OOM 같은 연쇄 문제로 번지는 쪽이 더 큼</p> <h3 id="job-data가-커질-때-redis에서-바로-벌어지는-일">job data가 커질 때 Redis에서 바로 벌어지는 일</h3> <h4 id="1-이벤트루프가-큰-값-때문에-오래-점유">1) 이벤트루프가 큰 값 때문에 오래 점유</h4> <p>BullMQ는 job을 만들 때 job data를 보통 Redis에 문자열이나 JSON 형태로 저장함</p> <p>job data가 커지면 쓰기와 조회 모두에서 처리해야 하는 바이트가 늘어남 SET이나 HSET 같은 쓰기, HGET 같은 조회가 한 명령당 처리해야 하는 바이트를 키움</p>