[TIL] Kafka와 RabbitMq의 철학, 그리고 어떻게 철학을 달성했을까?

* ChatGPT 4o가 작성한 답변입니다.

철학

Apache Kafka: 분산 스트리밍 플랫폼

• 철학: Kafka는 확장성, 내결함성, 높은 처리량을 중시하는 분산 스트리밍 플랫폼으로 설계되었습니다. 이벤트 스트림이라는 개념을 중심으로 구축되어, 데이터를 실시간 또는 거의 실시간으로 지속적으로 수집하고 처리하는 데 초점을 맞추고 있습니다.
• 사용 사례: Kafka는 데이터 파이프라인 구축, 스트림 처리 애플리케이션, 실시간 분석 시스템 구축에 자주 사용됩니다. 대규모 데이터를 분산 환경에서 효율적으로 처리하는 데 뛰어납니다.

RabbitMQ: 메시지 브로커

• 철학: RabbitMQ는 신뢰할 수 있는 메시지 전달, 복잡한 라우팅, 메시지 큐잉에 중점을 둔 전통적인 메시지 브로커입니다. Advanced Message Queuing Protocol (AMQP)을 준수하며 시스템의 서로 다른 부분이나 서로 다른 시스템 간의 통신을 용이하게 합니다.
• 사용 사례: RabbitMQ는 복잡한 라우팅, 메시지 지속성, 보장된 메시지 전달이 필요한 시스템에 적합합니다. 마이크로서비스 아키텍처, 작업 큐, 작업 위임 및 부하 분산이 필요한 시스템에서 주로 사용됩니다.

철학 달성 방법

Apache Kafka

• 로그 기반 스토리지: Kafka는 분산 커밋 로그를 스토리지 메커니즘으로 사용합니다. 각 메시지는 로그 파일에 추가되며, Consumer 들은 이 로그에서 자신만의 속도로 데이터를 읽어갑니다. 이러한 로그 기반 아키텍처는 메시지가 지정된 기간 동안 유지되도록 보장하며, Consumer가 필요시 데이터를 다시 처리할 수 있게 합니다.
• 확장성과 파티셔닝: Kafka는 주제를 파티셔닝하여 확장성을 달성합니다. 이를 통해 서로 다른 파티션이 서로 다른 브로커에서 처리될 수 있어 수평적으로 서버를 확장할 수 있습니다.
• 내결함성: Kafka는 복제를 통해 내결함성을 제공합니다. 각 파티션은 여러 브로커에 복제되어, 한 브로커가 실패하더라도 데이터 손실 없이 다른 브로커가 그 역할을 대신할 수 있습니다.
• 높은 처리량: Kafka의 설계는 복잡한 브로커 측 작업을 최소화하고, 로그를 순차적으로 쓰고 읽는 데 집중하여 높은 처리량을 효율적으로 처리할 수 있도록 합니다.
• 독립된 소비자: Kafka의 Consumer는 서로 독립적입니다. 각 Consumer는 자신만의 속도로 스트림을 읽을 수 있어, 여러 Consumer가 동일한 데이터 스트림을 각기 다르게 처리해야 하는 시나리오에 이상적입니다.

RabbitMQ

• 메시지 큐잉과 확인: RabbitMQ는 신뢰할 수 있는 메시지 전달에 중점을 둡니다. 메시지는 소비될 때까지 큐에 저장됩니다. Consumer는 메시지 수신을 확인하여 메시지가 신뢰성 있게 처리되도록 합니다.
• 교환기와 바인딩: RabbitMQ는 교환기와 바인딩을 사용하여 라우팅 키와 패턴에 따라 메시지를 다른 큐로 라우팅합니다. 이를 통해 복잡한 라우팅 로직을 구현할 수 있어, 다양한 메시징 패턴(예: 직접, 주제, 팬아웃)에 매우 유연하게 대응할 수 있습니다.
• 지속성 및 내구성: RabbitMQ는 브로커 실패 시 메시지가 손실되지 않도록 보장하기 위해 지속성 옵션을 제공합니다. 메시지는 디스크에 저장되며 소비되고 확인된 후에만 삭제됩니다.
• 유연한 구성: RabbitMQ는 메시지 처리에 대한 세밀한 제어를 허용합니다. TTL(수명 시간) 설정, 우선순위 큐, 데드 레터 교환기 등 다양한 설정이 가능해, 다양한 메시징 요구사항을 가진 애플리케이션에 적합합니다.
• 사용 편의성 및 통합: RabbitMQ는 사용의 편리성과 AMQP 및 기타 메시징 표준을 준수하여 여러 프로토콜 및 시스템과 쉽게 통합할 수 있는 점이 특징입니다.

요약

• Kafka는 분산, 높은 처리량, 확장성 및 내결함성을 갖춘 데이터 스트리밍 시스템으로, 실시간 분석과 대규모 데이터 파이프라인에 적합합니다.
• RabbitMQ는 신뢰할 수 있는 메시지 전달, 복잡한 라우팅 및 유연한 메시지 큐잉을 중점으로 하는 메시지 브로커로, 마이크로서비스 간 통신 및 작업 처리가 필요한 전통적인 메시지 지향 미들웨어 시나리오에 적합합니다.