Kafka 개념

SpringBoot를 이용한 Kafka 연동 전에 우선 Kafka에 대한 개념 및 서버 설정이 먼저 일 것이다.

Kafka에 가장 중요한 개념은 partiton과 replication 인거 같다.

 

아래의 그림은 파티션 3개, 레플리케이션 3개로 이루어진 토픽이 Broker에 할당된 모습이다.

Kafka 파티션, 레플리케이션 개념

ISR은 위의 그림에 표신된 것처럼 특정 파티션의 리더, 팔로워 모든 레코드가 복제되어 sync가 맞는 상태를 의미한다.

 

Kafka 용어 정리

---

• Broker : 카프카 애플리케이션 서버 단위
• Topic : 데이터 분리 단위. 다수 파티션 보유
• Partition : 레코드를 담고 있음. 컨슈머 요청 시 레코드 전달
• Offset : 각 레코드당 파티션에 할당된 고유 번호
• Consumer : 레코드를 polling 하는 애플리케이션
• Consumer group : 다수 Consumer 묶음
• Consumer offset : 특정 컨슈머가 가져간 레코드의 번호
• Producer : 레코드를 중개인으로 전송하는 애플리케이션
• Replication : 파티션 복제 기능
• ISR : 리더+팔로워 파티션의 sync가 된 묶음
• Rack-awareness : Serer rack 이슈에 대응

 

위의 내용은 최원영 님의 아파치 카프카 입문과 활용 강의자료 슬라이더 내용을 정리하였습니다.

https://www.slideshare.net/WonyoungChoi2/ss-236018398

아파치 카프카 입문과 활용 강의자료