Kafka
[실전 카프카 개발부터 운영까지 정리] 5장. 프로듀서 내부 동작 원리
http://www.yes24.com/Product/Goods/104410708 해당 책을 공부하며 정리한 내용입니다. 실전 카프카 개발부터 운영까지 - YES24 아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified... www.yes24.com 파티셔너 카프카 토픽은 성능 향상을 위한 병렬 처리가 가능하도록 하기 위해 파티션으로 나뉘고, 최소 하나 또는 둘 이상의 파티션으로 구성된다. 프로듀서가 카프카로 전송한 메시지는 해당 토픽 내 각 파티션의 로그 세그먼트에 저장된다. 따라서 프로듀서는 토픽으..
[실전 카프카 개발부터 운영까지 정리] 4장. 카프카의 내부 동작 원리
http://www.yes24.com/Product/Goods/104410708 해당 책을 공부하며 정리한 내용입니다. 실전 카프카 개발부터 운영까지 - YES24 아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified... www.yes24.com 카프카 리플리케이션 동작 방식 리더는 리플리케이션 중 하나가 선정되며, 모든 읽기와 쓰기는 해당 리더를 통해서만 가능합니다. 프로듀서는 모든 리플리케이션에 메시지를 보내는 것이 아니라 리더에게만 메시지를 전송한다. 컨슈머도 역시 오직 리더로부터 메시지를 가..
[실전 카프카 개발부터 운영까지 정리] 3장. 카프카 기본 개념과 구조
http://www.yes24.com/Product/Goods/104410708 해당 책을 공부하며 정리한 내용입니다. 실전 카프카 개발부터 운영까지 - YES24 아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified... www.yes24.com Replication 안정성을 높이기 위해 각 메시지들을 여러 개로 복제하여 카프카 클러스터 내 브로커들에 분산시키는 동작 --replication-factor 3 # 3개의 리플케이션 리플리케이션의 수가 증가할 수록 안정성은 높아지지만, 브로커 리소스를 ..
[Kafka] 카프카 기본 개념 - 브로커, 토픽, 파티션
카프카 브로커 브로커란? 카프카 클라이언트와 데이터를 주고받기 위해 사용되는 주체로, 데이터를 분산 저장하여 장애가 발생하더라고 안전하게 사용할 수 있도록 도와주는 애플리케이션. 브로커 서버를 여러대로 구성하여, 클러스터로 묶어서 운영할 수 있다. 카프카 클러스터로 묶인 브로커들은 프로듀서가 보낸 데이터를 안전하게 분산 저장하고 복제하는 역할을 수행한다. 데이터 저장, 전송 프로듀서로부터 데이터를 전달받으면 카프카 브로커는 프로듀셔가 요청한 토픽의 파티션에 데이터를 저장하고 컨슈머가 데이터를 요청하면 파티션에 저장된 데이터를 전달한다. 프로듀서로부터 전달받은 데이터는 파일 시스템에 저장된다. 카프카는 메모리나 데이터베이스에 저장하지 않으며 따로 캐시 메모리를 구현하여 사용하지도 않는다. 일반적으로 파일 ..
[Kafka] 카프카의 역할과 특징
카프카의 역할 데이터를 생성하고 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타깃 애플리케이션을 연결해야 한다. 카프카를 통해 웹 사이트, 애플리케이션 등에서 취합한 데이터 스트림을 한 곳에 모아 처리할 수 있도록 중앙 집중화하고, 실시간으로 관리할 수 있게 됐다. 카프카를 중앙에 배치함으로써 소스 애플리케이션과 타깃 애플리케이션 사이의 의존성을 최소화하여 커플링을 완화하였다. 기존의 1:1 매칭으로 개발하고 운영하던 데이터 파이프라인은 커플링으로 인해 한쪽의 이슈가 다른 한쪽의 애플리케이션에 영향을 미치곤 했지만, 카프카는 이러한 의존성을 타파했다. 빅데이터 파이프라인에서 카프카의 역할 빅데이터로 적재되는 데이터의 종류는 다양하다. 스키마 기반의 정형 데이터 일정한 규..