분류 전체보기
-
Kafka 스트림즈 구현📕 book/아파치 카프카 2022. 9. 18. 18:01
스트림즈 DSL을 이용하여 구현 스트림즈 DSL - stream(), to() 특정 토픽을 KStream 형태로 가져오려면 스트림즈 DSL의 stream() 메서드를 사용하면 된다. KStream의 데이터를 특정 토픽으로 저장하려면 스트림즈 DSL의 to() 메서드를 사용하면 된다. build.gradle 스트림즈 애플리케이션을 개발하기 위한 라이브러리 추가 dependencies { compile 'org.apache.kafka:kafka-streams:2.5.0' } SimpleStreamApplication.java 스트림 프로세싱을 위한 코드를 스트림즈DSL로 작성 package com.example; import org.apache.kafka.common.serialization.Serdes; ..
-
3장 - 카프카 스트림즈📕 book/아파치 카프카 2022. 9. 18. 17:57
카프카 스트림즈 💡 토픽에 적재된 데이터를 상태기반(Stateful) 또는 비상태기반(Stateless)으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리이다. 카프카의 스트림 데이터 처리를 위해 아파치 스파크 아파치 프링크 아파치 스톰 플루언트디 와 같은 다양항 오픈소스 애플리케이션이 존재하는데 ❓ 카프카 스트림즈를 사용해야 하는 이유 ❗스트림즈는 카프카에서 공식적으로 지원하는 라이브러리!! 카프카 버전이 오를 때 마다 스트림즈 자바 라이브러리도 같이 릴리즈 된다. 때문에, 자바 기반 스트림즈 애플리케이션은 카프카 클러스터와 완벽하게 호환되면서 스트림 처리에 필요한 편리한 기능들(신규 토픽 생성, 상태 저장, 데이터 조인 등)을 제공한다. 스트림즈 애플리케이션 또는 카프카 브로커의 장애가 발생하더라도..
-
3장 - 카프카 기본 개념📕 book/아파치 카프카 2022. 9. 18. 13:18
3. 1 카프카 브로커, 클러스터, 주키퍼 💡 카프카 브로커는 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 애플리케이션 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행 3대 이상의 브로커 서버를 1개의 클러스터로 묶어 운영 브로커들은 프로듀서가 보낸 데이터를 안전하게 분산 저장하고 복제하는 역할 수행 데이터 저장, 전송 프로듀서로 부터 데이터를 전달 받으면 카프카 브로커는 프로듀서가 요청한 토픽의 파티션에 데이터를 저장 프로듀서로부터 전달된 데이터는 파일 시스템에 저장된다. 컨슈머가 데이터를 요청하면 파티션에 저장된 데이터를 전달. 카프카는 메모리나 DB에 저장하지 않고 캐시 메모리를 구현하여 사용하지도 않..
-
1장 - 들어가며📕 book/아파치 카프카 2022. 9. 18. 13:01
카프카의 탄생 데이터를 생성하고 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타깃 애플리케이션을 연결해야 한다. 초기 운영 시에는 단방향 통신을 통해 소스 → 타깃 애플리케이션으로 연동하는 소스코드를 작성 하지만, 아키텍처가 거대해지고 소스, 타깃 애플리케이션이 증가하면서 문제가 발생 문제 소스 애플리케이션과 타깃 애플리케이션을 연결하는 파이프라인 개수가 많아지면서 소스코드 및 버전 관리에서 이슈 발생 타깃 애플리케이션에 장애가 생길 경우 그 영향이 소스 애플리케이션에 전달 아파치 카프카 카프카는 각각의 애플리케이션끼리 연결하여 데이터를 처리하는 것이 아니라 한 곳에 모아 처리할 수 있도록 중앙 집중화 했다. 취합한 데이터 스트림을 한 곳에서 실시간으로 관리 가능 기업의..