전체 글
-
ElasticSearch🔍 elastic search 2022. 9. 20. 18:14
Apache Lucene(아파치 루씬) 기반의 Java 오픈 소스 분산형 RESTful 검색 및 분석 엔진 Elasticsearch를 통해 루씬 라이브러리를 단독으로 사용할 수 있으며, 방대한 양의 데이터를 신속하게( 거의 실시간) 저장, 검색, 분석을 수행할 수 있다. 특히 정형 데이터, 비정형 데이터, 지리 데이터등 모든 타입의 데이터 처리 가능ES는 JSON 문서(Document)로 데이터를 저장하기 때문 HTTP 프로토콜로 접근이 가능한 REST API를 통해 데이터 조작을 지원 ElasticSearch는 단독 검색을 위해 사용하거나, ELK(ElasticSearch & Logstash & Kibana) 스택을 기반으로 사용 주로 ELK는 로드밸런싱되어 있는 WAS의 흩어져 있는 로그를 한 곳으로..
-
1장 - 객체, 설계📕 book/오브젝트 2022. 9. 18. 18:07
티켓 판매 애플리케이션 로버틴 마틴은 소프트웨어 모듈이 가져야 하는 세 가지 기능에 관해 설명 모듈 : 크기와 상관없이 클래스나, 패키지, 라이브러리 같은 프로그램을 구성하는 임의의 요소 모든 소프트웨어 모듈에는 3가지 목적이 있다. 실행 중에 제대로 동작하는 것. 변경을 위해 존재하는 것. ( = 변경이 용이 ) 코드를 읽는 사람과 의사소통하는 것 ( = 이해하기 쉬워야 한다. ) 예상을 빗나가는 코드 이해 가능한 코드 : 동작이 우리의 예상에서 크게 벗어나지 않는 코드 상식과는 너무나도 다르게 동작 코드를 읽는 사람과 제대로 의사소통하지 못한다. 코드를 이해하기 위해 여러 가지 세부적인 내용들을 한번에 기억하고 알고 있어야 한다. 코드를 작성하는 사람, 읽고 이해해야 하는 사람 모두에게 부담 변경에 ..
-
Kafka 스트림즈 구현📕 book/아파치 카프카 2022. 9. 18. 18:01
스트림즈 DSL을 이용하여 구현 스트림즈 DSL - stream(), to() 특정 토픽을 KStream 형태로 가져오려면 스트림즈 DSL의 stream() 메서드를 사용하면 된다. KStream의 데이터를 특정 토픽으로 저장하려면 스트림즈 DSL의 to() 메서드를 사용하면 된다. build.gradle 스트림즈 애플리케이션을 개발하기 위한 라이브러리 추가 dependencies { compile 'org.apache.kafka:kafka-streams:2.5.0' } SimpleStreamApplication.java 스트림 프로세싱을 위한 코드를 스트림즈DSL로 작성 package com.example; import org.apache.kafka.common.serialization.Serdes; ..
-
3장 - 카프카 스트림즈📕 book/아파치 카프카 2022. 9. 18. 17:57
카프카 스트림즈 💡 토픽에 적재된 데이터를 상태기반(Stateful) 또는 비상태기반(Stateless)으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리이다. 카프카의 스트림 데이터 처리를 위해 아파치 스파크 아파치 프링크 아파치 스톰 플루언트디 와 같은 다양항 오픈소스 애플리케이션이 존재하는데 ❓ 카프카 스트림즈를 사용해야 하는 이유 ❗스트림즈는 카프카에서 공식적으로 지원하는 라이브러리!! 카프카 버전이 오를 때 마다 스트림즈 자바 라이브러리도 같이 릴리즈 된다. 때문에, 자바 기반 스트림즈 애플리케이션은 카프카 클러스터와 완벽하게 호환되면서 스트림 처리에 필요한 편리한 기능들(신규 토픽 생성, 상태 저장, 데이터 조인 등)을 제공한다. 스트림즈 애플리케이션 또는 카프카 브로커의 장애가 발생하더라도..
-
3장 - 카프카 기본 개념📕 book/아파치 카프카 2022. 9. 18. 13:18
3. 1 카프카 브로커, 클러스터, 주키퍼 💡 카프카 브로커는 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 애플리케이션 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행 3대 이상의 브로커 서버를 1개의 클러스터로 묶어 운영 브로커들은 프로듀서가 보낸 데이터를 안전하게 분산 저장하고 복제하는 역할 수행 데이터 저장, 전송 프로듀서로 부터 데이터를 전달 받으면 카프카 브로커는 프로듀서가 요청한 토픽의 파티션에 데이터를 저장 프로듀서로부터 전달된 데이터는 파일 시스템에 저장된다. 컨슈머가 데이터를 요청하면 파티션에 저장된 데이터를 전달. 카프카는 메모리나 DB에 저장하지 않고 캐시 메모리를 구현하여 사용하지도 않..
-
1장 - 들어가며📕 book/아파치 카프카 2022. 9. 18. 13:01
카프카의 탄생 데이터를 생성하고 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타깃 애플리케이션을 연결해야 한다. 초기 운영 시에는 단방향 통신을 통해 소스 → 타깃 애플리케이션으로 연동하는 소스코드를 작성 하지만, 아키텍처가 거대해지고 소스, 타깃 애플리케이션이 증가하면서 문제가 발생 문제 소스 애플리케이션과 타깃 애플리케이션을 연결하는 파이프라인 개수가 많아지면서 소스코드 및 버전 관리에서 이슈 발생 타깃 애플리케이션에 장애가 생길 경우 그 영향이 소스 애플리케이션에 전달 아파치 카프카 카프카는 각각의 애플리케이션끼리 연결하여 데이터를 처리하는 것이 아니라 한 곳에 모아 처리할 수 있도록 중앙 집중화 했다. 취합한 데이터 스트림을 한 곳에서 실시간으로 관리 가능 기업의..