DevOps (5) 썸네일형 리스트형 [Kafka] 카프카의 보안 [9장에서 배울것] - 카프카 보안의 3요소 - 카프카 클러스터에 SSL과 커버로스를 적용하는 방법 - ACL을 이용한 카프카 권한 설정 - 카프카는 기업 내부 시스템으로 주로 활용해서, 대부분 사내 보안에 대해 큰 신경을 쓰지 않는다고 한다. => 보안이 적용되어 있지 않은 경우가 대부분이다. - RabbitMQ같은 오픈소스에서는 자체적으로 기본적인 보안 기능이 포함되어서 관리자가 초기 구성에서 바로 보안 기능을 적용할 수 있지만, 카프카는 설치시에 자동으로 설정안되기 떄문에 관리자가 직접 적용해야 한다. 카프카가 연결 가능한 클라이언트들은 모든 권한을 가지고 있어서 토픽에 메시지 수송신이 가능하기 때문에, 악의적인 목적을 가진 사용자가 사용한다면 큰 문제가 생길 수 있다. 따라서 세가지 보안 요소가 .. [kafka] 카프카 버전 업그레이드와 확장 보호되어 있는 글입니다. [Kafka] 카프카의 모니터링 [7장에서 배울것] - 카프카 클러스터를 구성할때 어떤것을 고려해야 하는지? - 카프카 클러스트 구축한 후 안정적인 운영을 위한 모니터링 방법 7.1 안정적인 운영을 위한 주키퍼와 카프카 구성 1. 주키퍼 구성 카프카가 주키퍼로부터 독립을 하며 의존성을 제거하려고 하고 있지만 여전히 주키퍼와 카프카를 조합해 사용하는 경우가 많다. 1) 주키퍼 서버 수량 원칙 : 기본적으로 쿼럼(과반수) 구성을 기반으로 동작하여 반드시 홀수로 구성해야 합니다. 최소 3개 예시) 주키퍼 서버 5개가 있다면 과반수인 3을 충족할 수 있는 최대 2대까지의 주키퍼 장애를 허용 2) 주키퍼 하드웨어 높은 하드웨어 리소스가 필요하지 않으므로 주키퍼의 물리적 메모리 크기는 4~8GB로 구성 디스크는 240G 또는 470G SSD - .. [Kafka] 카프카의 내부 동작 원리와 구현 [4장에서 배울것] - 카프카의 리플리케이션 동작 - 리더와 팔로워의 역할 - 리더에포크와 복구 동작 - 리플리케이션 동작과 관련 있는 "컨트롤러, 컨트롤러의 동작" - 로그와 로그 컴팩션 1. 카프카 리플리케이션 메인 허브의 역할을 하는 카프카 클러스터가 정상적으로 동작하지 못하면 매우 심각한 문제가 생길 수 있다. 따라서 카프카는 초기 설계단계부터 안정적인 서비스를 운영할 수 있도록 "리플리케이션"이라는 동작을 함. 1) 리플리케이션 동작 개요 - 카프카는 브로커의 장애에도 불구하고 연속적으로 안정적인 서비스 제공함으로써 데이터 유실을 방지하고 유연성을 제공한다. - 토픽 생성 시 아래와 같이 "replicaion factor"라는 옵션을 설정해야 한다. - 생성 후 describe 명령어로 상세보기.. [Kafka] 카프카 기본 개념 구조 이해하기 1. 카프카 기초 다지기 1) 카프카를 구성하는 주요 요소 - 주키퍼(Zookeeper) : 아파치 프로젝트 애플리케이션으로 카프카의 메타데이터(metadata) 관리 및 브로커의 정상상태 점검(health check) 을 담당 합니다. - 카프카(Kafka) or 카프카 클러스터(Kafka cluster) : 아파치 프로젝트 애플리케이션으로 여러 대의 브로커를 구성한 클러스터를 의미 합니다. - 브로커(broker) : 카프카 애플리케이션이 설치된 서버 또는 노드를 의미 합니다. - 프로듀서(producer) : 카프카로 메시지를 보내는 역할을 하는 클라이언트로 총칭합니다. - 컨슈머(consumer) : 카프카에서 메시지를 꺼내가는 역할을 하는 클라이언트를 총칭합니다. - 토픽(topic) : 카프카.. 이전 1 다음
