Итоги модуля: Безопасность

Модуль 09 охватил все три уровня безопасности Kafka: аутентификацию, авторизацию и дополнительные механизмы защиты (квоты и аудит). Этот урок систематизирует ключевые концепции и даёт production checklist.

Слои безопасности Kafka

Слои безопасности Kafka: от транспорта до аудита

Каждый слой добавляет защиту. Все вместе — defence in depth.

Мониторинг (JMX метрики, Grafana)

Аудит (Authorizer Log, SIEM export)

Rate Limiting (Quotas: byte rate, request percentage)

Авторизация (ACL: StandardAuthorizer, PREFIXED rules)

Аутентификация (SASL: SCRAM / OAUTHBEARER / GSSAPI)

Сеть (TLS: SASL_SSL, endpoint identification)

Production Security Checklist

Сеть и шифрование

Параметр	Рекомендуемое значение	Зачем
`security.protocol`	`SASL_SSL`	SASL аутентификация + TLS шифрование
`ssl.enabled.protocols`	`TLSv1.3,TLSv1.2`	Запрет устаревших TLS версий
`ssl.endpoint.identification.algorithm`	`https`	Защита от MITM (hostname verification)
`ssl.client.auth`	`required` (mTLS) или `none` (one-way TLS)	mTLS добавляет аутентификацию по сертификату
`security.inter.broker.protocol`	`SASL_SSL`	Шифрование inter-broker трафика

Аутентификация

Параметр	Рекомендуемое значение	Зачем
`sasl.mechanism.inter.broker.protocol`	`SCRAM-SHA-256`	Безопасная inter-broker аутентификация
`listener.name.*.sasl.enabled.mechanisms`	`SCRAM-SHA-256` (или `OAUTHBEARER`)	Запрет слабых механизмов (PLAIN только в dev)
Управление users (SCRAM)	`kafka-configs.sh`	Динамически, без перезапуска

Авторизация

Параметр	Рекомендуемое значение	Зачем
`authorizer.class.name`	`org.apache.kafka.metadata.authorizer.StandardAuthorizer`	KRaft-нативный authorizer (Kafka 4.0)
`allow.everyone.if.no.acl.found`	`false`	Deny by default — без ACL = запрет
`super.users`	`User:admin;User:kafka-broker`	Минимум super users — только admin и broker
ACL стратегия	PREFIXED per-service namespace	Один ACL для всех топиков сервиса

Квоты и аудит

Параметр	Рекомендуемое значение	Зачем
`producer_byte_rate` (default)	Исходя из суммарного I/O / n клиентов	Защита от noisy neighbor by default
`consumer_byte_rate` (default)	Исходя из суммарного I/O / n клиентов	Равномерное распределение fetch bandwidth
`kafka.authorizer.logger` level	`INFO`	Каждое ACL решение в log
Audit log destination	`/var/log/kafka/kafka-authorizer.log` + SIEM	Compliance и incident response

Типичные ошибки в production

“Consumer получает TopicAuthorizationException, но ACL на топик есть” Забыт ACL на consumer group. Consumer требует: Topic:Read + Topic:Describe + Group:Read.

“Transactional producer получает ClusterAuthorizationException” Забыт Cluster:IdempotentWrite. Transactional producers всегда idempotent — нужен этот ACL.

“allow.everyone.if.no.acl.found=true в production” Это разрешает всё всем. Нужно false с явными ACL per-service.

“SASL/PLAIN без SSL” SASL/PLAIN через незашифрованный канал = credentials в plaintext. Всегда security.protocol=SASL_SSL.

“Нет default quota” Новый сервис без квоты может захватить весь I/O. Всегда устанавливайте разумный default для producer_byte_rate и consumer_byte_rate.

Связь с другими модулями

Модуль 01 (Архитектура): listeners, advertised.listeners, listener.security.protocol.map — фундамент для security конфигурации.
Модуль 02 (Producers): transactional.id, enable.idempotence — требуют специфических ACL (TransactionalId:Write, Cluster:IdempotentWrite).
Модуль 03 (Consumers): consumer groups требуют Group:Read ACL.
Модуль 10 (Production Ops): JMX метрики quota throttling, мониторинг security аномалий через Grafana.

Ключевые выводы модуля

Security protocol: PLAINTEXT (dev), SSL (шифрование), SASL_PLAINTEXT (SASL без TLS), SASL_SSL (production standard).
SSL/TLS: keystore (ваш сертификат) + truststore (доверенные CA). mTLS при ssl.client.auth=required.
SASL: PLAIN (dev, статические credentials), SCRAM (production username/password), OAUTHBEARER (JWT + IdP), GSSAPI (Kerberos).
ACL: StandardAuthorizer (Kafka 4.0 KRaft). Deny by default. PREFIXED для service namespace. Минимальные привилегии.
Квоты: producer_byte_rate, consumer_byte_rate, request_percentage. Динамические. Default для all.
Аудит: kafka.authorizer.logger — каждое решение авторизации. Экспорт в SIEM для compliance.

Проверка знанийKnowledge check

Ваш новый Kafka-кластер запущен в production. Команда безопасности проводит аудит и находит следующее: (1) security.protocol=SASL_PLAINTEXT, (2) allow.everyone.if.no.acl.found=true, (3) нет default quota на producer_byte_rate, (4) kafka.authorizer.logger отключён. Какие риски несёт каждый пункт и какие конфигурационные изменения нужны?

ОтветAnswer

(1) SASL_PLAINTEXT: SASL credentials (username/password) передаются по незашифрованному каналу. Любой в сети может перехватить traffic и извлечь credentials. Исправление: security.protocol=SASL_SSL + SSL keystore/truststore конфигурация на брокерах и клиентах. (2) allow.everyone.if.no.acl.found=true: любой аутентифицированный пользователь имеет полный доступ ко всем топикам при отсутствии ACL. Один скомпрометированный сервис-аккаунт = полный доступ ко всем данным. Исправление: allow.everyone.if.no.acl.found=false + explicit ACL per service (минимальные привилегии). (3) Нет default quota: новый сервис или скомпрометированный producer может занять всю I/O bandwidth кластера, вызвав деградацию для всех клиентов. Исправление: kafka-configs.sh --alter --add-config 'producer_byte_rate=10485760' --entity-type users --entity-default. (4) Authorizer logger отключён: нет записей о том, кто и когда обращался к данным. Невозможно расследовать инциденты или выполнить compliance аудит. Исправление: log4j2.xml с Logger name=kafka.authorizer.logger level=INFO + RollingFile appender в отдельный файл + Filebeat/Fluentd для экспорта в SIEM.