kafka安全性(译:官方文档http://kafka.apache.org/documentation/)

安全概述

在发布的0.9.0.0中,kafka增加了许多功能,可以一起使用也可以分开使用,kafka集群提高了安全性,目前支持以下的安全措施。

1、broker使用SSL或SASL(Kerberos),验证客户端(生产者或消费者)、其他broker或工具的连接。支持以下的SASL机制:

  SASL/GSSAPI (Kerberos) - 从0.9.0.0版本开始

  SASL/PLAIN - 从0.10.0.0版本开始

  SASL/SCRAM-SHA-256 和 SASL/SCRAM-SHA-512 - 从0.10.2.0版本开始

2、从broker连接到Zookeeper的身份验证。

3、broker和client之间的数据传输,broker之间,或使用SSL的broker和工具之间的数据加密(注意,当SSL时,性能会降低,其幅度取决于CPU类型和JVM)。

4、client的read/write操作验证。

5、验证是插拔的,支持外部认证服务集成。

值得注意的是,安全是可选的 - 支持非安全集群,以及经过身份验证,未认证,加密和未加密客户端的组合。

安全问题

1、网络中的任何一台主机,都可以通过启动Broker进程而加入Kafka集群,能够接收Producer的消息,能够篡改消息并发送给Consumer。

任意一台主机只需配置kafka指向同一zookeeper集群,就可以加入到kafka集群。


2、网络中的任何一台主机,都可以启动恶意的Producer/Consumer连接到Broker,发送非法消息或拉取隐私消息数据。

3、Broker不支持连接到启用Kerberos认证的ZooKeeper集群,没有对存放在ZooKeeper上的数据设置权限。任意用户都能够直接访问ZooKeeper集群,对这些数据进行修改或删除。

4、Kafka中的Topic不支持设置访问控制列表,任意连接到Kafka集群的Consumer(或Producer)都能对任意Topic读取(或发送)消息。随着Kafka应用场景越来越广泛,特别是一些数据隐私程度较高的领域(如道路交通的视频监控),上述安全问题的存在犹如一颗定时炸弹,一旦内网被黑客入侵或者内部出现恶意用户,所有的隐私数据(如车辆出行记录)都能够轻易地被窃取,而无需攻破Broker所在的服务器。

kafka使用SSL加密和认证

Apache kafka 允许clinet通过SSL连接,SSL默认是不可用的,需手动开启。


证书签名流程图

1. 为每个Kafka broker生成SSL密钥和证书。

部署HTTPS,第一步是为集群的每台机器生成密钥和证书,可以使用java的keytool来生产。我们将生成密钥到一个临时的密钥库,之后我们可以导出并用CA签名它。

keytool -keystore server.keystore.jks -aliaslocalhost -validity {validity} -genkey

你需要用上面命令来指定两个参数。

keystore: 密钥仓库存储证书文件。密钥仓库文件包含证书的私钥(保证私钥的安全)。

validity: 证书的有效时间,天

注意:默认情况下,不会定义ssl.endpoint.identification.algorithm,所以不会执行主机名验证。 要启用主机名验证,请设置以下属性:

ssl.endpoint.identification.algorithm=HTTPS

一旦启用,客户端将根据以下两个字段之一验证服务器的完全限定域名(FQDN):

Common Name (CN)

Subject Alternative Name (SAN)

两个字段都有效,但RFC-2818建议使用SAN。 SAN更灵活,允许声明多个DNS条目。 另一个优点是,CN可以设置为更有意义的值用于授权。 要添加SAN字段,可用以下参数 -ext SAN = DNS:{FQDN}:

keytool -keystore server.keystore.jks -aliaslocalhost -validity {validity} -genkey -extSAN=DNS:{FQDN}

之后可以运行以下命令来验证生成的证书的内容:

keytool -list-v-keystore server.keystore.jks

2. 创建自己的CA

通过第一步,集群中的每台机器都生成一对公私钥,和一个证书来识别机器。但是,证书是未签名的,这意味着攻击者可以创建一个这样的证书来假装成任何机器。

因此,通过对集群中的每台机器进行签名来防止伪造的证书。证书颁发机构(CA)负责签名证书。CA的工作机制像一个颁发护照的政府。政府印章(标志)每本护照,这样护照很难伪造。其他政府核实护照的印章,以确保护照是真实的。同样,CA签名的证书和加密保证签名证书很难伪造。因此,只要CA是一个真正和值得信赖的权威,client就能有较高的保障连接的是真正的机器。

openssl req -new-x509 -keyoutca-key -outca-cert -days365

生成的CA是一个简单的公私钥对和证书,用于签名其他的证书。

下一步是将生成的CA添加到**clients' truststore(客户的信任库)**,以便client可以信任这个CA:

keytool -keystore client.truststore.jks -alias CARoot -import -fileca-cert

注意,还需设置ssl.client.auth(”requested" 或 "required”),来要求broker对客户端连接进行验证,当然,你必须为broker提供信任库以及所有客户端签名了密钥的CA证书,通过下面的命令:

keytool -keystore server.truststore.jks -alias CARoot -import -fileca-cert

相反,在步骤1中,密钥库存储了每个机器自己的身份。客户端的信任库存储所有客户端信任的证书,将证书导入到一个信任仓库也意味着信任由该证书签名的所有证书,正如上面的比喻,信任政府(CA)也意味着信任它颁发的所有护照(证书),此特性称为信任链,在大型的kafka集群上部署SSL时特别有用的。可以用单个CA签名集群中的所有证书,并且所有的机器共享相同的信任仓库,这样所有的机器也可以验证其他的机器了。

3. 签名证书

步骤2生成的CA来签名所有步骤1生成的证书,首先,你需要从密钥仓库导出证书:

keytool -keystore server.keystore.jks -aliaslocalhost -certreq -filecert-file

然后用CA签名:

openssl x509 -req -CA ca-cert -CAkey ca-key -incert-file -outcert-signed-days {validity} -CAcreateserial -passin pass:{ca-password}

最后,你需要导入CA的证书和已签名的证书到密钥仓库:

keytool -keystore server.keystore.jks -aliasCARoot -import-file ca-certkeytool -keystore server.keystore.jks -aliaslocalhost -import-file cert-signed

参数的定义如下:

    keystore: 密钥仓库的位置

    ca-cert: CA的证书

    ca-key: CA的私钥

    ca-password: CA的密码

    cert-file: 出口,服务器的未签名证书

    cert-signed: 已签名的服务器证书

这是上面所有步骤的一个bash脚本例子。注意,这里假设密码“test1234”。

#!/bin/bash

#Step1

keytool -keystore server.keystore.jks -aliaslocalhost -validity365-genkey

#Step2

openssl req -new-x509 -keyout ca-key -outca-cert -days365

keytool -keystore server.truststore.jks -aliasCARoot -import-file ca-cert

keytool -keystore client.truststore.jks -aliasCARoot -import-file ca-cert

#Step3

keytool -keystore server.keystore.jks -aliaslocalhost -certreq -file cert-file

openssl x509 -req -CA ca-cert -CAkey ca-key -incert-file -outcert-signed -days365-CAcreateserial -passin pass:test1234

keytool -keystore server.keystore.jks -aliasCARoot -import-file ca-cert

keytool -keystore server.keystore.jks -aliaslocalhost -import-file cert-signed

4. 配置Kafka Broker

Kafka Broker支持监听多个端口上的连接,通过server.properteis配置,最少监听1个端口,用逗号分隔。

listeners

如果broker之间通讯未启用SSL(参照下面,启动它),PLAINTEXT和SSL端口是必须要配置。

listeners=PLAINTEXT://host.name:port,SSL://host.name:port

下面是broker端需要的SSL配置,

ssl.keystore.location=/var/private/ssl/kafka.server.keystore.jks        ssl.keystore.password=test1234        

ssl.key.password=test1234        ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks        ssl.truststore.password=test1234

下面是可选的配置:

ssl.client.auth = none (“required”=>客户端身份验证是必需的,“requested”=>客户端身份验证请求,客户端没有证书仍然可以连接。使用“requested”是纸老虎,因为它提供了一种虚假的安全感,错误的配置客户端仍将连接成功。)

ssl.cipher.suites(可选)。密码套件是利用TLS或SSL网络协议的网络连接的安全设置。是认证,加密,MAC和密钥交换算法的组合。 (默认值是一个空表)

ssl.enabled.protocols = TLSv1.2 TLSv1.1 TLSv1 (接收来自客户端列出的SSL协议,注意,不推荐在生产中使用SSL,推荐使用TLS)。

ssl.keystore.type=JKS

ssl.truststore.type=JKS

如果你想启用SSL用于broker内部通讯,将以下内容添加到broker配置文件(默认是PLAINTEXT)

security.inter.broker.protocol=SSL

由于一些国家的进口规定,oracle的实现限制了默认的加密算法的强度。如果需要更强的算法(例如AES 256位密钥),该JCE Unlimited Strength Jurisdiction Policy Files必须获得并安装JDK和JRE。更多信息参见JCA文档

JRE/JDK有一个默认伪随机数生成者(PRNG),用于加密操作。因此,不需要用

ssl.secure.random.implementation

实现。 然而,有些实现存在性能问题(尤其是在Linux系统选择的默认值

NativePRNG

,使用全局锁)。 在SSL连接的性能出现问题的情况下,请考虑明确设置要使用的实现。 如

SHA1PRNG

实现是非阻塞的,并且在高负载(50MB/秒的生成消息,以及每个代理的复制流量)下显示出非常好的性能特征。

一旦你启动broker,你应该就能在server.log看到

with addresses: PLAINTEXT ->EndPoint(192.168.64.1,9092,PLAINTEXT),SSL->EndPoint(192.168.64.1,9093,SSL)

用以下命令,快速验证服务器的keystore和truststore设置是否正确:

openssl s_client -debug-connect localhost:9093-tls1

(注意: TLSv1 应列出 ssl.enabled.protocols)

在命令的输出中,你应该能看到服务器的证书:

-----BEGINCERTIFICATE-----

{variable sized random bytes}        

-----ENDCERTIFICATE-----subject=/C=US/ST=CA/L=SantaClara/O=org/OU=org/CN=Sriharsha Chintalapani        

issuer=/C=US/ST=CA/L=Santa Clara/O=org/OU=org/CN=kafka/emailAddress=test@test.com

如果证书没有出现或者有任何其他错误信息,那么你的keystore设置不正确。

5. 配置Kafka客户端

SSL仅支持新的Producer和Consumer,不支持老的API,Producer和Consumer的SSL的配置是相同的。

如果broker中不需要client(客户端)验证,那么下面是最小的配置示例:

security.protocol=SSL        

ssl.truststore.location=/var/private/ssl/kafka.client.truststore.jks        ssl.truststore.password=test1234

注意:ssl.truststore.password在技术上是可选的,但强烈推荐。 如果未设置密码,对信任库的访问仍然可用,就不属于完整性检查。 如果需要客户端认证,则必须像步骤1一样创建密钥库,并且还必须配置以下内容:

ssl.keystore.location=/var/private/ssl/kafka.client.keystore.jks        ssl.keystore.password=test1234        

ssl.key.password=test1234

也可以根据我的需求在broker上设置其他的配置:

ssl.provider (可选的). 用于SSL连接的安全提供程序名称,默认值是JVM的默认的安全提供程序。

ssl.cipher.suites (可选).密码套件是身份验证、 加密、 MAC 和密钥交换算法用于协商使用 TLS 或 SSL 网络协议的网络连接的安全设置的已命名的组合。

ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1。broker配置协议(至少一个)。

ssl.truststore.type=JKS

ssl.keystore.type=JKS

举个例子,使用 console-producer 和 console-consumer :

kafka-console-producer.sh--broker-listlocalhost:9093--topic test --producer.config client-ssl.properties

kafka-console-consumer.sh--bootstrap-server localhost:9093--topic test --consumer.config client-ssl.properties

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,600评论 18 139
  • 服务器https配置 配置https操作说明文档 1、查看服务器环境配置(tomcat和apache合并使用) 2...
    南京杨小兵阅读 8,811评论 0 9
  • ** 今天看了一下kafka官网,尝试着在自己电脑上安装和配置,然后学一下官方document。** Introd...
    RainChang阅读 4,988评论 1 30
  • 在这个世界上没有不投资就可以有收获的事情,作为一名名捕其实的乞丐首先要去流浪人群中买套破衣烂衫和鞋帽,再去找个打狗...
    鑫波阅读 716评论 0 2
  • 百善孝为先,孝顺等不得。
    bu离bu弃阅读 106评论 2 1