39

Confluent平台5.0支持LDAP授权及用于IoT集成的MQTT代理

 5 years ago
source link: http://www.infoq.com/cn/news/2018/09/confluent-platform-5.0?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Confluent平台是基于 Apache Kafka 构建的一个企业级流平台。该平台的 5.0版本 支持LDAP授权、Kafka主题检查以及用于物联网(IoT)集成的Confluent MQTT代理。最新版本基于Apache Kafka 2.0的特性构建,致力于保证基础设施安全、可靠以及管理使用流数据的应用程序。

运营团队可以使用新的LDAP授权插件来保证消息传递基础设施的安全。该插件可以用于设置Kafka的访问控制,使消费者可以使用LDAP服务器中定义的用户-组映射。该插件支持基于用户主体和基于组的访问控制列表(ACL)。

借助 Confluent Replicator 提供的“自动偏移转换(automatic offset translation)”特性,运营人员还可以提供灾难恢复(DR)支持。这个Replicator工具会自动复制主题消息及相关元数据。最新版本的Confluent平台还会保证消费者偏移在辅助集群上可用。当消费者客户端应用程序故障转移到辅助集群,Replicator可以处理消费者偏移转换,那样,它们就可以在最靠近原来集群上停止消费的点恢复消费。这可以最小化消费者在灾难情况下需要的重新处理而又不会跳过消息。

Confluent控制中心 ,运营人员可以查看多个Kafka集群的代理配置,检查具体代理的配置值,比较同一集群中的差异,识别潜在的风险,如不同代理和下载配置中安全配置不匹配。他们还可以检查消费者延迟,确保使用Kafka的应用有一个更好的性能。

使用新的主题查看特性,控制中心使用户可以洞察发布到Kafka主题的实际数据。用户可以看到主题中的消息流,读取消息属性,如键、头、值数据。与Schema Registry的集成使得主题查看特性可以支持JSON、字符串和 Avro 等数据格式。用户还可以查看较旧的模式版本,并把它们和当前的版本进行比较,方便找出模式演化过程中的差异。

控制中心提供了一个新的用户界面,用于编写 KSQL 。KSQL的最新版本引入了嵌套数据、用户定义函数(UDF)、用户定义聚合函数(UDAF)、新型联合(流-流、表-表、流-表联合)及增强REST API支持。

Confluent平台的新版本还包含 Confluent MQTT代理 ,用于把基于物联网(IoT)的应用程序和Kafka集成。MQTT代理使用Kafka原生MQTT代理代替了第三方 MQTT 代理,可以用于联网汽车、制造业生产线和预测性维护应用程序中。

使用传输层安全(TLS)加密和基本身份验证,MQTT代理支持 MQTT 3.1.1协议 ,可以发布所有三个 MQTT服务质量级别 的消息。服务级别包括把消息发送给消费者:1)最多一次(即发即弃);2)至少一次(需要确认);3)恰好一次。

Confluent平台有两个版本: Confluent开源版本下载地址 ),包括Schema Registry、KSQL支持、REST代理、预置外围系统(Elasticsearch、HDFS、S3)连接器等开源组件。 Confluent企业版本下载地址 )包括Confluent开源特性,同时增加了Confluent控制中心、自动数据均衡、Replicator及产品的商业支持。

查看英文原文: Confluent Platform 5.0 Supports LDAP Authorization and MQTT Proxy for IoT Integration


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK