全新物联网数据集成 ：Flow 可视化编排 & 双向数据桥接

引言：全新的数据集成能力

为物联网平台与应用提供高性能的实时数据处理与集成，一直是 EMQX 最重要的能力之一。最新发布的 ​ ​EMQX 5.0​​ 针对数据集成相关功能进行了深度的重构和优化，以期帮助用户更加轻松灵活地使用。

EMQX 5.0 将 Webhook、数据存储/桥接插件整合到一起，使用统一接口来管理南北向数据流，用户在原有数据采集上报场景进行规则处理的基础上，还可实现通过规则处理云端到设备的南向消息。

同时，EMQX 5.0 还提供了数据集成可视化查看能力（Flows）。通过 Dashboard 页面，用户可以清晰看到物联网数据如何通过规则处理，以及数据如何流向外部数据服务或设备。

后续版本还将支持在 Dashboard 上以拖拽的方式编排规则和数据桥接（Flow Editor），通过可视化界面将物联网硬件数据流轻松连接在一起。

本文将为读者详细展示 EMQX 这一重要能力的价值与应用，以及 EMQX 5.0 中对其进行了哪些升级优化。

什么是数据集成

EMQX 数据集成即 4.x 版本中的​ ​规则引擎​​与桥接功能的组合。它是在发布订阅模型基础之上的数据处理与分发组件，通过简单、可视化的配置，即可将消息流、设备事件与 Kafka、RabbitMQ 等消息中间件以及各类 SQL / NoSQL / 时序数据库等数据系统集成。

EMQX 实时、简洁、高效的数据集成方案主要通过规则与数据桥接两个功能实现。

规则用于消息和事件数据的处理，通过 SQL 语法结合内置或用户扩展的自定义函数，实现诸如数据格式转换、消息编解码、业务逻辑处理等操作。关于规则的详细信息，请参见​ ​规则​​。

数据桥接用于对接数据系统，在 EMQX 和外部系统之间实现双向、高性能的数据数据移动。通过数据桥接，用户可以实时地将消息从 EMQX 发送到外部数据系统，或者从外部数据系统拉取数据并发送到 EMQX 的某个主题。关于数据桥接的详细信息，请参见​ ​数据桥接​​。

为什么需要数据集成

MQTT 协议被设计用于硬件设备到服务器的消息传递，而要实现完整的物联网应用，则需要将设备与业务系统连接起来，实现上报数据的云端存储与业务指令的下发。

传统的物联网应用开发中，实现这一目的需要开发人员编写对应的代码，之后的业务变更则需要对整个应用进行升级。而设备端、业务平台端往往都是独立团队运营，如何实现设备端和云端业务平台解耦并高效完成业务对接是项目能否快速交付并升级迭代的关键。

EMQX 数据集成即旨在解决这一问题。通过提供灵活低代码的配置能力，帮助用户轻松上手，快速实现各类应用集成与业务创新。

经过多年来在各行业物联网应用场景中的落地实践，EMQX 数据集成能力已经成为构建整体应用的必备关键功能，持续为用户创造价值。

EMQ 车联网整体解决方案：围绕规则引擎构建上层 TSP 和其他业务

双向数据流：数据上报与消息下发均支持规则处理

物联网应用中设备与业务系统之间的数据通常都是双向的，既有数据采集上报的场景，也有云端消息下发的需求，两者结合共同实现完整的业务流程。

在此前版本中，EMQX 的规则是通过设备的消息和事件触发执行的。这就意味着规则仅能用于数据采集上报场景，云端到设备的消息下发场景则无法直接使用规则的数据处理能力。用户需要使用中转方案将数据先发送到 EMQX 某个主题中，再通过规则进行处理。

EMQX 5.0 对此进行了优化：提供了双向数据桥接能力——除了将设备数据桥接至外部系统外，还能从外部数据系统如另一个 MQTT 服务、Kafka 中桥接数据至 EMQX，并经过规则处理后发送到指定设备。

EMQX 数据集成南向消息处理下发流程示意图：紫色路径为 4.x 版本方案

双向数据流的数据桥接在云端下发场景解耦了业务系统与 EMQX 连接，能够实现持续的大规模消息下发与实时处理，为物联网业务开发提供了更多的可能性。

Flow Editor：通过可视化编排规则处理数据流

在之前的版本中，EMQX 的数据集成是通过配置 SQL + 规则动作的方式实现的，这种模式有以下好处：

• SQL 语法在数据库领域广泛应用，有技术背景的用户可以很快上手并在短时间内掌握写出复杂规则；
• SQL 规则相比编码有更好的可阅读性，且能够在运行时创建、变更，适合快速变化的业务。

围绕 SQL 的数据集成与数据处理方式可以让用户快速开发实现所需业务，但也带来了一些问题：

• 技术人员需要先熟悉 EMQX 规则 SQL 语法才能开始编写业务，而对于非技术人员，SQL 不够直观，上手使用门槛较高；
• 使用 SQL 无法实现一些复杂的场景，例如在同一条规则中根据条件将数据分发到不同数据桥接，这将导致用户不得不创建多条相似的规则；
• 无法在不修改 SQL 的情况下增加一个事件以复用同一条规则；
• 规则较多的情况下无法提供清晰的数据处理与集成流程，很难维护和管理。

在 EMQX 5.0 中，我们通过可视化查看能力（Flows）优先解决了多个规则下数据集成难以维护和管理的问题。通过 Dashboard 页面，用户可以清晰看到物联网数据如何通过规则处理并流向外部数据系统或是从外部数据系统经规则处理后分发到设备的数据集成拓扑，并监控这一链路中任意规则或数据桥接节点的状态。

后续版本中，我们将在 EMQX 上内置一个具有可视化编排能力的数据流编辑器 -- Flow Editor。它基于浏览器使用并搭配底层的执行引擎，将允许用户在 EMQX Dashboard 上以拖拽的方式自由编排规则和数据桥接。通过可视化界面将物联网硬件数据流轻松连接在一起，实现更灵活、快速的物联网业务开发与交付。

数据集成升级指南：从 v4 迁移到 v5

EMQX 5.0 规则 SQL 完全兼容 4.x 版本的语法，但是在设计上将原属于规则下的动作拆分为内置动作（消息重发布、控制台输出）与数据桥接（Webhook、MQTT Bridge），以便实现规则与数据桥接的复用。

除了架构设计之外，EMQX 还对旧版本中数据集成相关功能进行了整合。在 4.x 版本的规则引擎功能推出之前，用户可以使用插件实现简单的数据集成。出于兼容性考虑，规则引擎推出之后我们没有移除这些插件，这带来了一定的功能碎片化情况。

EMQX 5.0 正式移除了相关的插件，以便为用户提供更加清晰且完整的数据集成能力，降低学习和选择的难度。

以下为 EMQX 开源版 4.x 升级到 5.0 功能变化对照关系：

在各行业构建物联网平台与应用的过程中，根据需求对海量数据进行准确、实时的处理，与各类上层业务系统应用对接，是必不可少的环节和挑战。作为一个可「随处运行、无限连接、任意集成」的​ ​物联网 MQTT 消息服务器​​，EMQX 将通过强大易用且不断完善的数据集成能力，帮助用户轻松应用数据处理难题，实现业务创新。

版权声明： 本文为 EMQ 原创，转载请注明出处。

原文链接：​ ​https://www.emqx.com/zh/blog/iot-data-integration​​