谈企业内集成需求的发展(200408)

今天谈下企业内应用系统间的集成需求，虽然我们前面谈了很多的企业中台建设，微服务架构，基于DevOps的面向云原生的持续集成和持续交付解决方案，但是我们还是要看到，对于任何一个企业这个转型过程都不可能一蹴而就，而是一个长期逐步演进的过程。

那么对于这些已经存在的遗留系统和遗留架构，我们还是得支持各种场景的集成场景和集成需求。

首先看下对于企业内部系统间已经通过Web Service来实现的接口集成，不论是SOAP的WS服务接口，还是基于Http Rest Web Service服务接口，这些都是当前主流的服务集成和服务发布方法。也是我们常说的采用ESB服务总线或API网关进行的服务集成和服务能力开放。要注意对于ESB服务总线往往会同时具备了对Http Rest接口服务的适配和集成能力，但是当前的API网关产品就很少再去兼容SOAP WS服务的。

对于才有ESB服务总线进行服务集成的时候，我们前面已经讲过很多次，服务总线的优点在于大并发，小报文，低时长的服务访问和调用，对于这种情况往往可以达到很高的TPS性能值和服务访问吞吐量。而ESB服务总线最怕的就是长耗时长连接，大报文大数据量的服务调用。

长耗时+大报文都会导致我们在服务请求和解析报文，进行序列化和反序列化时候大量内存消耗。

为了应对这个问题，可以看到我们有时候会采用一些分页，数据报文压缩等方式来提升性能，但是如果涉及到很大数据量的底层数据库表间数据同步，及时我们做了上述处理仍然会造成很大的消耗。

大数据集成工具

即对于ESB服务总线来说本身就不太适用于应用系统间底层数据库表间的大数据集成操作。这个更多的还是得通过ETL工具来解决，但是ETL工具如何和我们的WS服务做集成和协同，类似Oralce就给给出了ODI的解决方案来解决这个问题。

即ODI = Web Serice + ELT数据集成

这个方案的特点就是数据请求和数据调度任务的发起不再是传统ETL的定时方式，而是通过调用Web Service服务发起，而且在发起的时候这个服务本身还能够输入具体的参数信息，更加方便灵活。但是具体数据的传递仍然是走传统的ETL方式进行，减少了对这部分报文在ESB管道上传输带来的性能压力。

大文件集成工具

还有一个场景就是企业内的文件传输和文件集成，这个也需要分场景，具体来说如果仅仅是一个业务服务比如合同信息上传服务涉及到的文件附件传输，而且这个文件传输我们希望做到实时触发传输，那么我们可以使用类似ESB服务总线的FTP文件适配器来解决这个问题。

但是如果我们面对的是大量文件的批处理和端到端传输，那么通过ESB总线就很难去解决这个问题，特别是对于文件传输过程的端到端管理和监控能力，ESB总线更加难以达到。

而面对这个场景，对于当前的Oracle SOA套件体系给出的解决方案是MFT文件传输平台，通过这个平台来实现文件的端到端传输和管理，而且支持文件传输安全，加密，文件压缩，断点续传等能力。

消息中间件能力

对于任何ESB总线，我们可以看到天生就自带了强大的消息中间件能力，类似IBM的MB总线自带MQ能力，Oracle的OSB总线自带Weblogic JMS能力，Tibico的ESB总线自带EMS消息中间件能力等。其核心原因就在于对于ESB服务总线本身既需要支持服务的同步集成和实时调用，也需要支持类似消息模式的异步集成能力。

我们可以看下对于当前的API网关产品，实际上已经没有这部分的能力。所以API网关产品往往并不能解决消息集成和消费发布订阅。那么你在搭建新的技术平台的时候，如果你选择了API网关，往往还需要选择另外一个开源的消息中间件来解决消息集成场景。

对于消息集成一方面是异步集成能力，更加重要的就是我们常说的消息1对多，消息的发布订阅场景。这个功能大大的简化了我们集成的复杂性，原来的多点集成转变为了基于消息中间件的多点分发，而对于源端系统来说只需要将数据分发到消息中间件即可，具体的朝目标端的分发和重试机制完全由消息中间件自己来完成。

面向云端和云环境的服务集成能力

这个即是我们经常谈到能力开放平台或OpenAPI开放平台，或需要和公有云的对接平台。实际上你可以看到当前和各个公有云，外部的相关SaaS应用对接基本都是类似OpenAPI平台和基于Http接口的对接方式。因此你的集成平台只需要支持这种方式的对接，支持对基于Http Rest集成方式下的安全管理和监控能力即可。

同时在和外部对接的时候需要考虑在企业的DMZ区单独部署一套ESB总线，如果外部对接的场景足够简单，比如全部都是Http Rest服务接口，那么我们也完全可以在DMZ区部署一套API网关产品即可。如果对于API网关你都觉得复杂，最简单的方式还可以部署一套Nginx服务来做代理路由。

因此对于云端的集成大家不要觉得复杂，基本能力仍然是我们常说的ESB总线或API网关的能力，只是在我们进行云端集成的时候，需要在安全性设计和实现上花更多的功夫。

远行的CSB云服务总线解决方案

前面谈了企业内的各种集成需求和集成场景，可以看到包括了服务集成，大数据集成，大文件集成，消息集成等多种场景，而这些在远行当前CSB服务总线产品中可以全部提供，也就是一个产品可以提供上面所有的能力，而且大数据传输，大文件传输本身又和服务做了集成和协同，全面覆盖了企业内的集成场景和需求。同时还有一个关键点就是远行的CSB服务总线产品完全覆盖当前主流的API网关产品提供的全部功能和能力，可以对HttpRest服务接口的服务注册接入，设计，安全，流控，运行监控的全生命周期管理。

对于存在大量遗留系统需要集成，逐步进行IT架构转型的企业，远行服务总线能够提供的这种一揽子的解决方案往往更加具备优势和价值。