华辰连科发布AI智能网关整体解决方案

近期，华辰连科基于行业主流uCPE硬件平台，结合企业边缘的核心应用，发布了AI智能网关整体解决方案，将以网络处理见长的边缘侧传统智能接入网关，融合AI推理能力，遵循云上训练（Training），终端推理（Inference）的原则，把AI算力推向网络终端，为系统集成商及用户提供更多的增值服务。

一、AI智能网关硬件平台

华辰连科创新性的将基于英特尔凌动C3000处理器的专门用于网络处理的智能网关与AI推理芯片相结合，使得做传统网络处理的智能网关在满足承载网络应用（例如 SD-WAN、FW、VNF等）的同时拥有AI推理能力。

作为智能网关的数据处理核心，英特尔凌动C3000处理器代号为“Denverton”，主打超低能耗，超高性价比，使用14nm工艺，拥有从2核心到16核心以及大缓存的多种型号，主频高达2.2GHz，能够为网络设备或者物联网设备提供更加强大的运算能力。CPU内置的英特尔 Quick Assist Technology (以下简称 QAT) ，专注数据安全和压缩加速，助力数据处理的性能提升。QAT支持对称数据加密算法（如AES）中的密码操作和验证操作运算以及公钥非对称数据加密算法（如RSA、椭圆曲线等）中的加密运算，可以极大的提升智能网关的IPSec性能.。针对企业边缘的高性能场景， 也可扩展到英特尔至强SoC系列产品。英特尔硬件平台的灵活性和可扩展性，以及对软件的适用性，是我们选择C3000处理器的主要原因。

AI推理芯片选用英特尔 Movidius Myriad X VPU，芯片采用标准的MiniPCIe或M.2模组形式封装，易于安装，便于调试。

英特尔 Movidius Myriad X VPU芯片架构由专门的计算引擎组成。芯片中包含通用处理器和16个SHAVE（流式混合架构向量引擎）处理器，同时配有成像和视觉加速器，神经计算引擎，以及把所有内容链接在一起的智能存储器结构。

SHAVE处理器由16个可编程128位VLIW向量单元组成，可以极大提升计算机视觉工作负载优化。神经计算引擎是一种片上DNN加速器，旨在以高速和低功耗运行深度神经网络，推断时可实现 1 TOPS(每秒1万亿次)运算，总体性能可以超过4 TOPS，而功耗仅仅3W。结合企业边缘网关的通用计算平台，可在同等硬件架构下使能边缘网关的AI智能化。

新一代英特尔Movidius VPU，代号Keem Bay，将用于边缘媒体、计算机视觉和推理应用，内置高清视编解码器，Keem Bay的性能相较上一代VPU提升了10倍以上。

二、AI智能网关软件平台

在网关软件平台中，我们可以对Ubuntu、CentOS、OpenWRT、VyOS等常用操作系统进行裁剪和定制开发。同时，我们也已经完成对VPP、DPDK、Quagga/FRR、Docker、KVM、OVS、OpenVINO等等常用软件的适配并提供技术支持。此外，我们针对IPSec、VxLAN、IPSec over VxLAN、PPTP、L2TP、OpenVPN等各种VPN专门进行了大量的优化及稳定性测试。

另外，网关软件平台提供的软件开发包，可提供WEB、MQTT、NETCONF、SNMP、TR069等常用管理和控制接口，并支持客户与专用平台对接以及进行二次开发。

这样，华辰连科AI智能网关软件平台，除了可用于路由、交换、VPN、SD-WAN、防火墙等传统场景外，结合新增加的AI推理能力，可提供从驱动、操作系统一直到应用层的整套开发框架，客户可以按需选配，根据相应的业务场景进行自由组合，满足自身的个性化需求的同时可以快速搭建业务原型。

三、AI推理开发框架

网关采用英特尔的AI系列VPU时，使用英特尔针对AI推理的开源开发框架：OpenVINO。

OpenVINO提供了深度学习推理套件（Deep Learning Deployment Toolkit,简称DLDT)，开发语言可以使用C++或者Python，遵循云上训练，边缘推理的原则，符合《边缘计算参考框架3.0》，可快速、便捷集成第三方AI算法。 除了Movidius VPU，OpenVINO同样适用于至强服务器、酷睿PC机、Altera FPGA，支持Windows或Linux开发环境，方便调试和测试。

OpenVINO还提供了模型优化器（Model Optimizer），可以方便的将Caffe、Tensorflow、MXNet、ONNX等深度学习框架训练产生的模型快速导入到推理引擎（Inference Engine）中进行推理，极大满足了模型的迭代和更新。

更多的OpenVINO资料请参考:https://docs.openvinotoolkit.org/latest/index.html

当前，华辰连科的智能网关软件平台已经完成USB摄像头、使用ONVIF（Open Network Video Interface Forum，开放型网络视频接口）协议的IP摄像头的适配和测试，可以直接提供开发包，以方便客户做视频类的AI。

另外，华辰连科专门对网关上使用Movidius AI芯片的OpenVINO进行了编译，打包和验证，并提供三种一键安装方式：
1. Docker镜像
2. Debian安装包
3. Git源代码编译、安装

以上安装都包括OpenVINO需要的第三方库：FFmpeg、OpenCV、nGraph等。

四、AI开放预训练模型库

行业内众多厂家已经公布了大量的AI预训练模型，基于英特尔的OpenVINO 也提供了大量可用的训练模型，可以极大节省开发者的训练时间。

有多种途径可以获得这些预训练模型：
1、在OpenVINO的open_model_zoo/models目录中
2、使用OpenVINO的open_model_zoo/tools/downloader自动下载
3、可以到https://github.com/openvinotoolkit/open_model_zoo手动下载

五、AI智能网关应用场景

1、智慧商超
在满足使能SD-WAN将商超的服务便捷安全的托管到云上外，AI智能网关还可以接入商超内部的摄像头，进行顾客的人脸识别、用户行为识别、人流检测以及购买能力分析等等，为智慧商超的落地应用提供了有力的技术支撑。

2、智慧高速
在高速场景中，传统组网方案将视频类业务全部经过网络传输到省级视频中心做统一处理。使用AI智能网关，可以在本地实时提供路段的车流检测、违章识别、大雾检测等功能，仅仅将所需结果上传到指挥中心，减轻视频业务流量的压力，极大提升了高速全网的反应能力。

3、智慧工厂
除了将工厂的MES业务使用IPSec安全隧道进行汇聚，以控制机床等设备以外，使用AI智能网关，可以在工厂内部进行机械设备运行异常检测、产品瑕疵检测、火灾检测、工人安全帽检测等等，在构建统一工业现场网络的同时，实现数据的互联、互通与互操作。

六、华辰连科AI智能网关产品规格

山东华辰连科通信网络有限公司 （简称：华辰连科，HuachenLink）
是山东华辰泰尔信息科技股份有限公司 （简称：华辰泰尔，Huachentel）
旗下全资子公司，专门从事智能通信网络终端、5G、AI、边缘计算等产品研发、制造和销售。
华辰连科是软件定义CPE（SD-CPE）的倡导者，致力于使用通用CPU和开源Linux实现传统通信网络设备的功能。我们是中国最早在CPE上运行VPP/DPDK的公司之一，更是Linux基金会下FD.io社区Sweetcomb开源软件的主要发起者之一。
公司网址：www.huachen.link
技术咨询：[email protected]（李先生）
大客户销售：[email protected]（马先生）
个人客户及渠道：[email protected]（严女士）