使用 Amazon Kinesis 快速构建流式数据分析架构
source link: https://www.infoq.cn/article/Ly1fINPcosU2cY5hTtFB
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
简介
Amazon Kinesis 可让您轻松收集、处理和分析实时流数据，以便您及时获得见解并对新信息快速做出响应。Amazon Kinesis 提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性，让您可以选择最符合应用程序需求的工具。借助 Amazon Kinesis，您可以获取视频、音频、应用程序日志和网站点击流等实时数据，也可以获取用于机器学习、分析和其他应用程序的 IoT 遥测数据。借助 Amazon Kinesis，您可以即刻对收到的数据进行处理和分析并做出响应，无需等到收集完全部数据后才开始进行处理。
实际上，Amazon Kinesis 包含以下四个服务:
-
Amazon Kinesis Video Streams – 利用 Amazon Kinesis Video Streams，您可以轻松而安全地将视频从互联设备流式传输到 AWS，用于分析、机器学习 (ML) 和其他处理
-
Amazon Kinesis Data Streams – Amazon Kinesis Data Streams 是一种可扩展且持久的实时数据流服务，可以从成千上万个来源中以每秒数 GB 的速度持续捕获数据。
-
Amazon Kinesis Data Firehose – Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析服务中的最简单方式。该服务可以捕获和转换流数据并将其传输给 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、通用 HTTP 终端节点和服务提供商（如 Datadog、New Relic、MongoDB 和 Splunk）
-
Amazon Kinesis Data Analytics – Amazon Kinesis Data Analytics 是通过 SQL 或 Apache Flink 实时处理数据流的最简单方法，您无需了解新的编程语言或处理框架。
本篇文章将完整展示如何使用 Kinesis 构建流式数据分析架构，如下图所示：
提前准备
进入 Demo 之前，先提前创建好名字为 kinesis-demo-us2 的 S3 存储桶，创建过程可以参看：
https://docs.aws.amazon.com/quickstarts/latest/s3backup/step-1-create-bucket.html
然后，再创建 Redshift 集群，具体步骤可以参看:
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK