Stream 分布式数据流的轻量级异步快照 | SmartSi
source link: http://smartsi.club/2018/03/06/lightweight-asynchronous-snapshots-for-distributed-dataflows/?
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Recommend
-
73
Cloudtask —— 轻量级的分布式定时任务调度平台
-
58
Apache Kafka 正在迅速成为最受欢迎的开源流处理平台之一。我们在 Spark Streaming 中也看到了同样的趋势。因此，在 Apache Spark 1.3 中，我们专注于对 Spark Streaming 与 Kafka 集成进行重大改进。主要增加如下： 为 Kafka 新增了 Direct API - 这允许每个 Kaf...
-
58
对于数据密集型任务，I/O操作和网络数据传输需要花费相当长的时间才能完成。通过在 Hive 中启用压缩功能，我们可以提高 Hive 查询的性能，并节省 HDFS 集群上的存储空间。 1. Hive中的可用压缩编解码器要在 Hive 中启用压缩，首先我们需要找出 Hadoop 集群上可用的...
-
37
-
23
流式计算系统是近些年发展较快的领域，虽然发展迅速，但实际上直到现在都没有能让所有人都满意的系统出现，哪怕是 flink/blink。 流式计算的理论基石是 leslie lamport 在 1985 年发表的论文《Distributed Snapshots: Determinin...
-
28
CIEL 分布式执行引擎 分布式执行引擎，用于执行具有任意数据依赖的控制流的程序。主要动机是运行时动态生成任务图，从而自然地支持迭代算法。 论文核心在第三、四、五节，分别介绍了 CIEL 系统的...
-
20
-
27
分布式任务调度平台XXL-JOB简介：XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。官网文档https://www.xuxueli.com/xxl-job/特性1、简单：支持通过Web页面对任...
-
4
告别Kafka Stream，让轻量级流处理更加简单发布于 今天 16:50 作者｜白玙一说到数据孤岛，所有技术人都不陌生。在 IT 发展过程中，企业不可避免地...
-
7
TLog能解决什么痛点# 随着微服务盛行，很多公司都把系统按照业务...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK