StarRocks开源——携手未来，星辰大海！

摘要：这是一个充满挑战的时代。数据驱动正在深刻地改变整个世界。我们的业务数据、数据报表、数据指标越来越多，但我们分析数据的速度却越来越慢，报表构建的复杂度越来越高。
关键词： StarRocks

各位大数据从业者：

这是一个充满挑战的时代。数据驱动正在深刻地改变整个世界。我们的业务数据、数据报表、数据指标越来越多，但我们分析数据的速度却越来越慢，报表构建的复杂度越来越高。如何有效地分析这些海量的数据，真正有效地利用数据为业务创造价值？这是我们都在思考的重要问题。可能你曾经为此搭建过很多系统，做过很多尝试，但实际效果不佳。仔细想一想，你的数据分析架构是否也在面临以下的难题？

（复杂的企业数据分析架构）

第一，数据分析性能不达标。

随着数据驱动的深入，业务提出了更多的分析需求，比如多维分析，实时分析，高并发查询和Adhoc查询。在很多分析需求场景下，当前系统性能表现不佳，无法提供极速分析体验。

第二，数据分析的灵活性不足。

很多时候，为了能够提供极速分析体验，你需要针对各类场景构建大宽表，或者做复杂的预处理，而这损失了分析灵活性。特别是在自助化BI这样灵活的场景下，星型模型和雪花模型的价值不可替代。现有的系统难以同时高性能支持这些建模手段。

第三，数据架构复杂度太高。

为了满足业务的多种分析需求，你必须搭建多套系统来组合使用。这让分析层架构变得非常复杂，导致开发维护成本以及业务使用成本都很高。另外，随着各类实时分析场景的兴起，你需要同时构建离线数据链路和实时数据链路。但数据同步、数据一致性、计算逻辑同步、异常数据处理、多系统运维等问题马上就接踵而至。你只能疲于应付。

第四，数据分析能力弹性不足。

你的数据规模越来越大，对应的数据分析系统需要不断地扩容；不同的业务线有不同的数据分析访问量，需要保证每个业务线的SLA；有的业务还有大促，周年庆等流量高峰，如何保证既能支持好业务，又能节省成本？相信这些问题没少让你头疼。

产生这些问题的根本原因，是旧的大数据技术架构已经不能满足当前业务高速发展的需求。在旧的底层架构上进行修修补补只能解决部分问题。要想从根本上破局，就需要一套全新的“极速统一”的数据架构。“极速”，意味着全面提升数据处理和分析的性能；“统一”意味着将复杂分散的数据架构融合为简单统一的架构。

为此我们决定把我们的核心产品DorisDB升级为StarRocks，并全面开源（Github搜索“StarRocks”），和全球大数据从业者一起构建新一代极速统一的数据分析架构！

StarRocks开创全新的极速统一分析

2020年初，当时还没有人相信一个企业的数据分析架构可以统一，但我们相信“极速统一分析”一定可以实现。经过团队近20个月夜以继日的努力，我们攻克了诸多“不可能”的技术难题，通过自主研发新一代的技术，我们将StarRocks打造成了具有划时代意义的产品：“新一代极速全场景MPP数据库”

·全新设计的全面向量化MPP查询引擎，同时支持极速的单表和多表查询性能。

StarRocks自主打造的新一代全面向量化的MPP引擎使查询性能大幅提高，是非原生向量化系统（Kylin/Druid/Elasticsearch/Impala-Kudu/Presto/Greenplum）的3～5倍以上。ClickHouse向量化引擎并不支持全面的MPP，多表查询能力差，StarRocks的多表查询性能是其3～5倍以上。

·全新设计的实时列式存储引擎，具备极致的实时更新和查询性能。

在实时更新下，StarRocks查询性能是其他产品的3～5倍以上。

·全新设计的数据分布模式，具备高并发查询能力。

其他系统都无法较好支持高并发查询，StarRocks可以支持每秒上万次的并发查询能力。

·全新设计的CBO优化器，支持极速的秒级AdHoc查询。

StarRocks性能可以做到主流AdHoc查询系统Presto的5倍以上，可以做到秒级延迟。

·全新设计的现代化物化视图，具备灵活透明的预计算加速能力。

其他产品无法做到非常好的透明化加速，具有较高的开发和管理成本，StarRocks在可以灵活透明加速的现代化物化视图方面进行了大量创新。

通过这些独特的技术能力，StarRocks真正实现了极速统一分析：

·StarRocks可以同时高效支持OLAP多维分析、实时数据分析、高并发查询、AdHoc查询等多场景，并且比上一代同类型产品的分析能力快3～5倍以上。

·全新的OLAP多维分析体验，打破“只能做大宽表”的局限性，让多种数据建模模式：预计算、大宽表、星型模型和雪花模型等都具备极速分析体验。

·全新的实时数据分析体验，真正支持实时更新和删除，并能保证极速查询性能。

·全新的高并发查询体验，突破传统OLAP无法高并发的限制，支持数千人同时访问。

·全新极简统一的OLAP架构，大大降低了使用和运维管理复杂度，提升了开发和使用效率。

产品发布半年以来，StarRocks快速被50多家市值（或估值）在10亿美金以上的大型用户用于生产环境，有力地支撑了这些用户的数据分析业务，创造了全新的分析体验，并且有不少行业头部公司已经开始用StarRocks实现了统一的OLAP平台，“不可能”的极速统一分析正在快速变成“现实”！这也是为什么，阿里云、腾讯云、小米、京东、滴滴、贝壳、携程、小红书、顺丰科技、58同城等行业头部公司在第一时间加入社区，一起携手为“极速统一”的新时代梦想而努力。

“极速统一分析”并不是终局，而是新的起点

在当前极速统一的数据分析架构的基础上，我们的下一个目标是要打造“新一代流批融合的极速湖仓（Lakehouse）”。众所周知，在当前主流的数据处理链路中，实时数据处理和离线数据处理是割裂的。企业要管理好这两种数据处理场景，往往系统架构复杂、难于维护。而我们要在StarRocks里实现这两种数据处理方式的融合。

·我们将设计全新实时和离线融合的云原生架构，可以同时高效管理实时数据和离线数据。

虽然云原生标杆Snowflake在离线数据场景下打造了先进的存储计算分离架构，但是这个架构在实时数据分析支持上存在很大不足。我们将设计新一代云原生架构，同时高性能支持实时数据和离线数据的写入和读取。

·我们还将设计全新流批融合的向量化计算引擎，可以同时进行极速的批处理和流处理。

通过打造全新的向量化批处理引擎，可以实现比Apache Spark快5～10倍以上的批处理速度。同时完美融合流式语义，利用向量化技术提升流处理性能。用户无需再忍受使用Spark和Flink分散进行批处理和流处理带来的复杂性！

“坚持大胆尝试，实现不可能”是我们一直践行的价值观。在未来一年半左右的时间内，我们将和社区一起打造全新的StarRocks。让企业的离线数据和实时数据可以采用同一套架构、同一种语义、同一个引擎来处理，让数据架构实现全面的“极速统一”，“让原本简单的事情回归简单”！

一个人走得快，一群人走得远

为了实现这些伟大梦想，我们将在全球范围内构建StarRocks开源生态，吸引优秀的有志之士一起来参与社区建设。我们将不遗余力地推动更多的全球用户加入社区，了解和评测StarRocks，使用和改进StarRocks。我们还将推动全球的数据工程师/数据分析师与社区一起，基于StarRocks构建各类数据分析场景的新一代解决方案。

如果你也和我们一样，心怀梦想，请现在就关注我们，参与社区建设，在Github上给StarRocks加一个星吧。让我们一起来创造“极速统一”的大数据新时代，向不可能说不！

StarRocks——携手未来，星辰大海！

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。

第三十三届CIO班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。