15

全网第一份 Kylin 4.0 性能调优指南!

 3 years ago
source link: https://mp.weixin.qq.com/s?__biz=MzAwODE3ODU5MA%3D%3D&%3Bmid=2653081761&%3Bidx=1&%3Bsn=4d5e3366de6e3fb8f82695b9e3734de1
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

收录于话题

#技术博客

1个

Kylin 4.0 相较之前的版本是一个 重大的架构升级 版本,全新的构建引擎和查询引擎极大地提升构建性能和查询性能,解决了查询 单点问 等痛点;去除了 HBase 依赖,很大程度地解决了 Kylin 的难运维问题,也使得 Kylin 的计算和存储分离变为可能,更加符合 云原生 的技术趋势。

随着 Kylin 4.0-alpha 版本的发布,全新的构建和查询引擎也使 Kylin 4.0 中的调优方式相比 Kylin 之前的版本发生了重大的变化,这使得 Kylin 老用户积累的大部分调优经验不再适用于 Kylin 4.0 。

为了使用户能够快速了解 Kylin 4.0 中的调优方式和最佳实践,避免在使用 Kylin 4.0 过程中由于其调优方式与 Kylin 之前版本的巨大差异而遇到性能瓶颈,Kyligence 的大数据架构师张智超发布了 Kylin 4.0 的最新性能调优指南。( 点击“阅读原文”,直达 Kylin 4 最新性能调优指南

除此之外,我们更特意推出了本期 B 站视频,来讲解在 Kylin 4.0 中如何优化 Cube 构建和查询性能。 本次视频主要分为  Cube  构建性能优化 查询性能优化 两个部分。

#  上篇「Cube 构建性能优化」

关于 Cube 构建性能优化,除了可以通过原有的设置层级维度、必需维度等方式对 Cube 进行剪枝来提升构建速度以外,还可以通过设置合理的 Spark 资源配置来优化构建,比如利用 Kylin 4.0 中的新特性自动调参,或者调整全局字典以及维度表快照的相关配置来提升性能。

# 下篇「查询性能优化」

而查询性能优化,则主要是通过在 Cube 中指定 shardBy 列、设置 sortBy 列顺序、减少小文件、对查询引擎 SparderContext 的配置进行调整等方式来实现的。

除了以上针对 Kylin 4.0 调优的讲解视频,大家还可以在 Kylin Wiki  中了解 Kylin 4.0 的最新进展。 随着 Kylin 4.0 不断迭代更新,Kylin 4.0 的性能调优方式也会不断发生变化和更新,欢迎大家持续关注我们的 最新性能调优指南」 (点击“阅读原文”即可直达

Kylin 4.0  性能调优指南目录如下图:

Bf2Mvm6.png!mobile

往期案例与实践

喜欢 Kylin 的产品和文章的话,别忘了 分享 收藏 点赞 ,让更多人知道我们哦:blush:

67BJjur.png!mobile

点击

阅读原文

查看 Kylin 4.0 性能调优完整指南


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK