奇麟|一站式大数据资源管理与开发平台
source link: https://mp.weixin.qq.com/s?__biz=MzUxMTcwOTM4Mg%3D%3D&%3Bmid=2247488173&%3Bidx=1&%3Bsn=bb0a100343f717c99b035600154cc2d9
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
奇技 · 指南
360系统部成立于2010年，负责整个集团的大数据底层基础平台建设（包括分布式存储、分布式计算、大数据搜索、图计算等各类大数据服务），目前服务于整个集团30+部门，1000+用户，服务器25000+，存储数据量EB级。
奇麟（Qirin），是由系统部研发的一站式大数据平台，完整覆盖了大数据的采、存、管、算、用整个大数据开发和处理流程，可以帮助业务部门快速构建自己的数据平台及数据产品。
本文从整体层面介绍了奇麟大数据平台以及对每个功能模块进行概述，后续将有其他文章，对主要模块进行详细介绍。
1
奇麟大数据平台架构
奇麟大数据平台功能架构图
从功能上，奇麟主要由以下模块构成（自底向上）：
（1） 资源管理：用于各类大数据服务资源的申请和管理，以及访问权限的申请与管理，包括存储资源、计算资源等；
（2） 元数据管理：基于资源管理，为其他模块提供统一视图，将整个大数据处理平台（流程）贯穿起来。元数据管理一方面支持奇麟系统平台资源，同时也支持用户导入外部自有资源，进而托管应用；
（3） 数据汇集：用于将外部数据汇集到大数据存储中，包括实时和离线的数据汇集；
（4） 任务开发：批流合一的任务平台，用于开发、调度、监控实时和离线数据处理任务；
（5） 交互分析：用于使用SQL快速查询探索数据，以及简单的可视化分析和结果展示；
（6） 数据服务：基于以上各子系统能力，提供满足若干场景的SaaS服务，比如数据归档备份、跨集群的数据传输，以及对外提供数据共享等；
（7） 权限中心：用于管理资源账号权限以及开发组权限；
（8） 系统管理：提供一些系统基础功能的管理；
面向业务，奇麟思考的是通过提供简单易用的一站式大数据处理的平台，降低使用门槛，简化大数据平台工作，帮助业务释放数据价值，赋能业务。
奇麟模块化视图
奇麟通过模块化设计，使得各个模块可以灵活组装和运行，针对不同的司内外业务场景，可以快速形成不同的大数据解决方案和产品。
一个典型的大数据处理流程
接下来，本文将以一个典型的大数据处理流程为例，介绍如何通过奇麟来一站式完成。
2
奇麟资源账号
面向多租户，奇麟使用部门、资源组、项目账号对多租户进行存储、资源、权限的管理与隔离。
奇麟资源账号管理
使用奇麟平台，首先需要在权限中心 à 账号管理下，申请创建资源组和项目账号。
其中，资源组是对业务主题的定义/分类，项目账号用于访问大数据存储，提交大数据任务，对应操作系统中的一个真实账号。
大数据存储和计算资源的申请，成本的归属，均以项目账号来进行。一般不允许使用个人账号来使用大数据存储和计算资源。
3
奇麟资源管理
系统部管理和维护着各类大数据集群，并面向多租户提供服务，必须有一套资源管理系统来进行这些大数据资源的管理，否则运维管理成本是极高的。
资源管理模块可以对系统部提供的以下大数据资源进行申请：
（1） 存储资源：文件存储、表格存储、对象存储HDFS/Hive/HBase/Cassandra
（2）计算资源：YARN资源、容器资源
（3）消息总线资源：Kafka、QBus、NSQ
（4）多维分析资源：Druid、Doris
（5）索引系统资源：Poseidon、ElasticSearch
（6）服务资源：ScribeQ 、
（7）客户端资源：客户端部署、客户端账号
（8）资源预算和成本：预算申请、成本统计
用户需要使用大数据资源，需要到奇麟平台 à 资源管理模块进行资源申请，由运维管理员进行审批。
奇麟资源管理
奇麟资源管理模块，以项目账号为维度，展示了该项目账号下各类资源的使用情况，在资源不足时，可以进行资源扩容申请。
另外，各项目账号可以对自己资源中的权限进行管理，比如：HDFS目录权限，Hive/HBase表权限等。
注：
1.服务资源ScribeQ：用来兼容历史上广泛使用的scribe数据采集，申请ScribeQ 资源后, 在数据汇集系统可以将数据打入scribe，进而落地到HDFS之上。
2.客户端资源：由于历史上采用客户端方式部署，导致客户端分散难以管理，未来会将公司内部客户端资源收敛，而后将客户端资源的模式关闭。
4
奇麟元数据管理
元数据管理旨在统一元数据视图，贯穿起数据开发的各个环节；同时具备开放能力，通过API支撑业务构建数据资产、数据管理等能力。
元数据管理通过将分散的数据资源信息进行描述、定位、检索、评估、分析，实现了数据资源信息的描述和分类的结构化，从而为数据任务开发、数据治理、数据资源分析提供了有效的依据。
奇麟元数据管理
整个元数据管理从功能层面分为两层，一是数据源管理，二是元数据管理。数据源是指元数据管理平台所支持的元数据来源的方式。提供直连多种不同类型的数据源，目前包括：MySQL数据库、Hive数据库、Kafka、HDFS。元数据指各个数据源中具体的数据对象，比如表、Topic、HDFS路径等。
一个Kafka Topic元数据
5
奇麟数据汇集
奇麟提供的数据汇集模块xCollector，主要用于业务日志及其他数据的实时采集。用户通过界面化的配置，即可完成对数据的实时采集，并展示监控实时速率。
目前支持文本文件、Kafka等数据源类型的数据采集，通过总线流转，输出至Kafka、HDFS、ElasticSearch中，为上层提供数据支撑。
通过数据汇集，用户可以将自有的业务数据汇集到大数据平台中。
数据汇集架构图
数据汇集包含采集 à 解析 à 转换 à 发送四个步骤，均在采集端完成，在消耗资源较小的情况下，可以在采集端完成对数据的解析和转换（边缘计算），减小数据的传输量以及后续的计算量。
奇麟数据汇集-添加探针
使用数据汇集实时收集服务器上的日志，需要先在服务器上安装探针。可以在界面上通过输入SSH用户名密码来安装，也可以下载安装脚本，线下手动安装。
有了探针之后，可以在汇集任务页面创建任务，在画布中拖拽任务类型，通过配置即可完成。
通过画布创建数据汇集任务
实时展示数据汇集任务速率
6
奇麟任务开发
奇麟任务开发平台提供多种编程形式，支持在线进行可视化的流程编排和代码编写，高效完成大数据离线计算和实时计算的核心业务开发，并对计算任务进行任务调度管理、运行情况监控和告警等在线运维管理。
通过任务开发平台，用户可以完成大数据的离线/实时处理任务。
奇麟任务开发平台概览
奇麟任务开发平台支持以下任务类型：
• 基础任务：Shell、TransX、条件流转、任务依赖、数据检查；
• 离线计算：MapReduce、MRStreaming、Spark、Flink（批）、离线SQL；
• 实时计算：Flink（流）、FlinkSQL（流）；
• 开放API：与其他业务系统对接数据处理流程；
用户可以在任务开发平台中通过拖拽、配置以及简单的开发，完成业务数据处理流程。
奇麟任务开发平台任务流
可以为每个任务流设置定时运行策略
奇麟任务开发平台定时调度
查看每次运行实例的记录，包括运行状态、开始/结束时间、耗时、运行时长、运行主机、日志等。
奇麟任务开发平台任务运行记录
奇麟任务开发平台同时提供了开放API，可以与业务系统集成，完成一些异步的数据处理流程。
7
奇麟交互查询
交互查询，是奇麟提供的用于快速查询探索各类数据源的功能模块，其底层使用系统部最新自主研发的跨数据源分布式统一查询SQL引擎 ---- BigSQL 。通过交互查询，用户可以很方便的查询/探索已有数据。(BigSQL的架构和实现，会在后续的文章中详细介绍)
交互查询支持的数据源包括：Hive、MySQL、Druid、ElasticSearch、HBase等，未来会覆盖奇麟资源管理菜单中所有的存储资源。
交互查询支持跨数据源进行查询，比如：MySQL表关联Hive表。
查询引擎包括JDBC、Spark、Hive、Presto，系统默认根据规则自动选择执行引擎；用户也可以自己选择执行引擎；
奇麟交互查询
查询结果可以下载和简单的图形化分析。对于一些常用的查询，可以保存或者创建查询模板，下次直接使用。
奇麟交互查询模板
8
奇麟自助分析
自助分析是交互式查询的自然延伸。是奇麟基于开源组件，提供的用于多维分析/报表的轻量级、简单的可视化工具，提供初级的数据可视化功能。用户可以基于已有的表/SQL，构建维度分析模型，从而在页面上通过拖拽和配置，即可进行可视化分析，对分析结果可以保存成报表及仪表盘。
奇麟自助分析-创建分析模型
奇麟自助分析-可视化分析报表
对于保存好的报表和仪表盘，可以通过分享链接集成到其他系统中。
9
奇麟未来规划
通过奇麟平台完成典型数据处理流程
目前，奇麟平台基本具备了整个大数据开发和数据处理流程的能力，对于后续规划，我们将：
（1） 能力持续增强：元数据管理、任务开发、数据汇集、交互分析能力继续优化和增强。
（2） 开放更多API，支撑上层数据治理，与业务共建数据平台/产品/服务；
（3） 依据司内业务场景需求，提供更多大数据资源管理和服务能力；
（4） 沉淀通用解决方案：对外项目中提供大数据相关的平台解决方案；
（5） 融入容器云管理， 提供云化弹性的大数据平台能力；
10
写在最后
奇麟1.0从立项开发到目前的现状，只有短短的6个多月的时间,。系统部基于多年的大数据系统资源管理和分布式平台优化和定制化开发的经验，对大数据分布式组件进行封装， 提供一站式Kernel-Lib-Interface的大数据操作系统和开发平台。围绕着元数据管理，覆盖了大数据的开发链条中的数据采集、存储、计算、调度以及简单的数据可视化能力。我们会长期投入聚焦大数据平台的产品化和服务化，提供通用的API，简化大数据业务逻辑、支撑上层数据治理平台的开发构建。
关于奇麟的未来，还需要大家踊跃热心参与进来，提出宝贵的需求和意见，帮助我们不断改进和进化。
往期精彩回顾
用DNS进行网络度量和安全分析
360技术公众号
技术干货|一手资讯|精彩活动
扫码关注我们
Recommend
-
96
深入Docker的资源管理
-
160
XAsset 为 Unity 项目提供了一套”简便”的资源管理环境，借助 XAsset，你可以很方便的对Unity项目中的 AssetBundle 资源进行构建，加载，释放。Github https
-
98
-
99
-
56
5 月 26 日下午，在第二十八期七牛云架构师实践日，李朝光进行了题为《深度学习平台 AVA 及海量资源管理》的实战分享。本文是对演讲内容的整理。 作者简介：
-
50
-
8
1 开场 大家下午好,很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分： 贝壳的数据业务背景。 数据开发平台探索历程。
-
3
浅谈数据开发神器——数栈离线开发平台（BatchWorks） - 袋鼠云数栈DTinsight的个人空间 - OSCHINA - 中文开源技术交流社区
-
3
深入解析 Flink 细粒度资源管理 微博 使用《开发者头条》客户端，拥有更好的阅读体验。 立即体验
-
1
《北森说 ● 央国企专刊第一期》 “十四五”改革进入攻坚期，“人才强企”成为企业管理建设的重要目标。北森在能力素质研究与应用、人才评价流程和评价中心、外部人才招聘、内部人才调配、数字化绩效管理、青年人才储备等方面，做出了国企特色...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK