日志收集系统设计
source link: http://jeffzzf.github.io/2020/06/30/%E6%97%A5%E5%BF%97%E6%94%B6%E9%9B%86%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
日志收集系统设计
发表于
2020-06-30 分类于 系统设计
在分布式系统中，同一个应用可能部署在多台机器上，如果日志没有集中搜集起来，通过日志排查问题时需要查找每台机器上的日志，排查过程也会消耗性能，可能影响线上业务。
日志可用来统计PV、UV 等指标，用于 OLAP、机器学习模型训练等场景。
可用日志流中实时解析出有价值的信息，用于实时 OLAP、实时模型训练、风控等。
- 易用性，无侵入
日志接入（agent）
日志收集 Agent，部署在应用服务器上，用于收集应用日志
考虑到接入成本和对业务的影响，考虑与已有日志框架集成（如通过 Log4j 框架的 appneder 集成）
Agent日志收集过程设计成异步的，降低对业务系统的性能影响
日志收集中心（collector）
agent 收集上来的日志，通过日志中心转发到对应的 topic
消息队列（mq）
日志收集中心的日志，根据业务线和 topic 的映射关系进行转发，kafka 下游可写入 hdfs 或 es
Recommend
-
44
elk收集nginx日志
-
50
-
68
前 言 本文将描述如何使用 elasticsearch、 fluentd 、 kibana构建容器化日志收集系统 原创作者：吴鹏
-
69
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了...
-
21
引言 大搜车日志分为两种：业务日志和链路日志。 业务日志是业务开发人员在代码里面自己打印的日志，为方便开发人员快速查阅分布在多台机器上的日志，我们提供了业务日至平台，供开发自助接入。目前接入的系统 400+，...
-
22
ELK 简介 你还在为线上排查日志找不到节点服务器而犯愁吗？今天手把手教大家如何搭建一套日志收集系统，用来代替传统的人工登录服务器查看后台服务日志的方式。 在传统项目中，如果在生产环境中，有多台不同的服务器...
-
10
在 Kubernetes 上搭建 EFK 日志收集系统[更新]-阳明的博客|Kubernetes|Istio|Prometheus|Python|Golang|云原生 EFK Stack 上节课和大家介绍了...
-
11
Nginx+Lua实现访问日志收集系统 | 是潘达呀Nginx+Lua实现访问日志收集系统 发表于 2017-12-28 | 分类于 开发 | | 浏览4 次 | 字数统计: 1.4k | 阅读时长 ≈ 6网站数据统...
-
13
V2EX › 编程 大伙们,来聊聊日志收集系统的设计吧
-
9
K8s部署EFK（elasticsearch + filebeat + kibana）日志收集 一.准备镜像 # 在本机拉取镜像 docker pull docker.elastic.co/elastics...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK