1
web服务流量监控-wLogger
source link: http://osp.io/archives/7426
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
web服务流量监控-wLogger – 开源派
wLogger是一款集日志采集、日志解析持久化存储、Web 流量实时监控，三位一体的 Web 服务流量监控开源应用。遵守Apache2.0开源协议。三大功能模块均可独立部署启用互不干扰。内置 nginx 和 apache 的日志解析存储器，简单配置开箱即用。运行环境为python3+ linux平台。
特性：
- 在日志采集的时候可以按照日志文件的大小，或者在指定时间内自动对日志进行切割日志，存储到指定的目录
- 指定当前使用的 nginx/apache 日志格式名称 即可解析数据
- 指定不同的项目走不同的队列服务，分别解析存储到不同的数据库，按需灵活配置
- 支持分布式，日志采集服务队列已内置redis LIST结构，可自行拓展kafka ,mq等其它队列服务
- 支持自定义持久化存储引擎，日志解析持久化存储服务已内置 mongodb 和 mysql ,可自行拓展其它数据库
功能说明：
采集器 inputer
* 实时日志采集,同时支持多个web日志同时采集
* 可指定按照日志文件大小或指定时间,自动切割文件到指定目录, （日志切割不丢数据.）
* 可自定义队列服务软件,接受采集的日志信息.
* 低cpu内存占用
解析存储器 outputer
* 实时解析日志并存储到指定的数据库, 已内置 mysql 和 mongodb 如需使用elastic全家桶或其它存储引擎 可自行拓展
* 采集器,解析器,web服务均可 独立分布到不同的服务器节点上运行
* 目前已内置 nginx，apache 解析器, 可随意指定日志格式, 只需在配置文件里面指定格式名称即可正确解析并存储
* 支持按日期天,周,月,年. 自动分表或集合存储日志
* 支持指定工作进程来快速消费队列数据,大流量也能实时解析并存储日志, 虚拟机中ab 实测2W并发延迟小于1秒
web服务 web
* 内置大屏监控web面板
* 同时支持 mysql 或者 mongodb 作为数据源 https://github.com/jyolo/wLogger
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK