28

dba+开源工具:面向开发的MongoDB图形可视化监控

 4 years ago
source link: http://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg%3D%3D&%3Bmid=2650788585&%3Bidx=1&%3Bsn=228a243fce75f8ebef9660c14731eff9
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

aURFJb6.gif

工具研发者介绍

贺春旸, 凡普金科爱钱进DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一、二版作者,曾任职于中国移动飞信、安卓机锋网。致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。

工具下载:

https://github.com/hcymysql/mongo_monitor

简介

一款面向研发人员查看的MongoDB图形可视化监控工具,借鉴了Percona PMM Grafana以及官方自带的mongostat工具输出的监控指标项,去掉了一些不必要、看不懂的监控项。目前采集了数据库连接数、QPS/TPS、内存使用率统计,副本集replset状态信息和同步复制延迟时长。

采用远程连接方式进去获取数据,所以不需要在数据库服务器端部署相关agent或计划任务,可实现微信和邮件报警。

注:监控环境为MongoDB 3.2以上版本,2.X版本未测试。

vUNfa2j.png!web

Mongo状态监控,点击图表,可以查看历史曲线图:

1、连接数

U77bQnf.png!web

2、QPS图表

UbYnEvQ.png!web

环境搭建

1、php-mysql驱动安装:

shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql

2、php-mongo驱动安装:

shell> pecl install mongo

把extension=mongo.so加入到/etc/php.ini最后一行

重启httpd服务,service httpd restart

注:如果通过pecl安装报错,请参考以下链接,进行源码安装。PHP 5.4版本对应的驱动版本是mongodb-1.3.4.tgz

参考链接:https://www.runoob.com/mongodb/mongodb-install-php-driver.html

3、创建MongoDB超级用户权限(监控采集数据时使用):

首先我们在被监控的数据库端创建授权帐号,允许采集器服务器能连接到MongoDB数据库。由于需要执行命令db.runCommand({serverStatus:1,repl:1}).repl和db.adminCommand( { replSetGetStatus: 1 } ).members,所以需要授予root角色,授权方式如下所示:

> use admin

>db.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]})

mongo_monitor部署

把https://github.com/hcymysql/mongo_monitor/archive/master.zip安装包解压缩到 /var/www/html/目录下:

cd /var/www/html/mongo_monitor/

chmod 755 ./mail/sendEmail

chmod 755 ./weixin/wechat.py

注:邮件和微信报警调用的第三方工具,所以这里要赋予可执行权限755。

1、导入Mongo Monitor监控工具表结构(mongo_monitor库):

cd /var/www/html/mongo_monitor/

mysql -uroot -p123456 < mongo_monitor_schema.sql

2、录入被监控主机的信息:

INSERT INTO `mongo_status_info`

(ip,tag,USER,pwd,PORT,authdb,send_mail_to_list,send_weixin_to_list,threshold_alarm_connection,threshold_alarm_repl)

VALUES('10.10.159.31','MongoDB测试机1','admin','hechunyang','27017','admin','hechunyang','[email protected]',1000,60);

注,以下字段可以按照需求变更:

  • ip字段含义:输入被监控Mongo的IP地址

  • tag字段含义:输入被监控Mongo的业务名字

  • user字段含义:输入被监控Mongo的用户名(ROOT权限)

  • pwd字段含义:输入被监控Mongo的密码

  • port字段含义:输入被监控MySQL的端口号

  • authdb字段含义:输入被监控Mongo的数据库登录权限认证库名

  • monitor字段含义:0为关闭监控(也不采集数据,直接跳过);1为开启监控(采集数据)

  • send_mail字段含义:0为关闭邮件报警;1为开启邮件报警

  • send_mail_to_list字段含义:邮件人列表

  • send_weixin字段含义:0为关闭微信报警;1为开启微信报警

  • send_weixin_to_list字段含义:微信公众号

  • threshold_alarm_connection字段含义:设置连接数阀值(单位个)

  • threshold_alarm_repl字段含义:设置主从复制延迟阀值(单位秒)

3、修改conn.php配置文件:

vim /var/www/html/mongo_monitor/conn.php

$con = mysqli_connect("127.0.0.1","admin","hechunyang","mongo_monitor","3306") or die("数据库链接错误".mysql_error());

改成你的Mongo Monitor监控工具表结构(mongo_monitor库)连接信息。

4、修改邮件报警信息:

cd /var/www/html/mongo_monitor/mail/

vim mail.php

system("./mail/sendEmail -f [email protected] -t '{$this->send_mail_to_list}' -s smtp.139.com:25 -u '{$this->alarm_subject}' -o message-charset=utf8 -o message-content-type=html -m '报警信息:

{$this->alarm_info}' -xu [email protected] -xp '123456' -o tls=no");

改成你的发件人地址、账号密码,里面的变量不用修改。

5、修改微信报警信息:

cd /var/www/html/mongo_monitor/weixin/

vim wechat.py

微信企业号设置移步 https://github.com/X-Mars/Zabbix-Alert-WeChat/blob/master/README.md看此教程配置。

6、定时任务每分钟抓取一次:

crontab -l

*/1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_status.php > /dev/null 2 >&1

*/1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_repl.php > /dev/null 2 >&1

check_mongo_status.php(用来采集被监控端Mongo状态信息和触发报警)

check_mongo_repl.php(用来采集被监控端Mongo主从复制信息和触发报警)

7、更改页面自动刷新频率:

vim mongo_replset_monitor.php

http-equiv="refresh" content="600"

默认页面每600秒自动刷新一次。

8、页面访问:

http://yourIP/mongo_monitor/mongo_replset_monitor.php

加一个超链接,可方便地接入你们的自动化运维平台里。

下载方式

此工具现通过dbaplus社群免费为大家提供下载使用。若使用过程中有任何问题或建议,可随时与我们联系,欢迎大家试用。

登录以下链接即可下载:

https://github.com/hcymysql/mongo_monitor

更多开源工具&脚本

y2Ej6bv.png!web

详情及下载: http://dbaplus.cn/list-142-1.html

从过去40年至今,数据库的形态基本经历了传统商业数据库、开源数据库到云原生数据库的演进过程。云时代下数据库将如何革新与创变?企业核心数据库迁移与建设如何安全平稳展开? 9月11日到 Gdevops全球敏捷运维峰会北京站寻找答案吧:

  • 《All in Cloud 时代,下一代云原生数据库技术与趋势》 阿里巴巴集团副总裁/达摩院首席数据库科学家 李飞飞(飞刀)

  • 《AI和云原生时代的数据库进化之路》 腾讯数据库产品中心总经理 林晓斌(丁奇)

  • 《ICBC的MySQL探索之路》 工商银行软件开发中心 魏亚东

  • 《民生银行在SQL审核方面的探索和实践》 民生银行 资深数据库专家 李宁宁

  • 《OceanBase分布式数据库在西安银行的落地和实践》 蚂蚁金服P9资深专家/OceanBase核心负责人 蒋志勇

  • 《金融行业MySQL高可用实践》 爱可生技术总监 明溪源

AbquQbi.jpg!web


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK