用户行为分析系统铸龙

铸龙首页、文档和下载 - 用户行为分析系统 - OSCHINA - 中文开源技术交流社区

铸龙是一款用于分析用户行为事件的 BI 软件。

特点如下

智能路径分析
报表，面板管理
多平台部署，直接二进制部署无需搭建环境

技术栈主要用

mysql
redis
kafka
clickhouse

系统组成

该系统分为以下四部分

埋点上报sdk
report_server
sinker
manager

埋点上报sdk：用于采集埋点信息，目前SDK支持类型

cocos creator
egert

report_server：用于收集sdk上报的信息，并生产消息入kafka
sinker：消费kafka的埋点消息并入库
manager：基于入库后的埋点数据进行分析，报表。

部署

部署文件下载地址为 https://gitee.com/cynthia520/xwl_bi/releases/v1.0.0

下载sdk.zip，解压缩如下图所

下面我们拿web为例子步骤如下

1. 打开web文件夹后有如下js文件

<script type="text/javascript" src="report_sdk.js" ></script>
<script type="text/javascript" >

	let parmas = {"appid":"********","appkey":"********"}
	let eventReport = new EventReport("http://127.0.0.1:8091", parmas["appid"], parmas["appkey"], 0)
	eventReport.track("访问铸龙BI文档",{feeling:"Hello World!"})

</script>

下载对应操作系统的压缩包，如windows系统则下载win.zip,解压缩后有如下文件

修改 config文件夹下的config.json

具体配置项解释如下

{
  "manager": {							    //bi管理系统配置模块
    "port": 8090, 						               //启动端口
    "jwtSecret": "[email protected]",		     //jwt密钥
    "deBug": true						                 //是否为调试模式 ，非调试模式会调用浏览器打开bi访问地址
  },
  "report": {							        //上报服务模块
    "reportPort":8091,					             //启动端口
    "readTimeout":20,					               //读超时时间，单位（秒）（不填则不受限制）
    "writeTimeout":20,					             //写超时时间，单位（秒）（不填则不受限制）
    "maxConnsPerIP":100000,				           //每个IP允许的最大并发客户端连接数（不填则不受限制）
    "maxRequestsPerConn":100000,		         //每个连接服务的最大请求数（不填则不受限制）
    "idleTimeout":20,					               //等待消息的最长时间，如果为零，则使用readTimeout的值。
    "userAgentBanList":["mpcrawler"]		     //不允许访问的userAgent请求头 , 例如 demo中的 mpcrawler 是微信小程序机器人的 userAgent
  },
  "sinker": {							        //sinker模块
    "reportAcceptStatus":{				           //上报数据状态入库（入库 CK）
      "bufferSize": 999,  					         //入库批次数量
      "flushInterval": 2					           //入库轮循间隔时间（秒）
    },
    "reportData2CK":{					               //上报数据入库（入库 CK）
      "bufferSize": 1000,				           	//入库批次数量
      "flushInterval": 2					          //入库轮循间隔时间（秒）
    },
    "realTimeWarehousing":{				         //实时数据入库（入库 ES）
      "bufferSize": 1000,					         //入库批次数量
      "flushInterval": 2					         //入库轮循间隔时间（秒）
    },
    "pprofHttpPort": 8093				           //pprof性能检测端口
  },
  "comm": {							  //公用模块
    "log": {								     //日志模块
      "storageDays":4,					     //存放天数
      "logDir":"logs"						     //存放目标文件夹
    },
    "mysql": {							     //mysql模块
      "username":"root",					   //用户名
      "pwd":"123456",					       //密码
      "ip":"127.0.0.1",					     //ip
      "port":"3306",						     //端口
      "dbName":"lyn_bi",					   //数据库名
      "maxOpenConns":10,				     //连接池最大打开数
      "maxIdleConns":10					     //连接池初始化闲置数
    },
    "clickhouse": {						  //clickhouse模块
      "username":"default",				   //用户名 没有则不填
      "pwd":"EtHnvllx",					     //密码 没有则不填
      "ip":"127.0.0.1",						  //IP
      "port":"9000",						    //端口
      "dbName":"default",					  //数据库名
      "clusterName":"perftest_3shards_1replicas",	//集群名 单机CK则不填
      "macrosShardKeyName":"share",				//metrika.xml 的share key名 单机CK则不填

      //例如：  <macros>
      //<share>1</share>
      // <replica>192.168.1.236</replica>
      //</macros>                 
      //则 macrosShardKeyName 填share

      "macrosReplicaKeyName":"replica",	//metrika.xml 的replica key名 单机CK则不填

      "maxOpenConns":100,	              //连接池最大打开数
      "maxIdleConns":1000	              //连接池初始化闲置数
    },
    "kafka": { 										         //kakfa 模块
      "addresses":["127.0.0.1:9092"],		          //访问地址
      "username":"",									            //用户名
      "password":"",									            //密码
      "numPartitions":300,								        //初始化 埋点数据topic分区数
      "debugDataTopicName": "debugDataTopicName",	//测试模式下 测试埋点数据的topic名
      "debugDataGroup": "debugDataGroup",			    //测试模式下 测试埋点数据的消费者组名
      "reportTopicName": "test005",						    //埋点数据的topic名
      "reportData2CKGroup": "reportData2CKGroup2", //埋点数据的消费者组名（入库 CK）
      "realTimeDataGroup": "realTimeDataGroup2",	//实时数据的消费者组名（入库 ES）
      "producer_type":"async",							      //kafka生产者类型  async 为异步模式  sync 为同步模式 ，不填为async
    },
    "redis": {										       //redis模块
      "addr":"127.0.0.1:6379",							       //访问地址
      "passwd":"",									               //密码
      "db": 7,										                 //库名
      "maxIdle": 300,									             //连接池初始化闲置数
      "maxActive": 0									             //连接池所能分配的最大的连接数目 ，当设置成0的时候，该连接池连接数没有限制

    }
  }
}

启动 windows环境则双击应用名.exe linux环境则 chmod +x 应用名 && ./应用名
- init_app
显示 “数据已全部初始化完毕！”则为正常启动
- manager
启动后显示下图则为正常启动
report_server

启动后显示下图则为正常启动
- sinker
启动后显示下图则为正常启动

至此，服务端已配置完毕

展开阅读全文

Recommend

简述常用的用户行为分析模型

用户研究：如何做用户行为分析？

实战|淘宝用户行为分析案例

深入剖析海量数据场景下的用户行为分析方案 | D2 分享视频+文章

付力力: 基于Impala构建实时用户行为分析引擎

用户行为分析模型实践（一）—— 路径分析模型

运营人都需要掌握的用户行为分析，到底是什么？

基于用户行为分析的搜索引擎自动性能评价

北京2022冬奥会前半程用户行为分析：王濛个性解说火爆出圈谷爱凌夺冠获得全民关注

$推广=array("埋点系统"=>"铸龙用户行为分析系统");

About Joyk

用户行为分析系统 铸龙

Recommend

About Joyk

用户行为分析系统铸龙