lightning

安装openresty

[1] 安装依赖包 
 yum install -y gcc gcc-c++ readline-devel pcre-devel openssl-devel tcl perl 
[2] 安装openresty 
 tar zxvf ngx_openresty-{Version}.tar.gz 
 cd ngx_openresty-{Version} 
 ./configure --prefix=/usr/local/openresty 
 make 
 make install 

依赖

运行

 修改bin/start.sh 
 OPENRESTY_INSTALL_PATH 为你的openresty 安装路径 
 修改配置文件路径为你nginx.conf的路径 
 修改bin/stop.sh 同上 
 修改conf/nginx.conf 里面加载lua的路径指向到该项目路径 
 启动重启: 
 sh bin/star.tsh 
 停止: 
 sh bin/stop.sh 

修改相关配置

    lightning-gataway/lualib/lightning/config.lua 
    _Config={
 --- kafka broker list
 BROKER_LIST = { 
 { host = "", port = 9092 }, 
 { host = "", port = 9092 }, 
 { host = "", port = 9092 }, 
 }, 
 --- kafka config one ngx worker one kafka client or producer instance 
 KAFKA_CONFIG= { 
 producer_type = "async", ---异步 
 socket_timeout = 6000, --- request_timeout 
 max_retry = 2, --- 重试次数 
 refresh_interval = 600 * 1000, ---auto refresh the metadata in milliseconds. 
 keepalive_timeout = 600 * 1000, ---connection timeout 10 min 
 keepalive_size = 40, --- pool size for each nginx worker 
 max_buffering = 1000000, --- queue size 
 flush_time=100, --- send kafka XX ms 
 batch_num=500 --- 批量大小,当队列内达到500时进行一个send 到kakfa 
 },
 --- MD5 key 
 MD5_KEY="", 
 SPIDER_REG="", ---过滤的爬虫网站 
 DID_LENGTH=32, --- did 长度限制 
 TIMESTAMP_LENGTH=13, --- 时间戳长度限制 
 DST_ANDROID="1", --- 设备android 
 DST_IOS="2", --- 设备IOS 
 MD5_LIST_APP={"fr","ct","tpc","did","eid"}, --- app md5生成签名的字段拼接顺序 
 MD5_LIST_WEB_H5={"fr","ct","tpc","url","eid"} --- web h5 md5生成签名的字段拼接顺序 
 } 

埋点字段

字段 | 来源 | 是否必填 | 说明 
----|------|----|----
req | 服务端 | 是 | 请求到达时间
ua | 服务端 | 是 | user agent
ip | 服务端 | 是 | client ip
clt | 客户端 | 是 | 终端类型 [app web h5]
pf | 客户端 | 是 | 平台类型,哪个平台在调用数据接口
typ | 客户端 | 是 | 事件类型 p: 进入页面事件,e: 页面内事件(点击曝光等)
tpc | 客户端 | 是 | 具体在给哪个业务或者产品在埋点,也是发给kafka的topic
pid | 客户端 | 是 | 页面id
ppid | 客户端 | 是 | 父页面id
eid | 客户端 | 是 | 事件id
pno | 客户端 | 是 | 页面访问深度
ver | 客户端 | 是 | 日志版本
data | 服务端 | 是 | 业务字段,服务端传递给客户段要埋点的数据
did | 客户端 | 是 | 设备id ,app 端必须传,web h5 为空,服务端会将did写入cookie
amd | 客户端 | 否 | imei,idfa
uid | 客户端 | 否 | 用户id
sid | 客户端 | 否 | 会话 session id
dsv | 客户端 | 是 | 设备系统版本 app 必须传递
dt | 客户端 | 是 | 设备类型 app 必须传递
dst | 客户端 | 是 | 设备系统类型 1 android 2 ios app 必须传递
dsv | 客户端 | 是 | 设备系统版本 app 必须传递
apv | 客户端 | 是 | 应用版本 app version app 必须传递
lag | 客户端 | 是 | 客户端语言 app 必须传递
fr | 客户端 | 是 | app 下载来源
net | 客户端 | 是 | 网络类型 2-4 : 2-4g ,5:wifi ,1:其他 app 必须传递
scr | 客户端 | 是 | 屏幕分辨率 app 必须传递
lon | 客户端 | 否 | 经度 app 必须传递
lat | 客户端 | 否 | 纬度 app 必须传递
ct | 客户端 | 是 | 客户端时间戳 ms 
lc | 客户端 | 否 | 登陆方式
sn | 客户端 | 是 | 请求域名 web h5 必须传递
url | 客户端 | 是 | 请求的url web h5 必须传递
refer | 客户端 | 是 | 请求的refer url web h5 必须传递
sig | 客户端 | 是 | 签名

埋点信息

 {
 "cm": {
 "ver": "2", //日志版本
 "clt": "app",//终端类型 app web h5
 "pf": "demo", //平台
 "tpc": "recommder",
 "did": "ce9ca2eb2a9a9f964ef895ab084ce12b", //设备id,浏览器id
 "amd": "ce9ca2eb2a9a9f964ef895ab084ce12b", //imei|idfa 
 "uid": "9000032", //用户id
 "sid": "9f964ef895ab084ce",//会话session id
 "dsv": "4.0", //设备系统版本
 "dt": "HM 1s", //设备类型
 "dst": "1",//设备系统类型 1 android 2 ios
 "apv": "1.3.5",//app 版本号
 "lag": "zh", //客户端语言
 "fr": "appStore",//app下载来源
 "scr": "1027*777",//屏幕分辨率
 "lc": "qq" //登陆方式
 },
 "log": [
 {
 "typ": "e",// 事件类型 e or p 两个事件 e页面内事件 p 进入页面事件
 "pid": "00011",//页面id,和进入页面的p事件 eid 一样
 "ppid": "00010",//父页面id
 "eid": "00011",// 事件id
 "pno": "10",//页面访问深度
 "net": "1",//网络类型2-4 : 2-4g ,5:wifi ,1:其他
 "sn": "www.xxx.com",//请求数据的域名
 "url": "/login",//当前url
 "ref": "/register",//refer url
 "ct": "1486915200000",//client 时间戳
 "lon": 89.09, //经纬度
 "lat": 88.09,
 "data": {// 业务数据 由服务端传递给client 进行埋点
 "rec": "2.12.20.jn.zk"
 },
 "sig": "2160ed0e47607e1e53fd5aaed41f7e73"//生成的签名
 },{
 "typ": "e",
 "pid": "00011",
 "ppid": "00010",
 "eid": "00011",
 "pno": 10,
 "net": 1,
 "sn": "www.xxx.com",
 "url": "/login",
 "ref": "/register",
 "ct": "1486915200000",
 "lon": 89.09,
 "lat": 88.09,
 "data": {
 "rec": "2.12.20.jn.zk"
 },
 "sig": "2160ed0e47607e1e53fd5aaed41f7e73"
 }
 ]
 }

Kafka接受json 格式 message

{
 "ver": "2",
 "clt": "app",
 "pf": "demo",
 "tpc": "rec",
 "did": "ce9ca2eb2a9a9f964ef895ab084ce12b",
 "amd": "ce9ca2eb2a9a9f964ef895ab084ce12b",
 "uid": "9000032",
 "sid": "9f964ef895ab084ce",
 "dsv": "4.0",
 "dt": "HM 1s",
 "dst": 1,
 "apv": "1.4.5",
 "lag": "zh",
 "fr": "appStore",
 "scr": "1027*777",
 "lc": "wx",
 "req":"140023432423423",
 "ua":"user agent",
 "ip":"10.20.22.172",
 "typ": "e",
 "pid": "00011",
 "ppid": "00010",
 "eid": "00011",
 "pno": "10",
 "net": "1",
 "sn": "www.xx.com",
 "url": "/login",
 "ref": "/register",
 "ct": "1486915200000",
 "lon": "89.09",
 "lat": "88.09",
 "data": {
 "rec": "2.12.20.jn.zk"
 },
 "sig": "2160ed0e47607e1e53fd5aaed41f7e73"
}