express-serve

sdk

adm

基础安装

安装git

yum install git

安装node

git clone https://github.com/cnpm/nvm.git ~/.nvm && cd ~/.nvm && git checkout `git describe --abbrev=0 --tags`

echo ". ~/.nvm/nvm.sh" >> /etc/profile
source /etc/profile

nvm install v10.16.0

nvm use v10.16.0

node -v
npm -v

nvm alias default v10.16.0

运行项目

npm install -g pm2

pm2 start ./bin/www

server {
 listen 443 ssl;
 listen [::]:443 ssl;
 server_name dbtest.rangersprotocol.com;
 ssl_certificate "/app/cert/5767542__rangersprotocol.com.pem";
 ssl_certificate_key "/app/cert/5767542__rangersprotocol.com.key";
 gzip on;
 gzip_static on;
 gzip_min_length 1k;
 gzip_buffers 16 64k;
 gzip_http_version 1.1;
 gzip_comp_level 9;
 gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
 gzip_vary on;
 location / {
	 proxy_pass http://localhost:4000;
 proxy_redirect off;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header Connection "";
 }
}

pm2 守护进程

安装pm2

cnpm i pm2 -g

项目创建pm2.jsom

pm2 start pm2.json

常用pm2 指令

pm2 start app.js # 启动应用
pm2 start app.js --name="demo" # 启动应用名为demo
pm2 start app.js --watch # 当文件发送变化自动重启应用
pm2 start script.sh # 启动 bash 脚本
pm2 list # 列出PM2启动的应用列表
pm2 show [app-name] # 显示应用的所有信息
pm2 logs # 显示所有应用的程序日志
pm2 logs [app-name] # 显示指定应用程序的日志
pm2 stop all # 停止所有的应用程序
pm2 stor 0 # 停止id为0的应用
pm2 restart all # 重启所有应用
pm2 restart 0 # 重启id为0的应用
pm2 delete all # 关闭删除所有应用

收集

log_format配置

log_format main '$time_local - - $http_x_real_ip $http_host $status $request_time $request_length $body_bytes_sent 15d04347-be16-b9ab-0029-24e4b6645950 - - 9689c3ea-5155-2df7-a719-e90d2dedeb2c 937ba755-116a-18e6-0735-312cba23b00c $request_method $server_protocol $request_uri - $http_user_agent - sample=-&_UC_agent=-&test_device_id=-&- - - -';

用于接受来自SDK的打点请求

location = /test.gif {
 empty_gif;
}

测试

05/Aug/2020:20:23:06 +0800 - - - www.xl-jk.com 200 0.000 491 43 15d04347-be16-b9ab-0029-24e4b6645950 - - 9689c3ea-5155-2df7-a719-e90d2dedeb2c 937ba755-116a-18e6-0735-312cba23b00c GET HTTP/1.1 /test.gif?a=1 - Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 - sample=-&_UC_agent=-&test_device_id=-&- - - -

日志监听

yum install rsyslog
yum install rsyslog-kafka.x86_64

# 加载omkafka和imfile模块
module(load="omkafka")
module(load="imfile")
 
# nginx template
template(name="nginxAccessTemplate" type="string" string="%hostname%<-+>%syslogtag%<-+>%msg%\n")
 
# ruleset
ruleset(name="nginx-kafka") {
 #日志转发kafka
 action (
 type="omkafka"
	 template="nginxAccessTemplate"
 topic="fee-test"
 broker="localhost:9092"
 )
}
 
# 定义消息来源及设置相关的action
input(type="imfile" Tag="nginx-accesslog" File="/var/log/access.log" Ruleset="nginx-kafka")

日志消费

mac 安装kafka

brew install kafka

brew cask install java8

/usr/local/Cellar/zookeeper
/usr/local/Cellar/kafka

/usr/local/etc/kafka/server.properties
/usr/local/etc/kafka/zookeeper.properties

brew services start zookeeper
brew services start kafka

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

kafka-topics --list --zookeeper localhost:2181

kafka-console-producer --broker-list localhost:9092 --topic test 

node-schedule定时器

安装

npm install node-schedule

例子

const schedule = require('node-schedule')
// 每小时的 第42分钟 执行一个任务 注意是5个星号(最多可有6个星号,从左到右分别代表:秒(0-59)、分(0-59)、时(0-23)、天(1-31)、月(1-12)、星期几(0-7 0和7代表周日))
const job = schedule.scheduleJob('42 * * * *', function(){
 console.log('The answer to life, the universe, and everything!');
});

每秒和每分钟执行一次

// 每秒执行一次
const job = schedule.scheduleJob('*/1 * * * * *', function(){
 // do some
});
// 每分钟执行一次
const job = schedule.scheduleJob('*/1 * * * *', function(){
 // do some
});

// 每小时的第2分钟的第1秒执行一次
const job = schedule.scheduleJob('1 2 * * * *', function(){
 // do some
});

指定一个日期执行

// 2022年1月25日 20:56执行一次
const date = new Date(2022, 0, 25, 20, 56, 0);
const job = schedule.scheduleJob(date, function(){
 // do some
});

在将来使用当前数据:

const date = new Date(2022, 0, 25, 21, 4, 0);
let x = 1;
const job = schedule.scheduleJob(date, function(y){
 // do some
 console.log(y); // 1
}.bind(null,x));
x = 2

用自定义规则来执行任务:

// 每分钟的第1秒执行一次
const rule = new schedule.RecurrenceRule();
rule.second = 1;
const job = schedule.scheduleJob(rule, function(){
 // do some
});

// 在每周4/5/6 的17时0分执行一次
const rule = new schedule.RecurrenceRule();
rule.dayOfWeek = [0, new schedule.Range(4, 6)];
rule.hour = 17;
rule.minute = 0;
const job = schedule.scheduleJob(rule, function(){
 // do some
});

支持时区:

// 用UTC时间
const rule = new schedule.RecurrenceRule();
rule.hour = 0;
rule.tz = 'Etc/UTC';
const job = schedule.scheduleJob(rule, function(){
 // do some
});

RecurrenceRule属性:

支持对象字面量规则:

// 每周日下午2点半 执行一次
const job = schedule.scheduleJob({hour: 14, minute: 30, dayOfWeek: 0}, function(){
 // do some
});

支持开始时间和结束时间:

// 延迟5s后开始,10s后结束
const startTime = new Date(Date.now() + 5000);
const endTime = new Date(startTime.getTime() + 5000);
const job = schedule.scheduleJob({ start: startTime, end: endTime, rule: '*/1 * * * * *' }, function(){
 // do some
});

优雅(等待所有的工作被终止)的关闭任务,返回promise:

schedule.gracefulShutdown();

系统中断时,优雅的关闭作业

process.on('SIGINT', function () { 
 schedule.gracefulShutdown()
 .then(() => process.exit(0))
}

取消某个作业:

j.cancel();

页面性能监控