行为采集服务部署文档

一、概述

二、开发环境要求

用途 数量 型号 安装软件清单 操作系统 配置清单
应用服务器 2 高端服务器 Magician-Server Redhat6.5 4Cpu16G,300G
负载均衡 2 专业设备

三、生产环境要求

用途 数量 型号 安装软件清单 操作系统 配置清单
应用服务器 2 高端服务器 Magician-Server Redhat6.5 4Cpu16G,300G
负载均衡 2 专业设备

四、部署架构图

五、外部依赖

需Redis数据库

六、部署步骤

1、Linux服务器直接部署

准备工作

需要redis数据库版本3.2.8以上

1.规划

安装包：Magician-Server-系统-版本号.zip

2.执行步骤

1.解压安装包

2.配置环境变量

(1)cd （进入用户文件夹下）

(2)vi .bash_profile 编辑环境变量 , 例如:

export APPNAME=NA
export LISTEN=0.0.0.0:8090
export REDIS_URL=localhost:6379
export REDIS_PASSWORD=csii
export REDIS_POOLSIZE=100

(3)source .bash_profile(环境变量生效)

字段 含义 默认配置
APPNAME 项目名称 用户行为分析
LISTEN 监听服务端口号 0.0.0.0:8090
MODE 项目的运行方式 debug/release两种取值
S3_ENDPOINT 云存储的地址 localhost:9000
S3_ACCESS_KEY 云存储的账号 admin
S3_SECRET_KEY 云存储密钥 minio@dmin
CRYPTO_SECRET 云存储文件的加密密钥 helloworld123456
REDIS_URL redis服务地址：端口号 localhost:6379
REDIS_DB redis的db仓库号 范围是0到15,不配置默认为15
REDIS_PASSWORD redis连接密码 无
REDIS_CLUSTER 集群模式地址,使用集群模式需将master参数置为空 默认为空,为空时连单机版 格式：ip:port，ip:port
REDIS_POOLSIZE redis连接池大小 0
REDIS_MASTER Redis主备master名字 默认为空，连集群或单机版
REDIS_SENTINEL Redis主备模式哨兵地址 默认为空 格式：ip:port,ip:port
MYSQL_SWITCH MySQL开关 默认为false
MYSQL_DSN MySQl连接DSN 默认为root:123456@(127.0.0.1:3306)/analystMysql?charset=utf8mb4&parseTime=True&loc=Local"
KAFKA_SWITCH kafka开关 false
KAFKA_TOPIC Kafka的topic requests
KAFKA_ADDRESS Kafka地址 localhost:9092 格式：单机：ip:port 集群：ip:port,ip:port,ip:port
INFLUXDB_SWITCH influxdb数据库开关 false
PRECISION influxdb数据库地址 默认为空
DATABASE influxdb数据库名 magician
PRECISION influxdb时间精度 ms
INFLUXDB_USERNAME influxdb用户名 默认为空
INFLUXDB_PASSWORD influxdb密码 默认为空
MINIO_SAVE_DATA_SWITCH MINIO数据库开关 关闭
COLD_DATA_SAVE_SWITCH 冷数据存储开关 local
LOCAL_DATA_SAVE_PATH 冷数据存储到本地的路径,与后管保持一致 /home/csii/Magician-Server/local_data/behavior/
下列为智能推荐所需配置，如不需要默认即可
RECOMMEND_SWITCH 智能推荐开关 false
HISTORY_DATA_SAVE_PATH 智能推荐相关配置 用户历史行为csv存储路径,应配置为后管的recommendData文件夹下的resource文件夹 /home/csii/Capricorn/recommendData/resource/

3.执行chmod 755 Magician-Server-linux64命令，为执行文件赋予可执行权限 4.执行 nohup ./Magician-Server-linux64 serve > server.log 2>&1 &命令，启动服务

例：

  • ./Magician-Server-linux64 serve

3.验证

  • 查看服务：ps -ef|grep madm
  • 终止服务：kill -9 xxxxx
  • 分页查看日志：more server.log
  • 整体查看日志：cat server.log
  • 实时查看日志：tail -f server.log

2、Docker方式部署

(1).导入镜像

docker load < 行为采集服务镜像

(2).启动容器

docker run -d –name 容器名-p 本地端口:容器内端口  镜像名

(3).验证

  • 检查镜像是否启动：docker images
  • 检查容器是否启动：docker ps -a