1. Flume安装以及noSQL综合案例环境
1.1. Flume安装操作
Flume的安装非常简单, 只需要上传解压, 即可使用
1) 下载flume的安装包
2) 上传到需要进行数据采集的节点: 本次上传至node1
| cd /export/software rz 上传 解压操作: tar -zxf apache-flume-1.9.0-bin.tar.gz -C /export/server/ 创建软连接: cd /export/server/ ln -s apache-flume-1.9.0-bin/ flume |
|---|
- 3) 修改配置文件
| cd /export/server/flume/conf cp flume-env.sh.template flume-env.sh vim flume-env.sh 修改: export JAVA_HOME=/export/server/jdk1.8.0_241/ |
|---|
即可搞定~~
1.2. 综合案例环境准备
- 1) 上传生成数据jar包与初始数据文件到linux
| mkdir -p /export/data/momo_init rz 上传即可 |
|---|
- 2) 执行jar包, 可自动生产聊天数据
| 格式: java -jar MoMo_DataGen.jar 读取初始数据路径 输出目的地路径 最大随机产生数据间隔时间 示例: cd /export/data/momo_init java -jar MoMo_DataGen.jar MoMo_Data.xlsx /export/data/momo_data/ 1000 |
|---|
查看数据是否正在生产
说明: 数据会持续不断向MOMO_DATA.dat 文件输出