項(xiàng)目概況
數(shù)據(jù)類型
模擬數(shù)據(jù)
開發(fā)環(huán)境
centos7
軟件版本
python3.8.18、hadoop3.2.0、hive3.1.2、mysql5.7.38、jdk8、sqoop1.4.7
開發(fā)語言
python、SQL
開發(fā)流程
數(shù)據(jù)上傳(hdfs)->數(shù)據(jù)分析(hive)->數(shù)據(jù)存儲(chǔ)(mysql)->后端(flask)->前端(html+js+css)
可視化圖表
project-hive-shopping-data-analysis_2025-05-11_231233.jpg
操作步驟
啟動(dòng)MySQL
# 查看mysql是否啟動(dòng) 啟動(dòng)命令: systemctl start mysqld.service
systemctl status mysqld.service
# 進(jìn)入mysql終端
# MySQL的用戶名:root 密碼:123456
# MySQL的用戶名:root 密碼:123456
# MySQL的用戶名:root 密碼:123456
mysql -uroot -p123456
啟動(dòng)Hadoop
# 離開安全模式: hdfs dfsadmin -safemode leave
# 啟動(dòng)hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh
啟動(dòng)hive
# 在第一個(gè)窗口中,執(zhí)行后等待10-20秒
/export/software/apache-hive-3.1.2-bin/bin/hive --service metastore
# 在第二個(gè)窗口中,執(zhí)行后等待10-20秒
/export/software/apache-hive-3.1.2-bin/bin/hive --service hiveserver2
# 連接進(jìn)入hive終端命令如下:
# /export/software/apache-hive-3.1.2-bin/bin/beeline -u jdbc:hive2://master:10000 -n root
MySQL建表及數(shù)據(jù)生成
mkdir -p /data/jobs/project/
cd /data/jobs/project/
# 上傳 "mysql" 目錄下的 sql 文件
# 如果要修改日期,需要將 "mysql/4_create_procedure.sql" 的 "2024-10-26" 改成對(duì)應(yīng)的日期
# 如果要修改日期,需要將 "mysql/4_create_procedure.sql" 的 "2024-10-26" 改成對(duì)應(yīng)的日期
# 如果要修改日期,需要將 "mysql/4_create_procedure.sql" 的 "2024-10-26" 改成對(duì)應(yīng)的日期
mysql -u root -p < 1_create_table.sql
mysql -u root -p echarts < 2_insert_category.sql
mysql -u root -p echarts < 3_create_function.sql
mysql -u root -p echarts < 4_create_procedure.sql
MySQL數(shù)據(jù)導(dǎo)入HDFS
cd /data/jobs/project/
# 上傳 "數(shù)據(jù)分析" 目錄下的 所有 文件
sed -i 's/\r//g' sqoop_mysql_to_hdfs.sh
bash sqoop_mysql_to_hdfs.sh 2025-05-01 first
# 驗(yàn)證sqoop的結(jié)果
hdfs dfs -ls /gmall_data/
hive建表
cd /data/jobs/project/
# 連接進(jìn)入hive終端命令如下:
# /export/software/apache-hive-3.1.2-bin/bin/beeline -u jdbc:hive2://master:10000 -n root
# 快速執(zhí)行create_hive.sql
hive -v -f create_hive.sql
ODS
cd /data/jobs/project/
hive -hiveconf dt="2025-05-01" -v -f ods.sql
DWD
cd /data/jobs/project/
hive -hiveconf dt="2025-05-01" -v -f dwd.sql
DWS
cd /data/jobs/project/
hive -hiveconf dt="2025-05-01" -v -f dws.sql
ADS
cd /data/jobs/project/
#基礎(chǔ)指標(biāo)+GMV指標(biāo)
hive -hiveconf dt="2025-05-01" -v -f ads_1.sql
#轉(zhuǎn)化率及漏斗分析 DWS層品牌復(fù)購率
hive -hiveconf dt="2025-05-01" -v -f ads_2.sql
#ADS層品牌復(fù)購率
hive -hiveconf dt="2025-05-01" -v -f ads_3.sql
創(chuàng)建后續(xù)用于可視化的mysql表
cd /data/jobs/project/
# 上傳 "可視化" 目錄下的 所有 文件和文件夾
mysql -u root -p echarts < create_ads_table.sql
數(shù)據(jù)導(dǎo)入MySQL
cd /data/jobs/project/
sed -i 's/\r//g' sqoop_hdfs_to_ads_mysql.sh
bash sqoop_hdfs_to_ads_mysql.sh
啟動(dòng)可視化
mkdir -p /data/jobs/project/
cd /data/jobs/project/
python3 project-shopping/app.py pro
