項目概況
數(shù)據(jù)類型
豆瓣電影Top250榜單數(shù)據(jù)
開發(fā)環(huán)境
centos7
軟件版本
python3.8.18、hadoop3.2.0、hive3.1.2、mysql5.7.38、jdk8、sqoop1.4.7
開發(fā)語言
python、Java
開發(fā)流程
數(shù)據(jù)入庫(python)->數(shù)據(jù)上傳(hdfs)->數(shù)據(jù)清洗(mapreduce)->數(shù)據(jù)分析(hive)->數(shù)據(jù)存儲(mysql)->后端(flask)->前端(html+js+css)
可視化圖表
2025-05-13_005307.png
操作步驟
啟動MySQL
# 查看mysql是否啟動 啟動命令: systemctl start mysqld.service
systemctl status mysqld.service
# 進入mysql終端
# MySQL的用戶名:root 密碼:123456
# MySQL的用戶名:root 密碼:123456
# MySQL的用戶名:root 密碼:123456
mysql -uroot -p123456
啟動Hadoop
# 離開安全模式: hdfs dfsadmin -safemode leave
# 啟動hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh
啟動hive
# 在第一個窗口中,執(zhí)行后等待10-20秒
/export/software/apache-hive-3.1.2-bin/bin/hive --service metastore
# 在第二個窗口中,執(zhí)行后等待10-20秒
/export/software/apache-hive-3.1.2-bin/bin/hive --service hiveserver2
# 連接進入hive終端命令如下:
# /export/software/apache-hive-3.1.2-bin/bin/beeline -u jdbc:hive2://master:10000 -n root
準備目錄
mkdir -p /data/jobs/project/
cd /data/jobs/project/
# 上傳 "data" 目錄下的 "movie_info.txt" 文件
# 上傳 "數(shù)據(jù)入庫" 目錄下的 "data_to_mysql.py" 文件
python3 data_to_mysql.py movie_info.txt
上傳文件到hdfs
cd /data/jobs/project/
# 上傳 "數(shù)據(jù)分析_mapreduce" 目錄下的 "sqoop.sh" 文件/文件夾
sed -i 's/\r//g' sqoop.sh
bash sqoop.sh
hdfs dfs -ls /data/movie_information/
hdfs dfs -cat /data/movie_information/part-m-00000|head -10
數(shù)據(jù)清洗
cd /data/jobs/project/
# 對 "數(shù)據(jù)分析_mapreduce" 目錄下的 " mapreduce-job" 文件夾 進行 maven 打包后,上傳linux
# 打包命令: mvn clean package -Dmaven.test.skip=true
hadoop jar mapreduce-job-jar-with-dependencies.jar /data/movie_information/ /data/top250_movies/
hdfs dfs -ls /data/top250_movies/
hdfs dfs -cat /data/top250_movies/part-r-00000|head -10
hive數(shù)據(jù)分析
cd /data/jobs/project/
# 上傳 "數(shù)據(jù)分析_hive" 目錄下的 所有 文件
# 連接進入hive終端命令如下:
# /export/software/apache-hive-3.1.2-bin/bin/beeline -u jdbc:hive2://master:10000 -n root
# 快速執(zhí)行hive.sql
hive -v -f hive.sql
創(chuàng)建MySQL表
cd /data/jobs/project/
# 上傳 "mysql.sql" 文件
# 請確認mysql服務已經(jīng)啟動了
# 快速執(zhí)行.sql文件內(nèi)的sql語句
mysql -u root -p < mysql.sql
數(shù)據(jù)導入MySQL
cd /data/jobs/project/
# 上傳 "xxxx" 目錄下的 "xxx" 文件/文件夾
sed -i 's/\r//g' sqoop_to_mysql.sh
bash sqoop_to_mysql.sh
啟動可視化
mkdir -p /data/jobs/project/
cd /data/jobs/project/
# 上傳 "可視化" 目錄下的 "myapp" 文件夾
cd /data/jobs/project/myapp/
# windows本地運行: python3 app.py
python3 app.py pro
