前段時間部門要求研究airflow，大概記錄一下安裝的步驟。airflow是一個python實現(xiàn)的工作流管理平臺，官網(wǎng)：http://airflow.incubator.apache.org/
安裝環(huán)境和必要軟件
ubuntu 16.04
Python3
mysql
redis
如果無法安裝?某些軟件?，更新一下系統(tǒng)源
http://blog.csdn.net/Hehailiang_Dream/article/details/54094634
更改為阿里云源
簡單步驟：
1 先安裝Python3 ubuntu 16.04 自帶python3 可以直接跳過
apt-get install python3
2 配置軟鏈接
命令 python，進入python命令環(huán)境，看當前使用的版本是否是python3，如果不是，需要配置軟鏈接
sudo ln -s /usr/bin/python3.5 /usr/bin/python
3 安裝pip
命令 pip，確認pip是否正常?如果不正常?按照提示安裝
apt install python3-pip
4 新增系統(tǒng)賬號
adduser newuser
同時更改配置文件，使其有sudo權限
vim /etc/sudoers
在文檔中添加如下
johnny ALL=(ALL:ALL) ALL
或者用命令方式新增：
sudo useradd -m johnny -s /bin/bash
sudo passwd johnny
sudo adduser johnny sudo
5 airflow安裝
5.1通過pip安裝
pip install airflow
還有其他安裝方式，可以參考官方文檔上的安裝命令
5.2 在shell中配置環(huán)境airflow目錄
export?AIRFLOW_HOME=~/airflow
5.3 初始化數(shù)據(jù)庫
airflow initdb
5.4 開啟web服務, default port is 8080
airflow webserver -p 8080
然后?能在瀏覽器里打開?管理網(wǎng)頁?airflow?安裝成功
6 安裝mysql
apt-get install mysql-server
apt-get install mysql-client
sudo apt-get install
libmysqlclient-dev
安裝過程中會提示設置密碼什么的，注意設置了不要忘了，安裝完成之后可以使用如下命令來檢查是否安裝成功：sudo netstat -tap | grep mysql
通過上述命令檢查之后，如果看到有mysql 的socket處于 listen 狀態(tài)則表示安裝成功。
登陸mysql數(shù)據(jù)庫可以通過如下命令：
mysql -h ip -u root -p?
啟動service mysql start
python安裝mysqldb庫
sudo apt-get install python3-mysqldb
PS:
mysql遠程訪問有點問題??估計是哪里配置沒配好?
直接改賬號為localhost?登錄權限
grant all PRIVILEGES on airflow.* to airflow@'localhost'? identified by 'password';
7 新建數(shù)據(jù)庫 airflow
新增外部訪問賬號?
grant all PRIVILEGES on airflow.* to?airflow@'ip'?(airflow@'10.16.7.114')? identified by 'password';
PS:
mysql遠程訪問有點問題??估計是哪里配置沒配好?
直接改賬號為localhost?登錄權限
grant all PRIVILEGES on airflow.* to airflow@'localhost'? identified by 'password';
8 Redis（未配置自動啟動）
安裝：
wget http://download.redis.io/releases/redis-2.8.17.tar.gz
tar xzf redis-2.8.17.tar.gz
cd redis-2.8.17
make
部署： http://www.cnblogs.com/wangchunniu1314/p/6339416.html
redis安裝好了
在路徑/usr/local/redis/bin?下
或者最快的方式就是用apt安裝
sudo apt-get install redis-server
9 安裝celery支持
pip install airflow[celery]
10 配置文件修改 支持mysql ，celery ，redis
有些不完整，具體配置見官方文檔
executor = CeleryExecutor
sql_alchemy_conn =mysql://aiedlow:aeflow@locahost:3306/airflow
brker_url=?redis://127.0.0.1:6379/2
celery_result_backend =redis://127.0.0.1:6379/
11 Celery + Rabbitmq: 安裝Rabbitmq
參考如下文檔進行
http://blog.csdn.net/sharetop/article/details/50523081
2 修改配置文件：
broker_url = amqp://admin:admin@localhost:5672
celery_result_backend = redis://127.0.0.1:6379/2
