-
手動業(yè)務(wù)流程創(chuàng)建
業(yè)務(wù)流程是周期示例，手動業(yè)務(wù)流程是手動實例，數(shù)據(jù)清洗用手動業(yè)務(wù)流程。
新建手動業(yè)務(wù)流程
編輯Pyodps節(jié)點
- 執(zhí)行sql并讀?。?/li>
sql = 'SELECT * FROM data_product WHERE source="_leycloud" and trim(title)!="" and attrs LIKE "%面料%" and attrs LIKE "%風(fēng)格%"'
with odps.execute_sql(sql).open_reader() as reader:
- 打開要寫入的表逐行讀取
with t.open_writer() as writer:
count = reader.count
for i in range(count//10000):
#print(i)
for product in reader[10000*i:10000*(i+1)]:
wirte_table(product,writer,category_dic,attrs_name)
- 數(shù)據(jù)處理后以列表的方式寫入表
r= record.Record(schema=xj_t.schema,values =values)
writer.write(r)
提交節(jié)點并運行
提交節(jié)點
簡單模式任務(wù)發(fā)布
簡單模式項目沒有任務(wù)發(fā)布的概念，如果您想要實現(xiàn)簡單項目內(nèi)的開發(fā)、生產(chǎn)環(huán)境隔離，僅能通過把任務(wù)克隆至用于生產(chǎn)的項目并執(zhí)行提交來實現(xiàn)，即：簡單模式項目（用于開發(fā)）+簡單模式項目（用于生產(chǎn)）。
任務(wù)發(fā)布
如下圖所示，用戶創(chuàng)建的兩個簡單模式項目分別用于開發(fā)、生產(chǎn)，可以先使用 跨項目克隆將A項目中的任務(wù)克隆至B項目，再將克隆過來的任務(wù)在B項目中提交至調(diào)度引擎進(jìn)行調(diào)度。
-
在odpsdataframe上采樣數(shù)據(jù)分析
df_tops = t_tops.to_df()
#df_tops.groupby(df_tops.style).agg(count = df_tops.count())
sample = df_tops.sample(parts=10000)
sample.count()
sample
在pyodps可視化增強的key_word分布
-
jupyter啟用日志和交互增強
pip install aliyun-log-python-sdk>=0.6.43 pandas odps ipywidgets -U
1. jupyter --path
進(jìn)入data的第一個目錄（或者第二個也可以），
例如C:\Users\Administrator\AppData\Roaming\jupyter
在里面構(gòu)建一個子目錄（如果沒有的話）：nbextensions
2. python -c "import odps;print(odps);"
根據(jù)輸出找到odps模塊所在目錄，進(jìn)入子目錄static > ui ，例如：C:\ProgramData\Anaconda3\Lib\site-packages\odps\static\ui
3. 復(fù)制#2中的target目錄到#1中，并修改target目錄為pyodps
例如： C:\ProgramData\Anaconda3\Lib\site-packages\odps\static\ui\target ==> C:\Users\Administrator\AppData\Roaming\jupyter\nbextensions\pyodps
4. 啟動Jupyter前驗證下
jupyter nbextension enable --py --sys-prefix widgetsnbextension
jupyter nbextension enable pyodps/main
