opdp權(quán)威指南-讀書筆記

1、odps 概述

1.1 介紹

odps(開放數(shù)據(jù)處理服務(wù))是面向大數(shù)據(jù)處理的云計(jì)算服務(wù)主要提供結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)和計(jì)算服務(wù)。同時(shí)也是一個(gè)海量數(shù)據(jù)處理平臺(tái),具備PB級別的數(shù)據(jù)處理能力,適用于海量數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)倉庫建庫、數(shù)據(jù)統(tǒng)計(jì)和挖掘、機(jī)器學(xué)習(xí)和商業(yè)智能等領(lǐng)域。

1.2 基本概念

  • 賬戶
  • 項(xiàng)目空間
  • 分區(qū)
  • Task(任務(wù)):單個(gè)SQL Query、命令和MapReduce 程序統(tǒng)稱為一個(gè)任務(wù), 一個(gè)Job可以包含一個(gè)或者多個(gè)Task,以及表示其執(zhí)行次序關(guān)系的工作流(Workflow)
  • Job(作業(yè))
  • 實(shí)例
  • 資源 :是odps特有的概念。用戶可以上傳 JAR或者文件作為資源,也可以將Project下的某張表作為資源

1.3 一些應(yīng)用場景

現(xiàn)在有很多基于odps的 應(yīng)用系統(tǒng)和業(yè)務(wù)系統(tǒng),包括數(shù)據(jù)倉庫,BI分析和決策支撐等,譬如 :阿里金融數(shù)據(jù)倉庫、CNZZ數(shù)據(jù)倉庫、阿里媽媽廣告CTR預(yù)估

1.4 本書先關(guān)資源

作者微博

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容