1.導入數(shù)據(jù) 可以從多個源導入數(shù)據(jù) 2. 數(shù)據(jù)清洗 如果數(shù)據(jù)需要處理和清洗使用Transform 3. 建立表之間的關(guān)系 一般power BI 建立的關(guān)系都是錯誤的,需要我們...
1.課程地址 Azure Functions New Programming Model V2 for Python )[https://www.youtube.com/wa...
1.基礎(chǔ)版本只更新一個表 創(chuàng)建一個sql表,用來存儲數(shù)據(jù)Fifa數(shù)據(jù) 具體流程image.png①創(chuàng)建scd的參數(shù);②分別創(chuàng)建兩個source,一個是讀取db里的舊數(shù)據(jù),一個...
ADF How to Remove Duplicate Records in Azure Data factory | ADF Interview Questions & A...
1. 初始化dbt項目,將所需的表加載到staging里 1.安裝項目所需要dbt包 安裝所需要的包,在dbt項目的根目錄,創(chuàng)建`packages.yml 安裝包 2.使用c...
1.根據(jù)blolb路徑讀取數(shù)據(jù) 文件路徑:都是位于blob里 讀取數(shù)據(jù),添加配置,推薦這種方法讀取,其他的有可能不能讀取delta數(shù)據(jù) 2. 將df框架改為臨時表,使用sql...
方法1:直接airflow環(huán)境里安裝dbt,映射本地dbt文件到airflow環(huán)境下 1. 首次加載官方的airflow鏡像 1.官網(wǎng)下載最新版本的airflow的docke...
1.文件掛載和文件操作 1.1 掛載mount blob source里的內(nèi)容source = 'wasbs://<container名稱>@ .blob.core.wind...
1. 動態(tài)的select 語句 如果是在動態(tài)的參數(shù)是Query類型且有字符串,直接將動態(tài)的參數(shù)寫成@{activity(xxx)},需要使用大括號image.png 注意:1...
1.創(chuàng)建項目 1.1 創(chuàng)建多個項目 這次我們不使用命令行配置,直接更改profiles.yml 在profiles.yml新建一個環(huán)境dbt_kahan,項目里的yml和pr...
0. Pipvenv虛擬環(huán)境 安裝pipenv 查看本地python的版本 3.進入到項目文件夾,使用指定版本的python創(chuàng)建虛擬環(huán)境 該文件夾執(zhí)行pip list,可以看...
Words scalable 可擴展wrangle 處理wraps up 包括procurement 采購hardware 硬件hight analytical worklo...
1.DDL 1.1 warehouse command create warehouse suspend warehouse resume warehouse show al...
0.知識補充 begin end if else 1.查詢既學過01也學過03的課程的學生ID 2.取price最大的一行的所有數(shù)據(jù) 注意:方法2和方法3本質(zhì)上是一樣的 統(tǒng)計...