1.導入數(shù)據(jù) 可以從多個源導入數(shù)據(jù) 2. 數(shù)據(jù)清洗 如果數(shù)據(jù)需要處理和清洗使用Transform 3. 建立表之間的關(guān)系 一般power BI 建立的關(guān)系都是錯誤的，需要我們...
IP屬地：湖南
-
-
-
AZURE Functions app
1.課程地址 Azure Functions New Programming Model V2 for Python )[https://www.youtube.com/wa...
-
Data Flow SCD Type 21.基礎(chǔ)版本只更新一個表 創(chuàng)建一個sql表，用來存儲數(shù)據(jù)Fifa數(shù)據(jù) 具體流程image.png①創(chuàng)建scd的參數(shù)；②分別創(chuàng)建兩個source，一個是讀取db里的舊數(shù)據(jù)，一個...
-
ADF interview questionsADF How to Remove Duplicate Records in Azure Data factory | ADF Interview Questions & A...
-
DBT project 11. 初始化dbt項目，將所需的表加載到staging里 1.安裝項目所需要dbt包 安裝所需要的包，在dbt項目的根目錄，創(chuàng)建`packages.yml 安裝包 2.使用c...
-
Spark數(shù)據(jù)清洗合集（最新）
1.根據(jù)blolb路徑讀取數(shù)據(jù) 文件路徑：都是位于blob里 讀取數(shù)據(jù)，添加配置,推薦這種方法讀取，其他的有可能不能讀取delta數(shù)據(jù) 2. 將df框架改為臨時表，使用sql...
-
打造Windows環(huán)境下的docker:airflow_dbt_snowflake方法1：直接airflow環(huán)境里安裝dbt，映射本地dbt文件到airflow環(huán)境下 1. 首次加載官方的airflow鏡像 1.官網(wǎng)下載最新版本的airflow的docke...
-
-
Pyspark(最新)
1.文件掛載和文件操作 1.1 掛載mount blob source里的內(nèi)容source = 'wasbs://<container名稱>@ .blob.core.wind...
-
Azure動態(tài)sql1. 動態(tài)的select 語句 如果是在動態(tài)的參數(shù)是Query類型且有字符串，直接將動態(tài)的參數(shù)寫成@{activity(xxx)}，需要使用大括號image.png 注意：1...
-
-
DBT(Kahan)1.創(chuàng)建項目 1.1 創(chuàng)建多個項目 這次我們不使用命令行配置，直接更改profiles.yml 在profiles.yml新建一個環(huán)境dbt_kahan，項目里的yml和pr...
-
Python提高（最新）
0. Pipvenv虛擬環(huán)境 安裝pipenv 查看本地python的版本 3.進入到項目文件夾，使用指定版本的python創(chuàng)建虛擬環(huán)境 該文件夾執(zhí)行pip list，可以看...
-
DBT(1)(最新)Words scalable 可擴展wrangle 處理wraps up 包括procurement 采購hardware 硬件hight analytical worklo...
-
Snowflake（3）
1.DDL 1.1 warehouse command create warehouse suspend warehouse resume warehouse show al...
-
SQL 每日一題(最新)0.知識補充 begin end if else 1.查詢既學過01也學過03的課程的學生ID 2.取price最大的一行的所有數(shù)據(jù) 注意:方法2和方法3本質(zhì)上是一樣的 統(tǒng)計...