背景 公司最近在利用hive構(gòu)建數(shù)倉，聽同事們說在構(gòu)建一個(gè)超寬的維度表時(shí)運(yùn)行時(shí)長超6000s，這個(gè)時(shí)長肯定是不能接受的，不過倒是引起了我的興趣，讓同事把sql發(fā)過來看看。 現(xiàn)...
發(fā)簡信
IP屬地：廣東
-
一次Hive數(shù)據(jù)傾斜優(yōu)化 -
Spark寬依賴和窄依賴深度剖析RDD依賴關(guān)系與stage劃分 Spark中RDD的高效與DAG圖有著莫大的關(guān)系，在DAG調(diào)度中需要對計(jì)算過程劃分stage，而劃分依據(jù)就是RDD之間的依賴關(guān)系。 1. 窄...
