背景 公司最近在利用hive構(gòu)建數(shù)倉,聽同事們說在構(gòu)建一個(gè)超寬的維度表時(shí)運(yùn)行時(shí)長超6000s,這個(gè)時(shí)長肯定是不能接受的,不過倒是引起了我的興趣,讓同事把sql發(fā)過來看看。 現(xiàn)...
IP屬地:廣東
背景 公司最近在利用hive構(gòu)建數(shù)倉,聽同事們說在構(gòu)建一個(gè)超寬的維度表時(shí)運(yùn)行時(shí)長超6000s,這個(gè)時(shí)長肯定是不能接受的,不過倒是引起了我的興趣,讓同事把sql發(fā)過來看看。 現(xiàn)...
RDD依賴關(guān)系與stage劃分 Spark中RDD的高效與DAG圖有著莫大的關(guān)系,在DAG調(diào)度中需要對計(jì)算過程劃分stage,而劃分依據(jù)就是RDD之間的依賴關(guān)系。 1. 窄...