發(fā)簡(jiǎn)信
IP屬地：北京
首先，寫(xiě)入動(dòng)態(tài)分區(qū)表，要設(shè)置一些嚴(yán)格模式的參數(shù)，將其設(shè)置為非嚴(yán)格模式 插入非分區(qū) Hive 表 對(duì)于插入 Hive 表來(lái)說(shuō)，這個(gè)重分區(qū)不是必須的...
SparkSQL 有著強(qiáng)大的與其他存儲(chǔ)介質(zhì)交互的功能，其中就包括MySQL，這里簡(jiǎn)單介紹一下我在工作中用到的使用 PySpark 讀寫(xiě) MySQ...
剛做了一個(gè)小需求，對(duì)文件系統(tǒng)有一些操作，記錄一下，鞏固記憶。 獲取文件自己所在的路徑： 創(chuàng)建文件夾： 刪除文件： 下載hdfs 文件本地: 讀取...
背景：表中有一個(gè)降水強(qiáng)度字段，但是并不是真實(shí)的降雨量，后來(lái)數(shù)據(jù)模型的同事給了一個(gè)python腳本，按照腳本可以大體轉(zhuǎn)換成降雨量。思路：1.想過(guò)用...
需求： 1.從hive 表中獲取數(shù)據(jù)。 2.計(jì)算各個(gè)指標(biāo)與主分析指標(biāo)間的相關(guān)系數(shù)。 3.將計(jì)算出來(lái)的相關(guān)系數(shù)，放入csv 文件，待使用。 首先，...
經(jīng)常使用mysql 的查詢(xún)功能，比較少使用刪除。最近在網(wǎng)上做了幾個(gè)sql題，有一個(gè)刪除的問(wèn)題，本以為挺簡(jiǎn)單，確報(bào)出如題目的錯(cuò)誤，在網(wǎng)上一搜索才發(fā)...