是一個負(fù)載均衡服務(wù)器（AWS），作用通常有兩個： 根據(jù)應(yīng)用流量自動完成請求的分發(fā) 彈性的伸縮資源以應(yīng)對流量的變化 AWS ELB優(yōu)勢 High availability 眾所...
發(fā)簡信
IP屬地：廣東
-
-
大數(shù)據(jù)，數(shù)據(jù)倉庫，hive不能使用update更新操作解決方案在數(shù)據(jù)倉庫建設(shè)，處理日常業(yè)務(wù)需求的過程中，經(jīng)常會遇到各種各樣的問題。在處理更新操作數(shù)據(jù)時，遇到數(shù)據(jù)重復(fù)問題。前期因?yàn)闆]考慮到關(guān)系型數(shù)據(jù)庫update操作，把數(shù)據(jù)同步到hive...
-
hive存儲parquet表parquet格式的表在生產(chǎn)環(huán)境中經(jīng)常被使用到，具有列式存儲和壓縮等特點(diǎn)，我們怎么在hive中存儲parquet格式的表呢。 使用數(shù)據(jù) 這里使用oracle的emp表 創(chuàng)建p...
-
PySpark之select、collect操作Select操作 在PySpark中，select()函數(shù)是用來從DataFrame結(jié)構(gòu)中選擇一個或多個列，同樣可以選擇嵌套的列。select()在PySpark中是一個tr...
-
django項(xiàng)目使用boto3進(jìn)行文件存儲+S3 Browser配置項(xiàng)目中的圖片需要上傳到Amazon S3云存儲服務(wù)上，所以項(xiàng)目中添加相關(guān)配置及代碼（當(dāng)前bucket已經(jīng)存在） settings.py文件中設(shè)置 編寫公共模塊AwsS3.py...
-
python操作hdfs
hdfs模塊時python的一個第三方庫,可以允許直接對hadoop的hdfs模塊進(jìn)行訪問. 安裝 安裝hadoop 關(guān)于hadoop的安裝配置會在另一篇文章中介紹,這里只介...
-
pyspark 寫入hive表的方式
一：API saveAsTable 會根據(jù)表的schema匹配df的字段進(jìn)行存儲 insertInto，要求表的schema與df必須一致才可以 對于Hive分區(qū)...
-
初識Prophet模型（一）-- 理論篇目錄 1、Prophet 簡介 2、Prophet 適用場景 3、Prophet 算法的輸入輸出 4、Prophet 算法原理 5、Prophet 使用時可設(shè)置的參數(shù) 6、P...
-
異常值檢測-滑動均值實(shí)現(xiàn)智能告警瘋狂學(xué)習(xí)起來吧，metis里用了EWMA的。這篇講得比較細(xì)致。 URL： https://blog.csdn.net/xsdxs/article/details/716081...
