是一個(gè)負(fù)載均衡服務(wù)器（AWS），作用通常有兩個(gè)： 根據(jù)應(yīng)用流量自動(dòng)完成請(qǐng)求的分發(fā) 彈性的伸縮資源以應(yīng)對(duì)流量的變化 AWS ELB優(yōu)勢(shì) High availability 眾所...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
ELB -
大數(shù)據(jù)，數(shù)據(jù)倉庫，hive不能使用update更新操作解決方案在數(shù)據(jù)倉庫建設(shè)，處理日常業(yè)務(wù)需求的過程中，經(jīng)常會(huì)遇到各種各樣的問題。在處理更新操作數(shù)據(jù)時(shí)，遇到數(shù)據(jù)重復(fù)問題。前期因?yàn)闆]考慮到關(guān)系型數(shù)據(jù)庫update操作，把數(shù)據(jù)同步到hive...
-
hive存儲(chǔ)parquet表parquet格式的表在生產(chǎn)環(huán)境中經(jīng)常被使用到，具有列式存儲(chǔ)和壓縮等特點(diǎn)，我們?cè)趺丛趆ive中存儲(chǔ)parquet格式的表呢。 使用數(shù)據(jù) 這里使用oracle的emp表 創(chuàng)建p...
-
PySpark之select、collect操作Select操作 在PySpark中，select()函數(shù)是用來從DataFrame結(jié)構(gòu)中選擇一個(gè)或多個(gè)列，同樣可以選擇嵌套的列。select()在PySpark中是一個(gè)tr...
-
django項(xiàng)目使用boto3進(jìn)行文件存儲(chǔ)+S3 Browser配置項(xiàng)目中的圖片需要上傳到Amazon S3云存儲(chǔ)服務(wù)上，所以項(xiàng)目中添加相關(guān)配置及代碼（當(dāng)前bucket已經(jīng)存在） settings.py文件中設(shè)置 編寫公共模塊AwsS3.py...
-
連接https://jetbra.in超時(shí)顯示Connection reset
IntelliJ IDEA 2022.1永久破解激活教程（最新版，親測(cè)可用）
前言 本篇文章是基于win10系統(tǒng)下載安裝IntelliJ IDEA 2022.1的教程。本教程適用于 JetBrains 全家桶最新版本，包括 IDEA、Pycharm、W...
-
python操作hdfs
hdfs模塊時(shí)python的一個(gè)第三方庫,可以允許直接對(duì)hadoop的hdfs模塊進(jìn)行訪問. 安裝 安裝hadoop 關(guān)于hadoop的安裝配置會(huì)在另一篇文章中介紹,這里只介...
-
pyspark 寫入hive表的方式
一：API saveAsTable 會(huì)根據(jù)表的schema匹配df的字段進(jìn)行存儲(chǔ) insertInto，要求表的schema與df必須一致才可以 對(duì)于Hive分區(qū)...
-
初識(shí)Prophet模型（一）-- 理論篇目錄 1、Prophet 簡(jiǎn)介 2、Prophet 適用場(chǎng)景 3、Prophet 算法的輸入輸出 4、Prophet 算法原理 5、Prophet 使用時(shí)可設(shè)置的參數(shù) 6、P...
-
異常值檢測(cè)-滑動(dòng)均值實(shí)現(xiàn)智能告警瘋狂學(xué)習(xí)起來吧，metis里用了EWMA的。這篇講得比較細(xì)致。 URL： https://blog.csdn.net/xsdxs/article/details/716081...
-
insert overwrite table table_name
select * from table1
union all
select * from table2
union all
...
改寫為inser into table table_name select * from table1
inser into table table_name select * from table2
inser into table table_name select * from table3
....HIVE優(yōu)化(四)-union all
HIVE 優(yōu)化？【?？碱}】 如果union all的部分個(gè)數(shù)大于2，或者union部分?jǐn)?shù)據(jù)量大，應(yīng)拆分成多個(gè)insert into語句。 1.參數(shù)優(yōu)化，小于6M自動(dòng)合并2.加...
-
HIVE優(yōu)化(四)-union all
HIVE 優(yōu)化？【?？碱}】 如果union all的部分個(gè)數(shù)大于2，或者union部分?jǐn)?shù)據(jù)量大，應(yīng)拆分成多個(gè)insert into語句。 1.參數(shù)優(yōu)化，小于6M自動(dòng)合并2.加...
-
sum(partition by order by)用法
0、select * from wmg_test; ---測(cè)試數(shù)據(jù) 1、select v1,v2,sum(v2) over(order byv2) as sum --...
-
Python退出命令的總結(jié)
Python exit command @(Python入門) [TOC] Which How and When quit quit raises the SystemExi...
-
博主可以直接用hive來求取corr
如何在impala中計(jì)算多個(gè)數(shù)值字段的相關(guān)系數(shù)矩陣？
如下圖。 這里有兩個(gè)問題： 1. hive和spark都有corr函數(shù)，impala貌似沒有，那怎么計(jì)算相關(guān)系數(shù)？難道只能套公式來計(jì)算？ 2. hive和spark的corr...
-
正確使用Impala的invalidate metadata與refresh語句在Impala中，invalidate metadata與refresh語句都可以用來刷新表，但它們本質(zhì)上還是不同的。本文簡(jiǎn)要分析一下，并說明它們應(yīng)該在什么情況下使用。 Im...
-
即將上任，但你仍然不能用你的權(quán)威
會(huì)議 昨天領(lǐng)導(dǎo)在管理層內(nèi)部宣貫了公司組織機(jī)構(gòu)調(diào)整的決定，合并產(chǎn)品組、項(xiàng)目一組、項(xiàng)目二組、項(xiàng)目三組為研發(fā)一部、研發(fā)二部，老張負(fù)責(zé)研發(fā)一部、小盛負(fù)責(zé)研發(fā)二部。下周將正式在公司內(nèi)部...
-
hive學(xué)習(xí)（五）——面試題（活躍用戶及紅包用戶）前言： 本次文章主要以hivesql進(jìn)行查詢，涉及同一場(chǎng)景但較為復(fù)雜。來源于：面試題八 前期準(zhǔn)備： 1.建表導(dǎo)入數(shù)據(jù) 2.1用戶活躍模型表 2.2紅包參與領(lǐng)取模型表 2.3用...