發(fā)簡信
IP屬地：北京
-
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)，添加時備注簡書ID。
-
PySpark寫數(shù)到 Hive 動態(tài)分區(qū)
首先，寫入動態(tài)分區(qū)表，要設(shè)置一些嚴(yán)格模式的參數(shù)，將其設(shè)置為非嚴(yán)格模式 插入非分區(qū) Hive 表 對于插入 Hive 表來說，這個重分區(qū)不是必須的，但是建議使用，這樣可以控制插...
-
PySpark 讀寫 MySQL
SparkSQL 有著強(qiáng)大的與其他存儲介質(zhì)交互的功能，其中就包括MySQL，這里簡單介紹一下我在工作中用到的使用 PySpark 讀寫 MySQL 的使用。 寫出到 MySQ...
-
感謝，可能我的版本比較老了。
MySQL按條件刪除報錯You can't specify target table 'xxx' for update in FROM clause
經(jīng)常使用mysql 的查詢功能，比較少使用刪除。最近在網(wǎng)上做了幾個sql題，有一個刪除的問題，本以為挺簡單，確報出如題目的錯誤，在網(wǎng)上一搜索才發(fā)現(xiàn)了這個問題。謹(jǐn)以此作為自己的...
-
Python對文件系統(tǒng)的幾個操作
剛做了一個小需求，對文件系統(tǒng)有一些操作，記錄一下，鞏固記憶。 獲取文件自己所在的路徑： 創(chuàng)建文件夾： 刪除文件： 下載hdfs 文件本地: 讀取本地日志文件，去掉 _SUCC...
-
-
Hive中使用Python文件實(shí)現(xiàn)UDF
背景：表中有一個降水強(qiáng)度字段，但是并不是真實(shí)的降雨量，后來數(shù)據(jù)模型的同事給了一個python腳本，按照腳本可以大體轉(zhuǎn)換成降雨量。思路：1.想過用 python 現(xiàn)將表中的數(shù)查...
-
Python獲取Hive數(shù)據(jù)計算相關(guān)性系數(shù)
需求： 1.從hive 表中獲取數(shù)據(jù)。 2.計算各個指標(biāo)與主分析指標(biāo)間的相關(guān)系數(shù)。 3.將計算出來的相關(guān)系數(shù)，放入csv 文件，待使用。 首先，相關(guān)系數(shù)我們選擇了皮爾遜相關(guān)系...
-
sparkstreaming將offset存到hbase
之前一直將offset存到zookeeper，由于streaming程序會對zk有大量的讀取操作，故將offset存到zk不太好，現(xiàn)已將offset都改到hbase中 kaf...
-
MySQL按條件刪除報錯You can't specify target table 'xxx' for update in FROM clause
經(jīng)常使用mysql 的查詢功能，比較少使用刪除。最近在網(wǎng)上做了幾個sql題，有一個刪除的問題，本以為挺簡單，確報出如題目的錯誤，在網(wǎng)上一搜索才發(fā)現(xiàn)了這個問題。謹(jǐn)以此作為自己的...
-
HikariCP數(shù)據(jù)庫連接池
快速，簡單，可靠。HikariCP是一個“零開銷”生產(chǎn)就緒JDBC連接池。大約130Kb,它的性能幾乎是C3P0、DBCP的25倍，十分強(qiáng)悍引用大話數(shù)據(jù)庫連接池 配置也是十分...
-
kafka刪除topic
刪除kafka topic及其數(shù)據(jù)，嚴(yán)格來說并不是很難的操作。但是，往往給kafka 使用者帶來諸多問題，發(fā)現(xiàn)都會偶然出現(xiàn)無法徹底刪除kafka的情況。前提：kafka必須配...
-
Hive的性能優(yōu)化以及數(shù)據(jù)傾斜
hive性能優(yōu)化 一、Map階段的優(yōu)化： （控制hive任務(wù)中的map數(shù)，確定合適的map數(shù)，以及每個map處理合適的數(shù)據(jù)量）。 map個數(shù)影響因子： input目錄中文件總...
-
flume監(jiān)控inode變化的文件由于要實(shí)時讀取redis的AOF文件，但是flume的taildir source在監(jiān)控文件的時候，如果文件的inode變化了，那么會出現(xiàn)重復(fù)讀取數(shù)據(jù)的情況，這里可以通過修改...
-
感謝樓主，網(wǎng)上見過的寫的最詳細(xì)的關(guān)于hbase 的文章了！
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記
最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對Hbase的理解，對相關(guān)知識點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對Hbase的理解，對相關(guān)知識點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
