1 創(chuàng)建dataframe 1.1 讀取文件創(chuàng)建 logFilePath:這是我自定義的一個參數(shù),為文件路徑encoding:文件編碼格式,默認(rèn)為utf-8header:是否...
發(fā)簡信
IP屬地：廣東
-
pyspark dataframe基本操作看這篇就夠了 -
pyspark dataframe進(jìn)階操作(持續(xù)補(bǔ)充)1 pyspark中的functions 這些內(nèi)置函數(shù)可以極大的簡化spark數(shù)據(jù)分析，到Spark2.2已經(jīng)擁有307個函數(shù)，只有通過大量實(shí)踐才能熟練掌握其中的udf函數(shù)可...
-
pyspark 數(shù)據(jù)庫讀寫數(shù)據(jù)一.從數(shù)據(jù)庫讀數(shù)據(jù) 1.導(dǎo)入jar包 在spark-hadoop包下的jars中導(dǎo)入對應(yīng)數(shù)據(jù)庫驅(qū)動的jar包 如 我所用的是oracle數(shù)據(jù)庫,則導(dǎo)入ojdbc6-11.2....
-
JGit SSH密鑰 clone/pull/log操作
不多說了,copy的累死我了,真心不好找 -_- JGit 通過SSH私鑰文件clone/pull代碼 1.目的及準(zhǔn)備工作 2.通過java代碼進(jìn)行clone 3. pull...
-
Hive部署及整合Hbase和pyspark
Hive部署及整合Hbase 1.軟件版本信息 2.準(zhǔn)備mysql 2.1 創(chuàng)建名稱為hive的數(shù)據(jù)庫 2.2 修改數(shù)據(jù)庫編碼格式為 latin1 ,排序規(guī)則為 latin1...
-
oracle 監(jiān)測腳本
oracle 性能監(jiān)測腳本 --索引占用空間 --查對象大小 --查表空間大小 --查空閑空間 --查表空間使用情況 --改表空間 --查索引字段 --查看連接 --統(tǒng)計更新...
-
【轉(zhuǎn)載】Java并發(fā)編程系列01 | 開篇獲獎感言為什么要學(xué)并發(fā)編程 我曾聽一個從事15年開發(fā)工作的技術(shù)人員說過，他剛工作時的并發(fā)編程第一原則就是不要寫并發(fā)程序。這個不寫并發(fā)程序的原則行的通的背景是那個時候基本都是單核處理器...
-
【轉(zhuǎn)載】Java并發(fā)編程系列02 | 并發(fā)編程三大核心問題寫在前面 編寫并發(fā)程序是比較困難的，因?yàn)椴l(fā)程序極易出現(xiàn)Bug，這些Bug有都是比較詭異的，很多都是沒辦法追蹤，而且難以復(fù)現(xiàn)。要快速準(zhǔn)確的發(fā)現(xiàn)并解決這些問題，首先就是要弄清并...
-
【轉(zhuǎn)載】Java并發(fā)編程系列03 | 重排序-可見性和有序性問題根源轉(zhuǎn)載自公眾號 <java進(jìn)階架構(gòu)師> 寫在前面 并發(fā)編程的三大問題：原子性、可見性、有序性。緩存不能及時刷新導(dǎo)致了可見性問題。編譯器為了優(yōu)化性能而改變程序中語句的先后順序，導(dǎo)...
-
-
我是三只小熊熊熊，一個幣圈的小韭菜，希望大家多多關(guān)照。
-
-
愛讀書 愛分享<br>全平臺同名：金獸讀書
-
偶爾拍花，隨意喝茶，簡單人生，留點(diǎn)印記……
-
Java程序員，專注Java編程技術(shù)，開發(fā)以后臺為主前臺為輔，曾經(jīng)投身Hadoop大數(shù)據(jù)以及Ranger安全開發(fā)，活躍在大數(shù)據(jù)開源社區(qū)，同時推薦多種高效便捷的開發(fā)工具，分享自己的各種經(jīng)驗(yàn)技巧總結(jié)。
-
-
愛是恒久忍耐，愛是永不止息。在地如同在天。
-
IT從業(yè)者，攝影愛好者，美食沉醉者，文學(xué)發(fā)燒者。
-
