離別 晚上突然的消息打斷了我的睡眠，原來是媽媽發(fā)來的消息，竟然是噩耗，我的姥姥走了。真是驚坐起啊。離別，第二次離別。第一次離別是在上大學(xué)的時候，我都不知道就發(fā)生了。那是我姥爺...
發(fā)簡信
IP屬地：北京
-
寫作的原則總結(jié)
## 寫作技巧總結(jié) 先總結(jié)一下，后面再舉例子. 1. 使用對話的方式說明問題，有很強(qiáng)的帶入感。 2. 使用列表的方式總結(jié)問題，從形式上看調(diào)理比較清晰。 3. 結(jié)合圖片文字的方...
-
一次溝通的翻車現(xiàn)場翻車現(xiàn)場還原 事情是這樣的，我和愛數(shù)據(jù)學(xué)院的一個年輕人（剛畢業(yè)）在群里面溝通了一些事情。但是節(jié)奏完全帶偏了。情況這樣的： 我已經(jīng)把課程錄完了，等著愛數(shù)據(jù)學(xué)院的小伙伴給反饋，但...
-
-
手把手教你用Python實(shí)現(xiàn)分布式爬蟲(四) - scrapy爬取技術(shù)文章網(wǎng)站相關(guān)源碼 搭建scrapy的開發(fā)環(huán)境，本文介紹scrapy的常用命令以及工程目錄結(jié)構(gòu)分析，本文中也會詳細(xì)的講解xpath和css選擇器的使用。然后通過scrapy提供的spi...
-
MapReduce過程詳解及其性能優(yōu)化MapReduce過程詳解及其性能優(yōu)化 [toc] 轉(zhuǎn)載：MapReduce過程詳解及其性能優(yōu)化 總結(jié) 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
-
數(shù)據(jù)同步利器 - canal
前言 大約兩年以前，筆者在一個項目中遇到了數(shù)據(jù)同步的難題。 當(dāng)時，系統(tǒng)部署了幾十個實(shí)例，分為1個中心平臺和N個分中心平臺，而每一個系統(tǒng)都對應(yīng)一個單獨(dú)的數(shù)據(jù)庫實(shí)例。 在數(shù)據(jù)庫層...
-
項目管理--反思自己
事必躬親 要做為什么做有能力做 監(jiān)工思維 明確目標(biāo)制度驅(qū)動 胡子眉毛一把抓 把自己當(dāng)錘子。哪里都是釘子 戴明環(huán) Plan -> Do -> Check -> Act
-
繼續(xù)詳細(xì)寫啊
數(shù)據(jù)報告的制作方法
制作數(shù)據(jù)報告的流程 1.確定目標(biāo)2.數(shù)據(jù)獲取3.數(shù)據(jù)清洗4.數(shù)據(jù)整理5.描述分析 數(shù)據(jù)描述：用來對數(shù)據(jù)進(jìn)行基本情況的刻畫，包括：數(shù)據(jù)總數(shù)、時間跨度、時間粒度、空間范圍、空間粒...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力。同時小文件過多會影響JOB的執(zhí)行，hadoop會將一個job轉(zhuǎn)換成多個t...
-
kafka監(jiān)聽mysql實(shí)時數(shù)據(jù)變更在做報表數(shù)據(jù)統(tǒng)計時，我們用的是mysql + kafka + Spark Streaming方案，kafka監(jiān)聽mysql訂單表中訂單狀態(tài)，然后發(fā)送到spark stream...
-
Hive 企業(yè)級調(diào)優(yōu)總結(jié)(一)1.開啟Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM employees;在這種情況下，...
-
