發(fā)簡信
IP屬地：上海
-
-
idea用maven開發(fā)hive的udf詳細(xì)過程創(chuàng)建maven項(xiàng)目file>new>project2.添加依賴的jar包，第一次添加可能有點(diǎn)慢 導(dǎo)入完畢后左邊多出很多jar包，右邊則沒有紅色橫杠 3.開始開發(fā)在java下新...
-
GitHub做Markdown圖床(附一鍵上傳工具)準(zhǔn)備工作 首先在你的GitHub上創(chuàng)建一個(gè)倉庫，然后什么都不用做。 然后本地打開終端輸入： 到這里其實(shí)就已經(jīng)把云圖床存儲(chǔ)搭建好了。 綁定之后基本就完成了圖床的云存儲(chǔ)了，免費(fèi)又...
-
pip安裝第三方庫報(bào)錯(cuò)SSL: CERTIFICATE_VERIFY_FAILED
今天在安裝一個(gè)第三方庫時(shí)報(bào)如下錯(cuò)誤 pip install --upgrade baostock Could not fetch URL https://pypi.org/s...
-
Mac下使用homebrew安裝Hadoop-3.1.1記錄環(huán)境說明 macOS Sierra 10.12.6 JDK 1.8.0_101 hadoop 3.1.1 homebrew homebrew安裝 HomeBrew 是OSX中...
-
【Java】mac Eclipse安裝1. 安裝Eclipse前，先確認(rèn)Mac上是否已安裝java運(yùn)行環(huán)境。 進(jìn)入終端，輸入 java -version ， 如果返回了java版本號則說明已安裝，否則，先安裝ja...
-
機(jī)器學(xué)習(xí)-吳恩達(dá)PPT
簡單粗略的截屏吳恩達(dá)課程的PPT的內(nèi)容，以后有時(shí)間了再回來補(bǔ)充一些細(xì)節(jié)。 一、引言（Introduction） 監(jiān)督學(xué)習(xí) 無監(jiān)督學(xué)習(xí) 二、單變量線性回歸（Linear reg...
-
-
【Spark】Spark 基本概念、模塊和架構(gòu)
本文結(jié)構(gòu)如下： 基本概念 基本模塊 基本架構(gòu) 一、基本概念 RDD(Resilient Distributed Datasets)：彈性分布式數(shù)據(jù)集，只讀分區(qū)記錄的集合，Sp...
-
寫給大數(shù)據(jù)開發(fā)初學(xué)者的話 | 附教程
公眾號開了快一年了，名字叫學(xué)一學(xué)大數(shù)據(jù)。但是一直沒有分享關(guān)于大數(shù)據(jù)的文章，如是就抽出時(shí)間來給大家分享下大數(shù)據(jù)整理的技術(shù)路線及生態(tài)全景。 導(dǎo)讀 第一章：初識Hadoop 第二章...
-
大數(shù)據(jù)架構(gòu)：flume-ng+Kafka+Storm+HDFS 實(shí)時(shí)系統(tǒng)組合個(gè)人觀點(diǎn)：大數(shù)據(jù)我們都知道hadoop，但并不都是hadoop.我們該如何構(gòu)建大數(shù)據(jù)庫項(xiàng)目。對于離線處理，hadoop還是比較適合的，但是對于實(shí)時(shí)性比較強(qiáng)的，數(shù)據(jù)量比較大的，...
-
大數(shù)據(jù)基礎(chǔ)知識學(xué)習(xí)-----Storm學(xué)習(xí)筆記Storm學(xué)習(xí)筆記總結(jié) Storm概述 離線計(jì)算是什么 離線計(jì)算：批量獲取數(shù)據(jù)、批量傳輸數(shù)據(jù)、周期性批量計(jì)算數(shù)據(jù)、數(shù)據(jù)展示代表技術(shù)：Sqoop批量導(dǎo)入數(shù)據(jù)、HDFS批量存儲(chǔ)數(shù)...
-
Hive-Transform-Python:快捷的Map/Reduce
Hive 提供了 Transform 這一關(guān)鍵字，使用 python 腳本處理hive 的數(shù)據(jù)，實(shí)現(xiàn) Map/Reduce 的效果，在一些場景下，相比直接編寫 Hadoop ...
-
分布式文件系統(tǒng)HDFS0. 普通分布式文件系統(tǒng)設(shè)計(jì)思路 文件以多副本的方式，整個(gè)文件存放到單機(jī)中。 缺點(diǎn):文件不管有多大都存儲(chǔ)在一個(gè)節(jié)點(diǎn)上，在進(jìn)行數(shù)據(jù)處理的時(shí)候很難進(jìn)行并行處理，節(jié)點(diǎn)可能就稱為網(wǎng)絡(luò)...
-
Elasticsearch 5.4.0 用戶指南
博客原文一博客原文二 翻譯作品，水平有限，如有錯(cuò)誤，煩請留言指正。原文請見 官網(wǎng)英文文檔 起步 Elasticsearch 是一個(gè)大規(guī)模開源的全文搜索和分析引擎，你可以用它來...
-
【Flume】Flume 簡單理解及使用實(shí)例一、Flume簡介 flume 是一個(gè)cloudera提供的 高可用高可靠，分布式的海量日志收集聚合傳輸系統(tǒng)。原名是 Flume OG (original generatio...
-
因?yàn)楣ぷ髟?，Tomcat源碼分析暫時(shí)沒時(shí)間繼續(xù)了.....
-
ods.incr_d_tb_dingdan_extension.md
問題背景 在日常商城需求中我們經(jīng)常會(huì)接到一些分析需求，分析維度可能會(huì)有： 商家id,是否跨店，訂單是否有效，訂單是否凍結(jié)等信息(目前并不記錄在我們的確認(rèn)訂單模型) 其實(shí)訂單接...
個(gè)人介紹
There is only time for loving, and but an instant, so to speak,for that.