4.1 概述 Pentaho首席技術(shù)官James Dixon創(chuàng)造了“數(shù)據(jù)湖”一詞。它把數(shù)據(jù)集市描述成一瓶水（清洗過的，包裝過的和結(jié)構(gòu)化易于使用的）。 而數(shù)據(jù)湖更像是在自然狀態(tài)...
發(fā)簡信
IP屬地：四川
-
數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中臺一文讀懂【2】 -
數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中臺一文讀懂【1】
如今，隨著諸如互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，越來越多的數(shù)據(jù)被生產(chǎn)出來-據(jù)統(tǒng)計，每天大約有超過2.5億億字節(jié)的各種各樣數(shù)據(jù)產(chǎn)生。這些數(shù)據(jù)需要被存儲起來并且能夠被方便的分析和...
-
python在Excel中追加dataframe數(shù)據(jù)
對于有些已經(jīng)存在的Excel，我們只需要添加新的數(shù)據(jù)即可，不需要overwrite.那么可以利用openpyxl實現(xiàn)這種需求。 首先，需要安裝openpyxl 第一種方式： ...
-
在Windows中安裝PySpark環(huán)境
安裝Python 可以選擇安裝官方版本的Python，或是Anaconda，對應(yīng)的地址如下。 下載地址Python：https://www.python.org/[https...
-
svn和git的區(qū)別，為什么使用git？git和svn是目前最常用的團(tuán)隊協(xié)作的版本控制系統(tǒng)。 本人起初用過git，后來用過svn。算是兩個版本控制系統(tǒng)都用過了。夜深人靜睡不著，特此來一發(fā)，論一論這兩者。 下面我從版...
-
民謠專場 （一） | 民謠里沒有車也沒有房，只有那小尼姑與老方丈
不知道你有沒有留意過，網(wǎng)易云音樂中，民謠歌曲的評論往往是最多的；因為民謠背后往往都有一段故事，或狂放、或香艷、或無病呻吟、或無疾而終；聽民謠的時候，耳機連接的是兩個平行時空，...
-
Impala更新元數(shù)據(jù)：invalidate metadata和refresh
摘要：Impala，Hive invalidate metadata 對于通過Hive創(chuàng)建，刪除或者修改表等操作，Impala無法自動感知到Hive元數(shù)據(jù)的變化，想讓Impa...
-
如何寫設(shè)計文檔
1、背景 隨著公司的不斷發(fā)展，業(yè)務(wù)對技術(shù)的要求也比原來更高，項目的數(shù)量越來越多、團(tuán)隊人數(shù)也越來越多、項目的質(zhì)量要求也越來越高。隨著項目的不斷立項，對項目在前期的設(shè)計要求也逐步...
-
sql中列轉(zhuǎn)行unpivot、行轉(zhuǎn)列pivot詳細(xì)講解||Mysql Oracle sqlserv DB2數(shù)據(jù)庫目錄：一、sqlserver列轉(zhuǎn)行、行轉(zhuǎn)列詳解二、Oracle列轉(zhuǎn)行、行轉(zhuǎn)列詳解三、DB2列轉(zhuǎn)行、行轉(zhuǎn)列詳解四、MYSQL列轉(zhuǎn)行、行專列詳解五、練習(xí)數(shù)據(jù) 練習(xí)數(shù)據(jù)在文末，使用...
-
中心極限定理通俗介紹
中心極限定理是統(tǒng)計學(xué)中比較重要的一個定理。 本文將通過實際模擬數(shù)據(jù)的形式，形象地展示中心極限定理是什么，是如何發(fā)揮作用的。 什么是中心極限定理（Central Limit T...
-
Python細(xì)節(jié)——MYSQL的to_sql的if_exists推薦使用append
前言 本篇文章主要探索一個很小細(xì)節(jié)，就是to_sql 到我們的mysql數(shù)據(jù)庫時，你是使用追加，還是替換呢？這兒就推薦使用追加！append。接下來給大家貼代碼比較演示。 代...
-
python虛擬環(huán)境virtualenv
一、使用虛擬環(huán)境的原因 在使用python開發(fā)的過程中，工程一多，難免會碰到不同的工程依賴不同版本的庫的問題；亦或者是在開發(fā)過程中不想讓物理環(huán)境里充斥各種各樣的庫，引發(fā)未來的...
-
一文讀懂Python中的self神奇的self： 在Python類中規(guī)定，函數(shù)的第一個參數(shù)是實例對象本身，并且約定俗成，把其名字寫為self。其作用相當(dāng)于java中的this，表示當(dāng)前類的對象，可以調(diào)用當(dāng)前...
-
-
Pandas 中map, applymap and apply的區(qū)別https://codeday.me/bug/20170505/13290.html https://www.zhihu.com/question/20125256 注意： ...
-
歸一化和標(biāo)準(zhǔn)化大全本人對這兩個理解不是很深入，看了下面這些大佬的回答，還是模模糊糊，略懂一二。 一、知乎高贊回答 1、特征工程中的「歸一化」有什么作用？ 微調(diào)大佬的回答： 憶臻博士的回答： 王...
-
設(shè)置雙擊直接打開.ipynb文件設(shè)置雙擊直接打開.ipynb文件 - 水冰月的style - 博客園 anaconda3安裝好后，可在開始菜單下查看 (72 條消息)ipython notebook 如何打...
-
大師兄的Python機器學(xué)習(xí)筆記:數(shù)據(jù)重抽樣大師兄的Python機器學(xué)習(xí)筆記:數(shù)據(jù)預(yù)處理大師兄的Python機器學(xué)習(xí)筆記:實現(xiàn)評估模型 一、重抽樣方法 1. 關(guān)于重抽樣方法（Resampling Methods） 重抽...
-
imblearn 使用筆記
在做機器學(xué)習(xí)相關(guān)項目時，通常會出現(xiàn)樣本數(shù)據(jù)量不均衡操作，這時可以使用 imblearn 包進(jìn)行重采樣操作，可通過 pip install imbalanced-learn 命...
-
總結(jié)：Bootstrap(自助法)，Bagging，Boosting(提升)
前言 最近在理清一些很必要的也很基礎(chǔ)的東西，記錄一下，結(jié)合網(wǎng)上和文獻(xiàn)，自己也有些易化使之更輕松理解，如有錯誤，請不吝賜教，多謝！ Bootstrap(自助法) Bootstr...