sql優(yōu)化-->整理自mysql官方文檔
IP屬地：上海
-
-
52 條 SQL 語(yǔ)句性能優(yōu)化策略[轉(zhuǎn)]
本文會(huì)提到52條SQL語(yǔ)句性能優(yōu)化策略。 1、對(duì)查詢進(jìn)行優(yōu)化，應(yīng)盡量避免全表掃描，首先應(yīng)考慮在where及order by涉及的列上建立索引。 2、應(yīng)盡量避免在where子句...
-
airflow的使用方法簡(jiǎn)介 airflow是airbnb家的基于DAG(有向無(wú)環(huán)圖)的任務(wù)管理系統(tǒng), 最簡(jiǎn)單的理解就是一個(gè)高級(jí)版的crontab。它解決了crontab無(wú)法解決的任務(wù)依賴問題。 類...
-
布隆過(guò)濾器(Bloom Filter)的原理和實(shí)現(xiàn)布隆過(guò)濾器使用場(chǎng)景 之前在《數(shù)學(xué)之美》里面看到過(guò)布隆過(guò)濾器的介紹。那么什么場(chǎng)景下面需要使用布隆過(guò)濾器呢？ 看下下面幾個(gè)問題 字處理軟件中，需要檢查一個(gè)英語(yǔ)單詞是否拼寫正確 在...
-
數(shù)據(jù)技術(shù)篇大數(shù)據(jù)階段 數(shù)據(jù)采集層（1）數(shù)據(jù)庫(kù)同步（DataX/同步中心）（2）消息中間件（離線、實(shí)時(shí)） 數(shù)據(jù)計(jì)算層 數(shù)據(jù)服務(wù)層 數(shù)據(jù)應(yīng)用層 一. 日志收集 二、數(shù)據(jù)同步 1.同步基礎(chǔ) ...
-
Cousin who only knows SQL And Committed to the construction of data business intelligence system<br>&<br>Internet Garbage Maker<br>&<br>A Sqlboy with no future<br>&<br>(Go all out in the direction of web ) animation<br>&<br>mba
-
SQL-分組月度環(huán)比同比
有一個(gè)需求是按月份統(tǒng)計(jì)環(huán)比和同比值,每次都取一遍非常麻煩,同時(shí)也容易出錯(cuò),這里我把要取的數(shù)據(jù)報(bào)表化,這里提供一個(gè)模板,這個(gè)SQL寫了我好久,經(jīng)過(guò)對(duì)比數(shù)據(jù)發(fā)現(xiàn),這樣寫是沒什么問...
-
Sqoop：Hive / Impala導(dǎo)出數(shù)據(jù)到MySQL Shell腳本記錄
摘要：Sqoop，MySQL，Hive，Impala 在Spark跑批到Hive的任務(wù)后面加入Sqoop任務(wù)，將數(shù)據(jù)從Hive導(dǎo)入MySQL提供在線查詢服務(wù)，記錄一下Shel...
-
MySQL常用30種SQL查詢語(yǔ)句優(yōu)化方法
1、應(yīng)盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描。 2、對(duì)查詢進(jìn)行優(yōu)化，應(yīng)盡量避免全表掃描，首先應(yīng)考慮在 where 及 ord...
-
Hive總結(jié)及案例講解
完整hive總結(jié) hive建立一張表，跟已經(jīng)存在的結(jié)構(gòu)化的數(shù)據(jù)文件產(chǎn)生映射關(guān)系。映射成功后，就可以通過(guò)寫HQL來(lái)分析這個(gè)結(jié)構(gòu)化的數(shù)據(jù)文件，避免了寫mr程序的麻煩。 數(shù)據(jù)庫(kù)：和...
-
095-BigData-23Hive分區(qū)及DML操作
上一篇：094-BigData-22Hive數(shù)據(jù)類型及操作 一、Hive分區(qū) 分區(qū)表實(shí)際上就是對(duì)應(yīng)一個(gè)HDFS文件系統(tǒng)上的獨(dú)立的文件夾，該文件夾下是該分區(qū)所有的數(shù)據(jù)文件。Hi...
-
數(shù)據(jù)倉(cāng)庫(kù)-Hive數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse ） 1.1 基本概念 數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化的數(shù)據(jù)環(huán)境， 為企業(yè)提供決策支持 （Decision Support ).數(shù)...
-
-
數(shù)據(jù)蛙 銀行貸款檢測(cè)案例本次信用卡檢測(cè)欺詐案例訓(xùn)練模型的大致步驟 一、數(shù)據(jù)說(shuō)明 導(dǎo)入數(shù)據(jù) 讀取數(shù)據(jù) 由于涉及到客戶資料的隱私（交易時(shí)間、交易卡號(hào)、交易銀行代碼），所以數(shù)據(jù)已經(jīng)經(jīng)過(guò)預(yù)處理，我們拿到上述...
-
開朗樂觀、熱愛編程、熱愛生活、熱愛寫作的IT老男人。<br><br>【微信公眾號(hào)】<br><br>- 公眾號(hào) ID ： TechFrontier2016 <br>- 公眾號(hào)名稱： 大數(shù)據(jù)與微服務(wù)<br>- 公眾號(hào)簡(jiǎn)介： 面向互聯(lián)網(wǎng)技術(shù)愛好者， 提供大數(shù)據(jù)技術(shù)、微服務(wù)架構(gòu)等技術(shù)學(xué)習(xí)、交流和分享平臺(tái)，共同努力做一個(gè)值得大家尊敬的IT人員。<br><br>【個(gè)人CSDN博客】<br><br>- 鏈接：<a href="http://blog.csdn.net/garyond" rel="nofollow" target="_blank">http://blog.csdn.net/garyond</a><br><br>
-
常見的Hadoop大數(shù)據(jù)架構(gòu)介紹
1. 概述 隨著互聯(lián)網(wǎng)的快速普及，全球數(shù)據(jù)呈現(xiàn)出快速增長(zhǎng)、海量集聚的特點(diǎn)。運(yùn)用大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析，使得人們的生產(chǎn)生活方式都發(fā)生了許多變化。數(shù)據(jù)分析雖然隱藏在業(yè)務(wù)系統(tǒng)...
