sql優(yōu)化-->整理自mysql官方文檔
IP屬地：上海
-
-
52 條 SQL 語句性能優(yōu)化策略[轉(zhuǎn)]
本文會提到52條SQL語句性能優(yōu)化策略。 1、對查詢進行優(yōu)化，應盡量避免全表掃描，首先應考慮在where及order by涉及的列上建立索引。 2、應盡量避免在where子句...
-
airflow的使用方法簡介 airflow是airbnb家的基于DAG(有向無環(huán)圖)的任務管理系統(tǒng), 最簡單的理解就是一個高級版的crontab。它解決了crontab無法解決的任務依賴問題。 類...
-
布隆過濾器(Bloom Filter)的原理和實現(xiàn)布隆過濾器使用場景 之前在《數(shù)學之美》里面看到過布隆過濾器的介紹。那么什么場景下面需要使用布隆過濾器呢？ 看下下面幾個問題 字處理軟件中，需要檢查一個英語單詞是否拼寫正確 在...
-
數(shù)據(jù)技術(shù)篇大數(shù)據(jù)階段 數(shù)據(jù)采集層（1）數(shù)據(jù)庫同步（DataX/同步中心）（2）消息中間件（離線、實時） 數(shù)據(jù)計算層 數(shù)據(jù)服務層 數(shù)據(jù)應用層 一. 日志收集 二、數(shù)據(jù)同步 1.同步基礎(chǔ) ...
-
SQL-分組月度環(huán)比同比
有一個需求是按月份統(tǒng)計環(huán)比和同比值,每次都取一遍非常麻煩,同時也容易出錯,這里我把要取的數(shù)據(jù)報表化,這里提供一個模板,這個SQL寫了我好久,經(jīng)過對比數(shù)據(jù)發(fā)現(xiàn),這樣寫是沒什么問...
-
Sqoop：Hive / Impala導出數(shù)據(jù)到MySQL Shell腳本記錄
摘要：Sqoop，MySQL，Hive，Impala 在Spark跑批到Hive的任務后面加入Sqoop任務，將數(shù)據(jù)從Hive導入MySQL提供在線查詢服務，記錄一下Shel...
-
MySQL常用30種SQL查詢語句優(yōu)化方法
1、應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。 2、對查詢進行優(yōu)化，應盡量避免全表掃描，首先應考慮在 where 及 ord...
-
Hive總結(jié)及案例講解
完整hive總結(jié) hive建立一張表，跟已經(jīng)存在的結(jié)構(gòu)化的數(shù)據(jù)文件產(chǎn)生映射關(guān)系。映射成功后，就可以通過寫HQL來分析這個結(jié)構(gòu)化的數(shù)據(jù)文件，避免了寫mr程序的麻煩。 數(shù)據(jù)庫：和...
-
095-BigData-23Hive分區(qū)及DML操作
上一篇：094-BigData-22Hive數(shù)據(jù)類型及操作 一、Hive分區(qū) 分區(qū)表實際上就是對應一個HDFS文件系統(tǒng)上的獨立的文件夾，該文件夾下是該分區(qū)所有的數(shù)據(jù)文件。Hi...
-
數(shù)據(jù)倉庫-Hive數(shù)據(jù)倉庫（Data Warehouse ） 1.1 基本概念 數(shù)據(jù)倉庫的目的是構(gòu)建面向分析的集成化的數(shù)據(jù)環(huán)境， 為企業(yè)提供決策支持 （Decision Support ).數(shù)...
-
數(shù)據(jù)蛙 銀行貸款檢測案例本次信用卡檢測欺詐案例訓練模型的大致步驟 一、數(shù)據(jù)說明 導入數(shù)據(jù) 讀取數(shù)據(jù) 由于涉及到客戶資料的隱私（交易時間、交易卡號、交易銀行代碼），所以數(shù)據(jù)已經(jīng)經(jīng)過預處理，我們拿到上述...
-
開朗樂觀、熱愛編程、熱愛生活、熱愛寫作的IT老男人。<br><br>【微信公眾號】<br><br>- 公眾號 ID ： TechFrontier2016 <br>- 公眾號名稱： 大數(shù)據(jù)與微服務<br>- 公眾號簡介： 面向互聯(lián)網(wǎng)技術(shù)愛好者， 提供大數(shù)據(jù)技術(shù)、微服務架構(gòu)等技術(shù)學習、交流和分享平臺，共同努力做一個值得大家尊敬的IT人員。<br><br>【個人CSDN博客】<br><br>- 鏈接：<a href="http://blog.csdn.net/garyond" rel="nofollow" target="_blank">http://blog.csdn.net/garyond</a><br><br>
-
常見的Hadoop大數(shù)據(jù)架構(gòu)介紹
1. 概述 隨著互聯(lián)網(wǎng)的快速普及，全球數(shù)據(jù)呈現(xiàn)出快速增長、海量集聚的特點。運用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進行分析，使得人們的生產(chǎn)生活方式都發(fā)生了許多變化。數(shù)據(jù)分析雖然隱藏在業(yè)務系統(tǒng)...
