最近部門正在使用Spark做ETL，在使用JDBC作為DataSource的時(shí)候遇到了一些坑爹的問(wèn)題，本文主要分享一下我遇到的問(wèn)題和一些解決方案，當(dāng)然可能會(huì)有更好的解決方案，...
IP屬地：上海
-
SparkSQL讀寫jdbc一些鮮為人知的事兒
-
分布式系統(tǒng)-CAP理論CAP基本概念 CAP理論作為分布式系統(tǒng)的基石，應(yīng)該是每個(gè)入門分布式系統(tǒng)的人都應(yīng)該學(xué)習(xí)的內(nèi)容。 CAP理論是2000年7月，加州大學(xué)伯克利分校的Eric Brewer教授在A...
-
分布式系統(tǒng)簡(jiǎn)介什么是分布式系統(tǒng) 分布式系統(tǒng)是由一組通過(guò)網(wǎng)絡(luò)進(jìn)行通信、為了完成共同的任務(wù)而協(xié)調(diào)工作的計(jì)算機(jī)節(jié)點(diǎn)組成的系統(tǒng)。分布式系統(tǒng)的出現(xiàn)是為了用廉價(jià)的、普通的機(jī)器完成單個(gè)計(jì)算機(jī)無(wú)法完成的計(jì)...
-
DB2問(wèn)題整理（持續(xù)更新）
字符串轉(zhuǎn)日期類型date(yyyy-mm-dd)timestamp(yyyy-mm-dd hh24:mi:ss) db2不記錄日志操作 未能在表空間中分配新頁(yè)面SQL0289...
-
elasticsearch學(xué)習(xí)筆記（三）-elasticsearch Search APIs
elasticsearch Search APIs URL Search API 語(yǔ)法： 說(shuō)明： /_search可以省略不寫，如果不寫，查詢范圍整個(gè)集群的所有索引 /_se...
-
elasticsearch學(xué)習(xí)筆記(二)-elasticsearch分詞器
elasticsear analyzer 什么是Analysis 顧名思義，文本分析就是把全文本轉(zhuǎn)換成一系列單詞（term/token）的過(guò)程，也叫分詞。在 ES 中，Ana...
-
elasticsearch學(xué)習(xí)筆記(一)-elasticsearch相關(guān)概念ElasticSearch elasticsearch簡(jiǎn)介 elasticsearch是一個(gè)基于Lucene庫(kù)的分布式，支持多租戶的全文搜索引擎，也是數(shù)據(jù)分析引擎。 elas...
-
數(shù)據(jù)結(jié)構(gòu)與算法-java.util.HashMap源碼分析java.util.HashMap源碼分析 我剛開始找工作的時(shí)候，刷面試題，刷到最多的，同時(shí)確實(shí)也是面試官最喜歡的考察的一個(gè)知識(shí)點(diǎn)就是什么是HashMap，或者與Hashta...
-
數(shù)據(jù)結(jié)構(gòu)與算法-設(shè)計(jì)一個(gè)雙端循環(huán)隊(duì)列
什么是隊(duì)列？ 之前探討過(guò)一種先進(jìn)后出的數(shù)據(jù)結(jié)構(gòu)-棧[./%E6%A0%88.md]，那是否有先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)呢？這就是我們本篇需要討論的另外一種操作受限的數(shù)據(jù)結(jié)構(gòu)-隊(duì)列。 ...
-
數(shù)據(jù)結(jié)構(gòu)與算法-如何在編譯器語(yǔ)法檢查中匹配括號(hào)
什么是棧 喜歡玩羽毛球或者乒乓球的童鞋都知道，都是用羽毛球筒裝羽毛球，羽毛球筒的特點(diǎn)就是其中一端是封閉的，另一端是可以置入或者取出羽毛球的。棧就類似于這種球筒，特點(diǎn)也是其中一...
-
數(shù)據(jù)結(jié)構(gòu)與算法-如何手動(dòng)實(shí)現(xiàn)一個(gè)java.util.LinkedList本篇主要是討論另外一種最基本的數(shù)據(jù)結(jié)構(gòu)-鏈表，所有物理結(jié)構(gòu)是由鏈表組成的，可以稱之為鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)。 鏈表的基本概念 什么是鏈表 鏈表（Linked list）是一種常見的基礎(chǔ)...
-
數(shù)據(jù)結(jié)構(gòu)與算法-如何自己動(dòng)手實(shí)現(xiàn)一個(gè)java.util.ArrayList在深入淺出數(shù)據(jù)結(jié)構(gòu)[http://www.itdecent.cn/p/1adbaabf8379%5D(http://www.itdecent.cn/p/1adbaabf8...
-
數(shù)據(jù)結(jié)構(gòu)與算法-深入淺出數(shù)據(jù)結(jié)構(gòu)
前言 在數(shù)據(jù)結(jié)構(gòu)與算法開篇的部分，我們了解到數(shù)據(jù)結(jié)構(gòu)的一些基本概念。 數(shù)據(jù)結(jié)構(gòu)就是指一組數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，而算法，就是用來(lái)操作數(shù)據(jù)的方法。 數(shù)據(jù)結(jié)構(gòu)是為了算法服務(wù)的，算法要作用...
-
增加了一些時(shí)間復(fù)雜度的簡(jiǎn)單案例
數(shù)據(jù)結(jié)構(gòu)與算法-時(shí)間，空間復(fù)雜度分析
如何去評(píng)判一個(gè)數(shù)據(jù)結(jié)構(gòu)或者算法的好壞 如何去評(píng)判一個(gè)數(shù)據(jù)結(jié)構(gòu)或者算法的好壞呢？那無(wú)非是運(yùn)行的快不快，耗不耗內(nèi)存。所以執(zhí)行效率和內(nèi)存消耗都是考量算法的指標(biāo)？那我們?nèi)绾稳ピu(píng)估執(zhí)行...
-
數(shù)據(jù)結(jié)構(gòu)與算法-時(shí)間，空間復(fù)雜度分析
如何去評(píng)判一個(gè)數(shù)據(jù)結(jié)構(gòu)或者算法的好壞 如何去評(píng)判一個(gè)數(shù)據(jù)結(jié)構(gòu)或者算法的好壞呢？那無(wú)非是運(yùn)行的快不快，耗不耗內(nèi)存。所以執(zhí)行效率和內(nèi)存消耗都是考量算法的指標(biāo)？那我們?nèi)绾稳ピu(píng)估執(zhí)行...
-
數(shù)據(jù)結(jié)構(gòu)與算法-學(xué)習(xí)之路-開篇
什么是數(shù)據(jù)結(jié)構(gòu)？什么是算法？ 我們經(jīng)常聽說(shuō)程序=數(shù)據(jù)結(jié)構(gòu)+算法，雖說(shuō)平常的工作中很少用到什么算法去解決什么問(wèn)題，所以會(huì)有童鞋覺(jué)得算法和數(shù)據(jù)結(jié)構(gòu)跟我們這些CRUD Boy距離有...
-
python-列表詳解
列表操作 修改，添加和刪除列表元素 添加append(newElement)將新元素添加到列表末尾，不會(huì)影響其他元素insert(index, newElement)在任意位...
-
python字符串詳解
字符串定義 字符串是由一個(gè)個(gè)字符組成的序列 使用成對(duì)的單引號(hào)或者雙引號(hào)two_quote_str = 'hello python'one_quote_str = "hello...
-
python序列詳解
什么是序列 序列指的是一塊可存放多個(gè)值的連續(xù)內(nèi)存空間，這些值按一定順序排列，可以通過(guò)下標(biāo)或者索引訪問(wèn)它們。 python中三種基本的序列類型： 字符串 列表列表由一系列按特定...
-
為什么要學(xué)習(xí)python
Python的簡(jiǎn)介 Python是一種廣泛使用的解釋型、高級(jí)編程、通用型編程語(yǔ)言。 Python的設(shè)計(jì)哲學(xué)強(qiáng)調(diào)代碼的可讀性和簡(jiǎn)潔的語(yǔ)法，讓開發(fā)者能夠用更少的代碼表達(dá)想法。不管...