Anaconda與Python版本對應(yīng)關(guān)系表 https://docs.anaconda.com/anaconda/packages/oldpkglists/[https:/...
發(fā)簡信
IP屬地：河南
-
CDH集群上部署Python3環(huán)境及運(yùn)行Pyspark作業(yè) -
-
Flink Sink&Source
1 Kafka 1.1 Kafka Source 1.2 Kafka Sink 2 RabbitMQ 2.1 RabbitMQ Source 2.2 RabbitMQ Sin...
-
使用Scala中的XML解析整個(gè)文件夾下的xml，并忽略dtd檢測
需求：快速解析一個(gè)文件夾下的所有xml（10年的數(shù)據(jù)，大概一千萬個(gè)xml）遇到的坑：xml里面有dtd，必須這個(gè)文件存在，不然會報(bào)錯(cuò)處理思路：重寫原有的方法 語言對比：Jav...
-
XML大文件解析（文件大?。?1G）
最近解析了一個(gè)超大的xml，之間遇到很多坑，有寫Java程序、spark程序，最后用Python處理的：Java、spark、python處理XML速度對比：Python>s...
-
借助hive快速導(dǎo)數(shù)據(jù)到hbase（02）
上一篇咱們講了通過hive映射為hbase表導(dǎo)數(shù)據(jù)，這兒我么再講一下通過hive，使用hbase原生jar生成hfile再bulkload到hbase，可以做到hive解偶 ...
-
借助hive快速導(dǎo)數(shù)據(jù)到hbase(01)
需求：解析XML文件，寫入到hbase（xml文件格式為GBK，spark讀進(jìn)來會亂碼）痛點(diǎn)：普通的寫入太慢太耗費(fèi)時(shí)間 1.spark解決讀取GBK亂碼問題 object P...
-
10年IT行業(yè)從業(yè)經(jīng)驗(yàn)，5+年技術(shù)型管理經(jīng)驗(yàn)。<br>專注于大數(shù)據(jù)分析領(lǐng)域<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.easydatavis.com" target="_blank">http://www.easydatavis.com</a>
-
Flink結(jié)合布隆過濾器進(jìn)行全局去重并結(jié)合狀態(tài)管理進(jìn)行全局標(biāo)號
/********************************** 數(shù)據(jù)去重 **************************************/ /*...
-
-
花了半個(gè)月，終于把Python庫全部整理出來了，非常全面庫名稱簡介 Chardet 字符編碼探測器，可以自動檢測文本、網(wǎng)頁、xml的編碼。 colorama 主要用來給文本添加各種顏色，并且非常簡單易用。 Prettytable ...
-
我曾以為<br>黎明之后太陽就會升起<br>就會有光<br>后來才知道<br>原來黑夜和黎明之間<br>還有一個(gè)時(shí)刻叫破曉<br>破曉之后<br>新的一天才正式開始。。。
-
Apache Flink 1.10.0 重磅發(fā)布，年度最大規(guī)模版本升級！Flink 1.10 同時(shí)還標(biāo)志著對 Blink[1] 的整合宣告完成，隨著對 Hive 的生產(chǎn)級別集成及對 TPC-DS 的全面覆蓋，F(xiàn)link 在增強(qiáng)流式 SQL 處理能...
-
Flink operator狀態(tài)管理
記錄一下曾經(jīng)走過的一些坑，一定要注意operator狀態(tài)之前盡量不要用keyby Flink提供了Exactly once特性，是依賴于帶有barrier的分布式快照+可部分...
-
Flink sink數(shù)據(jù)到帶有賬號密碼的ES
話不多說直接上代碼 /*********************************** 寫數(shù)據(jù)到ElasticSearch ********************...
-
談?wù)勅N海量數(shù)據(jù)實(shí)時(shí)去重方案（w/ Flink）
Prologue 數(shù)據(jù)去重（data deduplication）是我們大數(shù)據(jù)攻城獅司空見慣的問題了。除了統(tǒng)計(jì)UV等傳統(tǒng)用法之外，去重的意義更在于消除不可靠數(shù)據(jù)源產(chǎn)生的臟數(shù)據(jù)...
-
Flink繼續(xù)實(shí)踐：從日志清洗到實(shí)時(shí)統(tǒng)計(jì)內(nèi)容PV等多個(gè)指標(biāo)前言 最近正在將一些原本用Spark Streaming實(shí)現(xiàn)的流計(jì)算任務(wù)遷移到Flink，最簡單也是最有代表性的就是實(shí)時(shí)點(diǎn)擊量（PV）統(tǒng)計(jì)。除了PV之外，我們還希望同時(shí)將內(nèi)容...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
