Anaconda與Python版本對應關(guān)系表 https://docs.anaconda.com/anaconda/packages/oldpkglists/[https:/...
發(fā)簡信
IP屬地：西藏
-
CDH集群上部署Python3環(huán)境及運行Pyspark作業(yè) -
Flink Sink&Source
1 Kafka 1.1 Kafka Source 1.2 Kafka Sink 2 RabbitMQ 2.1 RabbitMQ Source 2.2 RabbitMQ Sin...
-
借助hive快速導數(shù)據(jù)到hbase(01)
需求：解析XML文件，寫入到hbase（xml文件格式為GBK，spark讀進來會亂碼）痛點：普通的寫入太慢太耗費時間 1.spark解決讀取GBK亂碼問題 object P...
-
借助hive快速導數(shù)據(jù)到hbase（02）
上一篇咱們講了通過hive映射為hbase表導數(shù)據(jù)，這兒我么再講一下通過hive，使用hbase原生jar生成hfile再bulkload到hbase，可以做到hive解偶 ...
-
使用Scala中的XML解析整個文件夾下的xml，并忽略dtd檢測
需求：快速解析一個文件夾下的所有xml（10年的數(shù)據(jù)，大概一千萬個xml）遇到的坑：xml里面有dtd，必須這個文件存在，不然會報錯處理思路：重寫原有的方法 語言對比：Jav...
-
Flink sink數(shù)據(jù)到帶有賬號密碼的ES
話不多說直接上代碼 /*********************************** 寫數(shù)據(jù)到ElasticSearch ********************...
-
Flink結(jié)合布隆過濾器進行全局去重并結(jié)合狀態(tài)管理進行全局標號
/********************************** 數(shù)據(jù)去重 **************************************/ /*...
-
花了半個月，終于把Python庫全部整理出來了，非常全面庫名稱簡介 Chardet 字符編碼探測器，可以自動檢測文本、網(wǎng)頁、xml的編碼。 colorama 主要用來給文本添加各種顏色，并且非常簡單易用。 Prettytable ...
