研究背景： 微軟亞研院，鄭宇（關于LBS歸納的博客） 1、Geolife項目，2007，分享個人軌跡到地圖上，識別用戶交通模式，挖掘位置興趣點和經典旅行序列，基于歷史軌跡推斷...
發(fā)簡信
IP屬地：澳門
-
基于GPS軌跡數(shù)據(jù)的檢索、分析和挖掘
-
Spark Structured Streaming 與Kafka的整合
Structured Streaming 與0.10及以上版本的Kafka整合來對Kafka中的讀書進行讀取和寫入操作。 Linking 對于使用SBT/Maven定義的Sc...
-
-
echarts結合百度地圖使用--熱力圖公司的項目要做一個熱力圖，本來想著是用百度地圖直接搞定，但是完成之后，產品經理說要有一個標尺，根據(jù)顏色不同來區(qū)分熱力程度，然后我就一直找插件，但是找了很久，也沒有找到，于是就...
-
SparkStreaming之讀取Kafka數(shù)據(jù)本文主要記錄使用SparkStreaming從Kafka里讀取數(shù)據(jù)，并計算WordCount 主要內容： 1.本地模式運行SparkStreaming 2.yarn-clie...
-
Spark Streaming WebUI監(jiān)控，查看Streaming Statistics，Batch（job stage task）摘要：Spark Streaming，yarn，Streaming Statistics，Active Batches，Completed Batches總結一下Spark ...
-
Mac 更新node版本
MAC升級Nodejs和Npm到最新版 第一步，先查看本機node.js版本： node -v 第二步，清除node.js的cache： sudo npm cache cle...
-
Apache Camel 調研什么是Camel？ Camel框架的核心是一個路由引擎，或者更確切地說是一個路由引擎構建器。它允許您定義自己的路由規(guī)則，決定從哪個源接收消息，并確定如何處理這些消息并將其發(fā)送...
-
Robot Framework官方教程（一）入門
Robot Framework官方教程（一）入門Robot Framework官方教程（二）測試數(shù)據(jù)語法Robot Framework官方教程（三）創(chuàng)建測試用例Robot F...
-
liquibase數(shù)據(jù)庫工具使用
liquibase安裝 [liquibase下載](https://download.liquibase.org/ liquibase) 解壓 下載slf4j-api-1.7...
-
Spark 操作hbase(構建一個支持更新和快速檢索的數(shù)據(jù)庫)
一、背景 在用戶畫像的系統(tǒng)中，需要將用戶ID的拉通結果表和用戶標簽的結果表存入Hbase中。組件如下： 因而提出以下幾個問題： Spark 作為內存計算引擎強于計算，Hbas...
-
Spark+ignite實現(xiàn)海量數(shù)據(jù)高性能OLAP海量數(shù)據(jù)多維分析我這里指的是通過數(shù)據(jù)庫，然后通過某種專業(yè)olap工具（例如cognos等）進行靈活查詢的行為，這種查詢具有以下特定： 1、行為不可控，在模型范圍內隨意...
-
Spark的那些事(四) java操作kudu全示例(含sparksql)
上文提到，使用kudu等列式存儲將數(shù)據(jù)以update模式寫入kudu.下面說一下java操作kudu的相關demo。java操作kudu在git上有相關demo，而spark...
-
單元測試之embedded-kafka
在項目中，團隊也使用了Kafka作為消息中間件。 經過了嵌入式redis選型的問題之后，筆者在嵌入式kafka選型時就更傾向于還在持續(xù)更新，并且維護人員是一個團隊而不是個人或...
-
Centos7下安裝kudu簡介 kudu官網https://kudu.apache.org/ 準備 直接通過yum install是找不到kudu的源的，在官網安裝的頁面詳細介紹了怎么在各種系統(tǒng)下安裝...
-
實現(xiàn)自己的 JDBC 驅動
本文可能是全網最全面最詳細的 JDBC 驅動開發(fā)教程，轉載請注明出處 要自己實現(xiàn)一個 JDBC 驅動無疑是較為困難的，在此之前我查閱了很多資料，也查到了許多正在提問的帖子，最...
-
Rxjava使用詳解，強烈推薦最近項目里面有用到Rxjava框架，感覺很強大的巨作，所以在網上搜了很多相關文章，發(fā)現(xiàn)一片文章很不錯，今天把這篇文章分享給大家，感謝原作者的傾心貢獻，那么下面大家來看看這篇文...
-
[Spring Cloud Task]4 Spring Batch批處理探究
概述 本文是Spring Cloud Task系列的第四篇文章，如果你尚未使用過Spring Cloud Task，請 移步spring cloud task1 簡介與示例。...
-
微服務核心研究之--編排目錄：一、微服務編排的必要性二：3種常見的微服務編排方式1、Orchestration（編制）2、Choreography（編排）3、API網關三、微服務編排的框架（Orch...