debezium 實(shí)時(shí)同步 kafka 本文檔介紹了如何從 mysql 和 oracle 中實(shí)時(shí)抽取數(shù)據(jù)到 kafka。 前期準(zhǔn)備 2臺(tái) linux 服務(wù)器用于部署 debe...
IP屬地：四川
-
AWS 搭建 Debezium 抽取 RDS 數(shù)據(jù)到 Kafka
-
AWS 常見問題記錄(13-24)1. Athena 查詢長時(shí)間無反應(yīng)，也不掃描數(shù)據(jù) Athena是serverless服務(wù)，因此會(huì)使用公用的資源池，提供不同的使用者所提交的各個(gè)查詢一同使用資源。當(dāng)一個(gè)查詢被...
-
AWS 常見問題記錄(1-12)
記錄自己支持過程中客戶提到的一些代表性的問題。 1. cn 區(qū)域的 S3 和 apigateway 開啟公開訪問權(quán)限后仍無法訪問 在國內(nèi)托管公開在線內(nèi)容需要 ICP 備案才能...
-
AWS 連接不上實(shí)例的端口的排查思路很多同學(xué)經(jīng)常遇到 EC2 連接不上的情況，有的是創(chuàng)建出來就連接不上，有的是運(yùn)行的好好的突然就連不上了。如果是創(chuàng)建出來就連不上，先看你的 ec2 安全組有沒有開對應(yīng)的端口，端口...
-
AWS CloudShell - 便捷的 AWS 命令行工具
AWS 在上個(gè)月（21年12月）做了一次大的更新，console 有了很大的改動(dòng)。其中 console 主頁上頂部的導(dǎo)航欄多了一個(gè)小的命令行的圖標(biāo)。 這個(gè)就是新出的服務(wù)，Cl...
-
AWS SAA&GCP PCA考證經(jīng)驗(yàn)
由于公司要求，我在11月連續(xù)考了兩張證書，aws的助理級(jí)架構(gòu)師和gcp的專家級(jí)架構(gòu)師。兩張證書差不多都是半個(gè)月的準(zhǔn)備時(shí)間?，F(xiàn)在分享下考證的經(jīng)驗(yàn)。首先兩證的考試是都有題庫的，可...
-
AWS DocumentDB 集群創(chuàng)建及連接VPC & 子網(wǎng) & igw & 路由 & 子網(wǎng)組 創(chuàng)建 docdb 集群需要先有 VPC 和子網(wǎng)組創(chuàng)建 VPC 后，VPC 內(nèi)的實(shí)例并不能和公網(wǎng)通信，需要先創(chuàng)建 igw，再...
-
填充玩家未登錄天的等級(jí)記錄
現(xiàn)在有這樣一個(gè)需求，需要一段時(shí)間每一個(gè)玩家的每一天的最大等級(jí)。這個(gè)需求看似很簡單，但其實(shí)重點(diǎn)是玩家不一定每天都會(huì)登錄，對于沒有登陸的天，你就拿不到當(dāng)天的最大等級(jí)，所以要做填充...
-
-
BigQuery中拆解字符串并平展為多行
我在介紹bigquery的半結(jié)構(gòu)化數(shù)據(jù)中介紹過我們總表的結(jié)構(gòu)，但是有些命令的參數(shù)個(gè)數(shù)是不固定的，比如玩家在一次戰(zhàn)斗中擊殺的敵人種類，有可能有一種，也有可能有兩種三種...這種...
-
Looker的driver table中注入用戶選擇的參數(shù)
在LookML中允許使用sql作為view的源表，其實(shí)相當(dāng)于一個(gè)視圖。在view的定義中把sql_table_name改成drived_table,然后在里面寫sql就好了。...
-
BigQuery中的半結(jié)構(gòu)數(shù)據(jù)和查詢BigQuery本身是一個(gè)半結(jié)構(gòu)化的數(shù)據(jù)庫，至于半結(jié)構(gòu)化這個(gè)東西，簡單理解就是mysql中的一列變成了一個(gè)json。就向下面這張圖一樣，圖里只有兩行數(shù)據(jù)，但是每行中又由相同的...
-
機(jī)器學(xué)習(xí)（李宏毅）作業(yè)1-pytorch實(shí)現(xiàn)最近又雙叒開始學(xué)習(xí)機(jī)器學(xué)習(xí)了，這次看了些pytorch的教程，把上次用只用numpy的用pytorch實(shí)現(xiàn)一遍。這里推薦一個(gè)gitbook：Dive-into-DL-PyTo...
-
BigQuery中的分析函數(shù)
在sql中做去重是一件麻煩的事，一般情況下只能通過group by 所有字段來做去重?，F(xiàn)在考慮一個(gè)簡單的情形，我需要統(tǒng)計(jì)昨天天玩家身上的金幣存量。玩家的金幣存量在一天中是多次...
-
玩家留存計(jì)算的兩種SQL語句
留存簡單來說就是某天的注冊用戶有多少人在多少天后還在繼續(xù)使用，但具體的定義各個(gè)公司可能都不太一樣，比如三日留存是在第四天還有登陸的玩家，一天是按現(xiàn)實(shí)的0點(diǎn)為分界還是一個(gè)玩家完...
-
玩家的等級(jí)成長曲線在一款游戲中，數(shù)值策劃會(huì)在游戲的設(shè)計(jì)階段，規(guī)劃玩家的等級(jí)成長的曲線，包括每個(gè)等級(jí)需要的資源數(shù)，不同付費(fèi)級(jí)別的玩家在每個(gè)等級(jí)的駐留時(shí)間等。在游戲上線后，就需要去獲取玩家的實(shí)際的...
-
游戲數(shù)據(jù)分析引言
從我畢業(yè)進(jìn)入游戲數(shù)據(jù)分析行業(yè)也有一年多了。這一年中也接觸到了很多數(shù)據(jù)分析的工具，數(shù)據(jù)處理，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)可視化之類的東西。也慢慢積累了一些處理處理的技巧之類的。這篇專題主要是...
-
BigQuery在WebUI中使用自定義變量
Google的bigquery是一個(gè)強(qiáng)大的云數(shù)據(jù)庫，支半結(jié)構(gòu)化數(shù)據(jù)，TB級(jí)單表的查詢，自動(dòng)擴(kuò)充什么的，反正就是很NB。除了必須要翻墻和貴之外。。。在bigquery的webU...
-
crontab和pythonpath的神坑
自己寫了個(gè)python庫，但是并沒有打包到pip上，只是放在一個(gè)文件夾內(nèi)，自己去引入。最開始使用的方法是用sys.path.append('包的路徑')但是后面用的腳本多了，...