spark-streaming消費kafka數(shù)據(jù)，采用buffermutator寫hbase踩坑記

場景

otter同步mysql的數(shù)據(jù)到kafka，spark-streaming消費kafka，采用mutator異步寫hbase。mysql的insert，update，delete特別頻繁，每秒都有大量的insert，delete，update

以下都是基于同一條數(shù)據(jù)操作

1. ?坑 Delete(byte [] row), Put(byte[] row)，

bufferedmutator寫hbase的時候 同一條數(shù)據(jù)先 delete 再put ，

遇到的問題：

hbase顯示沒這個數(shù)據(jù)；就是bufferedmutator處理數(shù)據(jù)亂序了（每次測試都是hbase找不到數(shù)據(jù)）

解決的途徑：

遇坑后，百度找到https://developer.aliyun.com/ask/129312?spm=a2c6h.13159736這篇文章。意思就是new 對象 加上時間戳

2.坑 Delete(byte [] row, long timestamp) ，Put(byte[] row, long ts)?

代碼里時間戳使用System.currentTimeMillis()

遇到的問題：

spark-streaming處理數(shù)據(jù)的時候，一個批次rdd遍歷起來很快，難免兩個System.currentTimeMillis()一樣，此時就和方法1一樣，達不到先delete，后insert的效果，依然沒有解決（反復(fù)測試，確實有兩個時間戳一樣）

解決的途徑：

上邊的時間戳加1操作，使兩個時間戳不一樣

參照https://issues.apache.org/jira/browse/HBASE-8626?focusedCommentId=13669455&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-13669455?hbase的issue就是上邊mutator踩坑實錄

longnow =System.currentTimeMillis();?

?Delete delete =newDelete(row);?

?delete.deleteFamily(cf1, now);?

?Put put1 =newPut(row);

?put1.add(cf1,col1,now+1);