生成一個parquet文件 下載 編譯 運行 準備csv文件 生成parquet文件 可見目錄下多了一個sample.parquet文件。這里沒有指定avsc格式的schem...
IP屬地：陜西
-
Parquet 實踐和基本原理 -
從零實現(xiàn)一個高性能網(wǎng)絡爬蟲（二）應對反爬蟲之前端數(shù)據(jù)混淆摘要 上一篇以知乎網(wǎng)為例簡單分享網(wǎng)絡請求分析。這一篇主要分享一種應對反爬蟲的方法，前端數(shù)據(jù)混淆。 目的 之前寫https://github.com/wycm/zhihu-cr...
-
Flink Checkpoint機制checkpoint是啥 簡單點說，就是將正在運行的任務的狀態(tài)保存下來。這個狀態(tài)包括任務中每個算子的state，緩存的數(shù)據(jù)（比如processFunction）等。可以保存在...
-
Flink狀態(tài)機制
什么是狀態(tài) 首先要知道，狀態(tài)指的是算子的狀態(tài)。為什么算子需要狀態(tài)，狀態(tài)的用處無非兩點： 實現(xiàn)算子的邏輯（作為一種中間狀態(tài)） 錯誤恢復 實現(xiàn)算子的邏輯 用官網(wǎng)的例子，假設一段數(shù)...
-
源碼分析JDK動態(tài)代理的本質
jdk動態(tài)代理 一般的代碼套路定義接口 定義接口實現(xiàn)類 自定義handler，完成自定義代理的業(yè)務邏輯 核心代碼一共做了以下幾件事 在ProxyHandler中的invoke...
-
為什么是Flink？本篇講講Flink，主要有 基于事件時間的消息處理機制 flink的容錯機制 都說flink很火，那么它到底有什么過人之處呢?？戳恕禙link基礎教程》，總結一下。 flin...
-
深入理解JDK動態(tài)代理機制本文是基于jdk1.8來對動態(tài)代理的底層機制進行探究的 Java中代理的實現(xiàn)一般分為三種：JDK靜態(tài)代理、JDK動態(tài)代理以及CGLIB動態(tài)代理。在Spring的AOP實現(xiàn)中，...
-
mac下終端iTerm2配置本文主要介紹mac下iTerm2的基本配置，包括兩方面內(nèi)容：主題和快捷鍵。寫這篇的目的是為自己電腦的配置做個記錄，以備不時之需。 主題 在配置完主題后，當你打開iTerm2時...
