生成一個parquet文件 下載 編譯 運行 準備csv文件 生成parquet文件 可見目錄下多了一個sample.parquet文件。這里沒有指定avsc格式的schem...
IP屬地：陜西
-
Parquet 實踐和基本原理 -
從零實現(xiàn)一個高性能網(wǎng)絡爬蟲（二）應對反爬蟲之前端數(shù)據(jù)混淆摘要 上一篇以知乎網(wǎng)為例簡單分享網(wǎng)絡請求分析。這一篇主要分享一種應對反爬蟲的方法，前端數(shù)據(jù)混淆。 目的 之前寫https://github.com/wycm/zhihu-cr...
-
設計模式--創(chuàng)建型模式
簡單工廠模式 概念： 工廠類對你傳入的參數(shù)判斷（可以寫在配置文件中），動態(tài)決定new 一個什么對象給你。（類似switch）。 缺點： 如果要新增一個對象，需要在工廠類里面修...
-
Flink Checkpoint機制checkpoint是啥 簡單點說，就是將正在運行的任務的狀態(tài)保存下來。這個狀態(tài)包括任務中每個算子的state，緩存的數(shù)據(jù)（比如processFunction）等?？梢员４嬖?..
-
Flink狀態(tài)機制
什么是狀態(tài) 首先要知道，狀態(tài)指的是算子的狀態(tài)。為什么算子需要狀態(tài)，狀態(tài)的用處無非兩點： 實現(xiàn)算子的邏輯（作為一種中間狀態(tài)） 錯誤恢復 實現(xiàn)算子的邏輯 用官網(wǎng)的例子，假設一段數(shù)...
-
Flink帶有狀態(tài)的轉換操作
本篇是對一篇Flink文章的翻譯：https://training.ververica.com/lessons/stateful.html實現(xiàn)一個場景：我們需要輸出每個傳感器...
-
為什么是Flink？本篇講講Flink，主要有 基于事件時間的消息處理機制 flink的容錯機制 都說flink很火，那么它到底有什么過人之處呢?？戳恕禙link基礎教程》，總結一下。 flin...
-
源碼分析JDK動態(tài)代理的本質(zhì)
jdk動態(tài)代理 一般的代碼套路定義接口 定義接口實現(xiàn)類 自定義handler，完成自定義代理的業(yè)務邏輯 核心代碼一共做了以下幾件事 在ProxyHandler中的invoke...
-
深入理解JDK動態(tài)代理機制本文是基于jdk1.8來對動態(tài)代理的底層機制進行探究的 Java中代理的實現(xiàn)一般分為三種：JDK靜態(tài)代理、JDK動態(tài)代理以及CGLIB動態(tài)代理。在Spring的AOP實現(xiàn)中，...
-
mac下終端iTerm2配置本文主要介紹mac下iTerm2的基本配置，包括兩方面內(nèi)容：主題和快捷鍵。寫這篇的目的是為自己電腦的配置做個記錄，以備不時之需。 主題 在配置完主題后，當你打開iTerm2時...
-
Groovy 語言快速入門前言 由于項目需要用到 Groovy 語言，這兩天對其進行了粗略的學習，本文是對學習做的一個簡單總結，主要內(nèi)容參考于官方文檔（Groovy 的官方文檔還是非常不錯的，強烈推薦...
-
Python 3 入門，最全面的基礎看這篇就夠了！
基礎語法 運行 Python 交互式解釋器 在命令行窗口執(zhí)行python后，進入 Python 的交互式解釋器。 exit()或Ctrl + D組合鍵退出交互式解釋器。 命令...
-
《利用Python進行數(shù)據(jù)分析·第2版》第2章 Python語法基礎，IPython和Jupyter Notebooks第1章 準備工作第2章 Python語法基礎，IPython和Jupyter Notebooks第3章 Python的數(shù)據(jù)結構、函數(shù)和文件第4章 NumPy基礎：數(shù)組和矢量計...
