什么是進(jìn)程間通信 進(jìn)程間通信 InterProcess Communication, 簡(jiǎn)稱IPC，的問題可以歸納為3類： 進(jìn)程間相互傳遞信息比如linux里的pipeline...
IP屬地：遼寧
-
進(jìn)程間通信 IPC -
線程
1. 什么是線程 在上一篇進(jìn)程里已經(jīng)講到，可以將一個(gè)程序里互不影響又能單獨(dú)拆分出來的任務(wù)放到新進(jìn)程里執(zhí)行，但每個(gè)進(jìn)程都有獨(dú)立的地址空間，資源是互相隔離的（如果不用共享內(nèi)存的話...
-
進(jìn)程1. 什么是進(jìn)程 進(jìn)程就是運(yùn)行中的程序。比如在計(jì)算機(jī)上打開一個(gè)記事本文件，這個(gè)記事本文件的運(yùn)行在操作系統(tǒng)里就是一個(gè)進(jìn)程，再打開另一個(gè)記事本文件又是另一個(gè)進(jìn)程。每個(gè)進(jìn)程都有自己...
-
操作系統(tǒng)是怎么啟動(dòng)的
BIOS 是什么 BIOS全稱 Basic Input Output System, 它是集成在主板芯片上的一段程序，也是計(jì)算機(jī)啟動(dòng)時(shí)加載的第一個(gè)程序。 BIOS包含了最基本...
-
處理狀態(tài)
分組DataStream 首先可以通過keyBy(KeySelector) 方法將一個(gè)DataStream分組。KeySelector函數(shù)以一條記錄為入?yún)⒉⒎祷卦摋l記錄的ke...
-
事件時(shí)間
水印策略 TimestampAssigner用來獲取事件的時(shí)間戳，WatermarkGenerator用來生成水印。WatermarkStrategy接口同時(shí)繼承Timest...
-
流模式與批模式的比較DataStream同時(shí)支持批處理和流處理。流模式用增量修改的方法處理無界流，批模式處理有界流或有固定輸入的不會(huì)持續(xù)的流并將結(jié)果一次性輸出。Flink保證流模式和批模式處理有...
-
Overview
DataStream API 用來對(duì)data stream做轉(zhuǎn)換，比如過濾，修改狀態(tài)，定義窗口，聚合等。data source支持消息隊(duì)列，socket流，文件等，data ...
-
Flink 術(shù)語表
Checkpoint Storagecheckpoint期間State Backend存儲(chǔ)snapshot的地方，JobManager的Java 堆內(nèi)存或文件系統(tǒng) Flink...
-
Flink Architecture1. Flink 集群組成 Flink 運(yùn)行時(shí)主要由兩部分構(gòu)成（圖中橘色部分）： JobManager TaskManager JobManager Flink集群中至少有一...
-
Timely Stream Processing
Timely Stream Processing只是在Stateful Stream Processing上增加了時(shí)間的處理，可用于做特定時(shí)間段內(nèi)的聚合操作，或時(shí)間序列分析等...
-
Stateful Streaming Processing
1. 什么是State 有時(shí)候除了一次處理一個(gè)event, 我們也想記錄處理多個(gè)event的信息，這個(gè)時(shí)候的操作就是stateful有狀態(tài)的。 2. 按key分組的state...
-
Fault Tolerance1. State Backend Flink管理的state存儲(chǔ)在state backend里。一種是RocksDB, 一種是JVM heap. 其特點(diǎn)如下： 2. Chec...
-
Event-Driven Applications
1. ProcessFunctions ProcessFunction能夠同時(shí)處理timers和state，這也是創(chuàng)建event-driven application的基礎(chǔ)。...
-
Streaming Analytics1. Event Time and Watermarks Flink 支持三種time模式：event time: 事件發(fā)生的時(shí)間ingestion time：flink接收...
-
Data Pipelines & ETL
Flink一個(gè)最常見的use case就是做ETL。 1. Stateless Transformation 無狀態(tài)的轉(zhuǎn)換最基礎(chǔ)的操作就是map和flatMap.map操作執(zhí)...
-
DataStream API介紹1. 什么樣的數(shù)據(jù)可以流化 對(duì)于Java和Scala來說，凡是可以被序列化的對(duì)象都可以流化。Flink自己的序列化器可以用于： 基本數(shù)據(jù)類型：String, Long, In...
-
Learn Flink: Hands-On Training本節(jié)是Flink的一個(gè)簡(jiǎn)單入門介紹，主要focus在四點(diǎn)： continuous processing of streaming data event time statef...
-
Use Cases本節(jié)介紹三種常用Flink搭建的應(yīng)用： 1. 事件驅(qū)動(dòng)型應(yīng)用 事件驅(qū)動(dòng)型的應(yīng)用數(shù)據(jù)和計(jì)算在一起，本地內(nèi)存或硬盤數(shù)據(jù)訪問，容錯(cuò)是通過定期將checkpoints存儲(chǔ)到遠(yuǎn)程持久化...