flink精通~源码设计 | 爱代码爱编程

calcite 校验层总结-爱代码爱编程

1、校验的作用 1）完善语义信息例如在SQL语句中，如果碰到select * 这样的指令，在SQL的语义当中，“*” 指的是取出对应数据源中所有字段的信息，因此就需要根据元数据信息来展开。 2）结合元数据信息来纠偏

1、关系代数与火山模型 1）关系代数基本的关系代数运算有选择、投影、集合并、集合差、笛卡儿积等。在这些基本运算之外，还有一些集合之间的交集、连接、除和赋值等运算。连接运算可分为连接、等值连接、自然连接、外连接、

1、概述用户的操作请求经过服务层的接收和封装被传递给calcite-core模块。其中第一站就是解析层，它的作用主要是对SQL语句进行语法解析。在这个过程中，初始的SQL字符串会被转化为Calcite内部的语法解

1、Flink 扩展 calcite 中的语法解析 1）定义需要的 SqlNode 节点类-以 SqlShowCatalogs 为例 a）类位置 flink/flink-table/flink-sql-parser/s

集群资源管理一、ResourceManager 概述 1、ResourceManager 作为统一的集群资源管理器，用于管理整个集群的计算资源，包括 CPU资源、内存资源等。 2、ResourceManager 负责

Calcite中 JavaCC 的使用方法 Calcite 默认采用 JavaCC 来生成词法分析器和语法分析器。 1）使用 JavaCC 解析器 Calcite中，JavaCC 的依赖已经被封装到 calcite-c

ResourceManager 总结一、概述 1、ResourceManager 管理 Flink 集群中的计算资源，计算资源主要来自 TaskManager 组件。 2、如果集群采用 Native【本地模式】部署，

Dispatcher 总结一、概述 1、Dispatcher负责接收客户端提交的JobGraph对象。 dispatcherGateway.submitJob(jobGraph, rpcTimeout) 2、Di

Flink的WebMonitorEndpoint介绍+自定义Flink的Handler 一、WebMonitorEndpoint 1）概述 WebMonitorEndpoint 是基于Netty通信框架实现了Restf

Flink异步I/O算子原理解析+源码详解异步算子使用案例： 1 Flink使用异步算子请求高德地图获取位置信息 2 Flink使用异步算子+线程池查询MySQL 1、概述异步算子主要应用于和外部系统交互，提高

一、Flink源码环境搭建 1、概述本节演示如何在本地编译、运行 Flink 源码。技术有限，欢迎各位大佬在评论区批评指正。 2、版本说明名称版本flink1.13.6jdk1.8Maven3.2.5操作系统