代码编织梦想

在kettle官方提供的elasticsearch插件中是不支持写入List或者Map类型结构的数据的,如果需要支持写入List或Map数据类型需要对源码进行扩展。这次上次的资源通过修改源码的方式实现了通过密码认证访问es接口和写入list或map类型数据的功能

使用方法:

下载es插件包,解压后替换目录data-integration\plugins下原本的插件即可:
在这里插入图片描述

约定:

字段名命名规则: “EXT + _ + [LIST|OBJ] + _ +${字段名}”。例如 代表 字段USER_CODE 需要被转换为list类型 。EXT_OBJ_USER_CODE:代表 字段 USER_CODE 需要被转换为 obj类型

kettle中使用示例:

在es插件的字段配置项中进行如下设置:EXT_LIST_USER_CODE 是上一步转换流出的数据
l例如:EXT_LIST_USER_CODE=[“0001”,“0002”]

在这里插入图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/abments/article/details/129820018

kettle8.2连接elasticsearch7_wyazyf的博客-爱代码爱编程

成品插件下载地址:https://download.csdn.net/download/wyazyf/11286050 一、下载 1、下载kettle8.2的发布版源码包,具体版本为8.2,地址:https://github.com/pentaho/pentaho-kettle/releases?after=7.1.0.23-R。具体位置如下图

两万字讲全数据实时同步方案(附代码及架构图)(建议收藏)-爱代码爱编程

一、早期关系型数据库之间的数据同步 二、大数据时代下的数据同步 三、总结 一、早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是 分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个地方需要注意的是,分页查询时,一定要按照主键id来排序分页,避免重

gson解析Json后保存到关系数据库表中(Json含多层嵌套对象数组)-爱代码爱编程

 首先需要设计Json解析后保存的关系型数据库表结构,包括主表,附表,各表的主键和外键; 解析详细代码如下: package jsonparser; import com.google.gson.JsonArray; import com.google.gson.JsonElement; import java.io.BufferedReader;

数据运营平台-数据采集-爱代码爱编程

目录 行为数据采集 业务数据采集与转换 第三方系统API对接 用户数据关联 人工数据采集 数据输出 行为数据采集 1.埋点采集 ①跨平台打通 确定性方法识别 利用用户帐号体系中,可以是系统生成的 UserID,可以是手机号,也可以是邮箱,不同的产品情况略有差异,总之就是用户唯一的标识。 如果应用在 Android、iOS、Web、微信

Elasticsearch7 插件开发之索引创建、索引数据初始化-爱代码爱编程

ElasticSearch es 插件开发 1. 插件分类 API Extension Plugins API扩展插件 通过添加新的API或功能向Elasticsearch添加新功能,通常与搜索或映射有关。 优秀插件代表:SQL language Plugin: 让 Elasticsearch 支持 SQL语句查询 (by NLPchina) Al

基于流计算 Oceanus(Flink) CDC 做好数据集成场景-爱代码爱编程

作者:黄龙,腾讯 CSIG 高级工程师 数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融合计算,需要将数据从孤立的数据源中采集出来,汇集到可被计算平台高效访问的目的地。此过程称之为ETL。通常所说的同

将ElasticSearch的数据批量导入至MySQL-爱代码爱编程

将ElasticSearch的数据批量导入至MySQL 导入Jar包 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version

分布式搜索引擎elasticsearch-爱代码爱编程

elasticsearch:一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析 elastic stack(ELK):是以elasticsearch为核心的技术栈 elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK),被广泛应用在日志数据分析、实时监控等领域 elasticsearc

springcloud:elasticsearch之索引库操作-爱代码爱编程

ElasticSearch索引库就类似数据库表,mapping映射就类似表的结构。 我们要向ElasticSearch中存储数据,必须先创建“库”和“表”。 1.mapping映射属性 mapping是对索引库中文档的

(二)大数据-爱代码爱编程

文章目录 文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台 Hive,Impala,pig区别 HDFS: 分布式文件系统 YARN: 分布