代码编织梦想

hive的排序-爱代码爱编程

order by 全局排序,因此只有一个reducer,设置了多个reducer也不起作用. -- 设置reducer的个数为2 set mapred.reduce.tasks=2; -- 查询 select * fr

dbeaver连接含有kerberos认证的集群的hive表-爱代码爱编程

文章目录 前言1. 配置Kerberos客户端环境1.1 下载MIT Kerberos for Windows1.2 拷贝krb5.conf1.3 配置环境变量1.4 认证 2. DBeaver连接hi

hive的group by-爱代码爱编程

-- 创建 stu 表 CREATE TABLE stu( id int, name string, age int, sex string ) ROW FORMAT DELIMITED FIELDS TERMINATED

【hive sql 每日一题】统计最近7天内连续下单3日的用户量-爱代码爱编程

文章目录 测试数据需求说明需求实现 测试数据 drop table if exists sales; create table if not exists sales( user_id int

hive动态分区-爱代码爱编程

hive动态分区概念:允许插入数据到分区表时,根据插入的数据内容自动创建相应的分区 1.启用动态分区功能 hive.exec.dynamic.partition=true; 2.分区字段设置 在insert语句中, 动态

hive的“分区”-爱代码爱编程

partition by 根据表中的字段名进行分区,常用在建表语句、窗口函数。 -- 建表 create table test(log string) partitioned by(etl_date string);

数仓架构之 基础数据层的数据加载算法-爱代码爱编程

今天想跟大家聊聊,在HIVE数仓分层中,一般分为4层,在前两层中,数据贴源层(HDM)的数据是怎么加载到基础数据层(BDM)的。 A,数据加载背景 啥意思呢,我先给大家讲讲背景:我们在工作中,一般数据都是存放在HIVE中(当然,底层逻辑来讲是存放在HDFS里),但是HIVE层的数据怎么来的?? 其实,在hive上游有各个不同的业务系统,它们都会把

集团企业供应链数字化转型三步走战略方案(ppt)_美的是否属于全渠道模式-爱代码爱编程

一、全渠道供应链设计:数字化是一切的基础 供应链端到端的数据采集和整合是实现全渠道零售的重要基础,为此通常需要打通OMS、WMS、TMS、BMS、ERP等管理信息系统,建立大数据分析优化能力。 • 数据采集由内部向外部延伸,由运营数据向用户和合作伙伴数据延伸,由结构数据向非结构数据延伸。 • 利用实时数据进行供应链管理,比如订单、库存、仓配等的实时跟

企业数字化转型信息化规划蓝图、数字化建设行动解决方案精选word_企业如何规划数字化项目,数字化项目如何规划建设流程-爱代码爱编程

企业数字化转型行动方案: 数字化转型三个阶段 “一切业务数据化,一切数据业务化”是企业数字化转型的关键,也是企业数字化转型的本质内涵。深刻认识数字转型过程中的关键节点,做好实现数字化、智能化的推进蓝图,即完成信息化、在线化和智能化三个阶段之后,形成良性发展的企业数字化经营生态环境。 一、信息化—实现业务流程管理信息化,严控内部风险 以大数据、互联

企业级数据中台构建方法和指导_企业级大数据中台设计方案-爱代码爱编程

目录 1. 数据中台的概念2. 数据中台适合企业2.1 企业构建数据中台面临的问题2.2 企业构建数据中台解决问题的方法2.3 什么样的企业适合构建数据中台 3. 如何建设数据中台3.1 方法论3.1.1

集团企业数字化转型规划及智慧企业集约化管控平台建设方案_平台规划图如下-爱代码爱编程

1智慧基建   1.1业务概述   智慧基建是通过以5G网络为基础,结合传感器视频等物联网技术、AI技术,运用云计算方式对工地大数据进行综合分析并通过交互端来实现联动、预警、展示,通过系统智能化对安全、质量、进度进行在线监控,实现对人、机、料、法、环全过程监督和全方位监控。XXXX公司智慧基建业务是利用5G通信网络、大数据中心、工业互联网、无线传感网络

最新数据中台平台建设方案_数据平台管理方案-爱代码爱编程

​声明 因转载众多,无法找到真正来源,如标错来源,或对于文中所使用的图片、文字、链接中所包含的软件/资料等,如有侵权,请跟我们联系删除,谢谢。将在收到信息后第一时间进行删除。参考资料来源网络,仅用于行业知识分享,供个人学习参考,不得作商业用途。 更多参考公众号:优享智库 目录 1. 数据中台平台建设方案 2 1.1. 总体建设方案 2

工业互联网-爱代码爱编程

 概述 研究生毕业从事工业互联网,被分到WMS 智能仓储管理系统  这一块,一开始入手有点难。在团队老大哥们的教导下,成长了一点点。今天就从需求调研开始,将我学习到的一点点复述出来。 第一章 单据 1.1  什么是单据?        说到单据就不得不提ERP系统,毕竟大部分单据都是由ERP下发到WMS(其它入库、其它出库这种是WMS自己创建的)。

大型集团企业数字化转型数据中台建设方案word-爱代码爱编程

一、大数据平台 大数据平台总体架构图 平台应采用Hadoop生态为基础的大数据框架为基础,构建平台的存储计算能力,达到共用大数据平台集群资源的目的;开展实时数据、标识系统、设备信息等的标准化建设,为数据集成集中奠定基础;广泛采用传感、自动识别、语义识别等技术采集数据,进一步提升数据获取和挖掘能力;抽取清洗治理存储生产实时数据,开展生产、营销、财务、

企业数字化(技术中台、数据中台、工业互联网平台)建设方案word_数据中台和技术中台-爱代码爱编程

​ 概述 人工智能、大数据、云计算、5G、AIoT等新技术集群正在引领产业数字化变革走向纵深。目前,数字科技是全球研发投入最集中、应用最广泛、辐射带动作用最大的技术领域。我国各行业也正积极推进数字化,传统互联网巨头在数字科技转型路上已走到世界前列,未来的十年甚至二十年将是数字科技引领新旧动能转换与产业结构升级的时代。   一、数字科技,引领经济增长的

离线电商数仓知识笔记沉淀-爱代码爱编程

learn by :尚硅谷数仓6.0 前置储备: 采集项目和数仓项目的区别:二者具有独立性 1功能角度: 采集项目:以数据的采集、传输为主 数仓项目:以数据计算为主、同时可以储存数据 2以功能延伸到技术区别: 采集项目:flume、kafka、datax、maxwell 数仓项目:mysql、hdfs、spark、Flink、MR、hi

数仓实战——懂车帝数据指标体系建设和应用实践_数仓链路优化 实战-爱代码爱编程

目录 一、如何建立指标体系规范 1.1 懂车帝业务介绍 1.2 为什么要做指标体系规范 1.3 DataLeap 指标管理平台 1.4 指标体系建设框架 1.5 指标元数据管理规范 二、指标模型建设在数仓工作中的收敛 2.1 指标模型建设存在的问题 2.2 指标模型数仓层级建设标准 2.3 从指标拆解到模型实现 2.4 从指标模型到指

云器lakehouse:multi-爱代码爱编程

导读 在当今快速发展的大数据时代,数据平台的性能和效率对于企业来说至关重要。云器Lakehouse的Multi-Cluster弹性架构为我们提供了一种全新的视角,以应对数据湖上高并发和低延迟分析的挑战。本文将深入探讨云器Lakehouse如何通过其独特的技术理念和架构设计,实现在数据湖上进行高性能实时分析的目标。 本次分享会围绕以下几方面展开:

xx集团it需求解决方案和实施路线图(54页ppt)-爱代码爱编程

一、资料介绍 文件格式:PPTX,文件为格式转化后文件 源文件格式:PDF 文件页数:54页 关注【数据化运营圈】下载更多数智解决方案 PPT开篇即明确指出了XX集团在信息化建设方面的核心需求,包括提高业务处理效率、优化数据管理流程、加强信息安全保障等多个方面。随后,通过对市场趋势的深入剖析,结合集团自身的业务特点和发展目标,提出了一系列切实

3月份太阳镜行业线上市场销售数据分析-爱代码爱编程

在消费者行为方面,太阳镜不仅仅是视力保护工具,更逐渐成为一种时尚单品。随着人们对健康和美容重视程度的提高,太阳镜作为体现个人风格的单品,其市场需求得到了进一步的推动。此外,全球旅行和旅游业的恢复,以及社交媒体的影响,也促进了太阳镜市场的增长。 据鲸参谋数据统计,3月线上平台(含京东天猫淘宝)太阳镜品类销量超190万,环比上个月增长了138%;销售额超2亿