代码编织梦想

数仓每天都会有定时跑的任务,都是要依赖脚本和SQL文件,现将hive执行脚本执行的2种方式给大家整理一下

1,首先是通过hive -e模式进行调度执行,这个非常严格,不能出现一点问题,脚本内容如下,source的意思是导入对应的模块内容

#!/bin/bash

source $(dirname $(readlink -f "test.sh"))/init.sh

m="select * from ${TEST}.student where dt>='2022-10-25'"

echo "$m"

/root/data/apache-hive/bin/hive -e "$m"

2,通过执行SQL文件,可以减少代码的冗余,保持简洁,文件格式如下:

#!/bin/bash

start="/root/data/apache-hive/bin/hive "

stg="--hivevar STG=stg "

ods="--hivevar ODS_DB=ods "

ads="--hivevar ADS_DB=ads "

dwd="--hivevar DWD_DB=dwd "

dw="--hivev

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_46183404/article/details/128859066

shell脚本执行hive命令传值给sql文件、shell传参_grootblockchain的博客-爱代码爱编程

  使用场景,大数据平台azkaban任务中通过shell脚本调用sql文件(尤其是调用多个sql时),希望可以传参到sql文件中 方法:本例以sh调用hive命令执行sql为例,道理相同 1、sh 文件中执行hive -f 命令 将inputdate传给sql文件使用 如下 hive -hiveconf input_date=`date +%Y-

hive sql语句和mysql用法区别存档-爱代码爱编程

写在前面 mysql和hive版本: mysql版本:5.6.17 hive版本:2.1.1 一、GROUP_CONCAT功能 本功能测试基于以下数据表test_group: 1、简单功能实现对比 需求如

hive通过-f调用sql文件并进行传参_象在舞的博客-爱代码爱编程_hive -f 传参数

       有时候我们需要从Hive中获取需要的数据进行代码的编写,这就需要我们将查询到的语句输出到文档中,我们可以使用-e这个参数,例如: hive -e 'select * from area where code=202020' >> /root/files/a.csv        但是有时候sql语句会异常复杂或者语句较多,这个

【Hive】SQL语句大全-爱代码爱编程

文章目录 库操作创建数据库查询数据库修改数据库删除数据库表操作创建表查看表修改表删除表内部表(管理表)和外部表两者的区别互相转换分区表创建分区表添加分区往分区表中添加数据查询分区表数据删除分区查看分区修复分区数据操作数据导入Load导入Insert插入Import导入数据查询基本查询Floor 取整Like 和 RlikeDistinct 去重Gr

hive sql 中使用 if 语句-爱代码爱编程

hive sql 中使用 if 语句 hive 是数仓管理中重要的一环,尤其是sql的书写时大家在执行任务时中最重要的,关系到任务的执行快慢和正确性 今天就来看一下hive中的sql 的使用 案例: insert into table ads_sale_tm_category1_stat_mn select mn.sku_tm_id,

hive sql和mysql的区别_【数据库】HIVE SQL与SQL的区别-爱代码爱编程

总体一致: Hive-sql与SQL基本上一样,因为当初的设计目的,就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。 因此,大胆使用SQL的,如果遇到不对的,再查。 用法上的区别: 1. HQL不支持行级别的增、改、删,所有数据在加载时就已经确定,不可更改。 2. 不支持事务。 3. 支持分区存储。 hive下

mysql和hive的sql语句_Hive-sql和sql的区别是什么?-爱代码爱编程

区别:1、Hive-sql不支持等值连接,而sql支持;2、Hive-sql不支持“Insert into 表 Values()”、UPDATA、DELETE操作,而sql支持;3、Hive-sql不支持事务,而sql支持。 总体来说hiveSQL与SQL基本上一致,最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Had

hive sql文件的执行方法-爱代码爱编程

------------------ --------1 执行不带参数的hql文件---------------------------- hive -f 文件名.后缀 实例:hive -f chensq_test1.hql ------------------ -----2 执行带1个普通参数的hql文件--------------------

hive sql 时间戳和日期相互转换_//承续缘_纪录片的博客-爱代码爱编程

一. 日期>>>>时间戳 函数:unix_timestamp() unix_timestamp() 获取当前时间戳 例如:select unix_timestamp() --15658583

hive框架(三) —— hive sql语句的执行顺序_hive中limit的执行顺序-爱代码爱编程

HQL的语句执行顺寻与SQL有一定的差别 Hive SQL   From - where - join - on - select - group by - select - having - distinct - order by - limit - union/union all  Map 阶段: 执行 from,进行表的查找与加载