代码编织梦想

scala / java -爱代码爱编程

一.引言 使用 Scala 时经常需要集合的相关操作,最基本的就是交集、并集偶尔也会用到差集,博主在线上场景中使用 Scala 原生 Sets 的交集 intersect、并集 union 以及差集 diff 方法发现效率比较低,于是找到了 Google Guava 库下的高效 Sets 库 com.google.common.collect.Sets,

spark -爱代码爱编程

一.引言 使用 Spark 运行任务打日志经常遇到一个问题就是日志太多,除了自己的 print 日志之外,还有很多 Executor、client 的日志,一方面任务运行期间会占用更多的机器存储,其次也不方便查询自己的 print 日志。下面介绍下常用的日志系统与使用方法。 二.常用日志系统  常见的日志系统是 Log4j 和 SLF4J,以

scala -爱代码爱编程

一.引言 上一遍文章介绍了二进制与十进制数字之间的转换,本文介绍现在应用比较广泛的浮点数标准 IEEE754。 二.IEEE754 简介 1.整体介绍 IEEE754 代表二进制浮点算数标准,一般常用的为单精确度32位以及双精确度64位,还有不常用的延伸单精度43位以及延伸双精确度79位,Scala 常用的 Float 和 Double 分别采

c++—vector的使用_c++ vector 引用-爱代码爱编程

一、vector的介绍 说的简单点:  vector是可以动态增长的数组容器 vector是表示可变大小数组的序列容器。就像数组一样,vector也采用的连续存储空间来存储元素。也就是意味着可以采用下标对vecto

python -爱代码爱编程

一.引言 上一篇文章 Python - openpyxl Excel 操作示例与实践 介绍了如何将数据自动转化至 Excel 并完成自定义标注,节省了大量人工操作的时间,但是后续如果需要将生成的 Excel 和数据发送邮件到指定同学就还需要一步人工操作时间即写邮件发邮件,非常的不奈斯,下面结合 smtplib 库实现自定义邮件的发送,从而实现 数据 -&

scala -爱代码爱编程

一.引言 Scala 提供了 toBinaryString 的方法,使得 Int 数字可以直接转换为二进制数字,但是小数不支持,下面介绍下如何针对给定小数 (Double) 转换为二进制小数。 二.十进制转二进制 1.十进制整数转二进制 A.官方 API 引言中提到给定 int 数字,官方支持直接调用 toBinaryString 生成二

python -爱代码爱编程

一.引言 使用脚本处理得到数据后需要转化至 excel,由于手动粘贴以及换行符的问题非常不智能,所以改用 openpyxl 库处理脚本得到的数据并完成标注,顺便介绍下 openpyxl 的常用语法,先看下我们的原始数据: A B C D 0.012 0.951 0.234 -0.137 0.038 0.999 -0.225 0.139 其中 A,B,

shell -爱代码爱编程

一.引言 通道机乱七八糟的东西太多导致卡顿,需要查看文件夹大小并删除,执行 ll -h 命令后只能看到文件大小,文件夹大小都为 4k,切换其他命令并成功删除。 二.查看空间占用 1.du -h -x --max-depth=1 du -h 会递归将对应目录下所有文件的大小显示出来,如果需要寻找所有文件中包含 G 的文件,可以执行, M、K 等单

hive -爱代码爱编程

一.引言 使用 Hive 表时由于数据的变换经常需要调整 Hive 表字段结构,这里记录一下常用方法。先创建一个测试表 tmp_change_column,包含两个字段 a,b 和分区标识 dt : function createTable() { hive -e " create table if not exists tmp_change_colu

python - fastapi 实现 get、post 请求-爱代码爱编程

目录 一.引言 二.FastAPI Server 构建 1.get - read_items 2.post - create_item 3.uvicorn - run_app 三.Postman 请求 1.post - create_item 2.get - read_items 四.Requests 请求 1.post - cre

shell - crontab 定时 git 拉取并执行 maven 打包-爱代码爱编程

目录 一.引言 二.踩坑与实践 1.原始代码 2.mvn package 未执行与解决 [导入环境变量] 3.git pull 未执行与解决 [添加绝对路径] 三.总结 一.引言 git 任务部署在通道机,每天6点需要定时更新 jar 包并打包上线,所以需要在 linux 服务器上: A.部署 maven: 上一篇文章已经铺了完整过

shell - 配置 python 环境变量并导入-爱代码爱编程

一.引言 前面 通过 Script 实现更换桌面壁纸 一文中在 shell 脚本中使用了 `python xxx.py` 的命令,提示: 可以该代码在 PyCharm 中 run 没有问题,所以这里定位到 Python 环境问题,下面在 shell 脚本中引入 python 环境变量。 二.直接使用 偷懒的做法是找到 python 的环境变

git - not a git repository && 本地分支关联远程仓库-爱代码爱编程

好久没有新建项目 git 命令有些生疏,特此记录... 一.Not a git repository 本地 git clone 代码后,git branch 等相关命令提示:  解决方法: 还未关联 git,在项目位置执行: git init 即可显示相关 git 信息,此时正情况下分支显示为 master:   二.本地代码关

maven - 不能错过的 macos / m1 mvn package 效率提升方案_bit_666的博客-爱代码爱编程

本文解决方案十分适配 M1 相关机型,X86 机型也有相关解决方案,博主这里实验机型为 Mac-mini M1。 目录 一.引言 二.JDK 的选择 1.更换 JDK x ARM 2.更换 Java 环境 三.网速优化 1.打开 Maven Setting 2.配置 Mirror  四.多线程打包 1.指定 CPU Cores

sort函数使用方法包含自定义函数_鸦哈的博客-爱代码爱编程

sort函数简单的介绍 目录 sort函数简单的介绍 关于自定义函数 将奇数和偶数分开          首先sort函数的头文件是#include<algorithm>         sort函数我认为可以分成三段,结构是sort(开始位置,结束位置,自定义函数),排序范围是左闭右开,使用的是地址。最后一个自定义函数可

hive - count && sum 使用与性能对比_bit_666的博客-爱代码爱编程

一.引言 使用 hive 计数时常使用 Count 和 Sum 两个函数进行统计,下面看看二者的使用方法。 二.Count count 方法可以统计有效行数 1.统计所有行数 select count(*) from table 2.统计不为null的行数 select count(col) from table 3.配合 case d

hive - distinct && group by 求 uv,pv 实战_bit_666的博客-爱代码爱编程

一.引言 给定数据表中包含用户 uid 和用户是否点击广告的标签 label,经常有需求统计用户的下发,打开 UV,PV,下面通过 Hive 实现统计并分析 distinct 与 group by 的性能与使用场景。 一.Distinct & 未分组 使用 distinct 计算用户打开的 PU,UV: hive -e " select

Python - 删除文件、文件夹-爱代码爱编程

一.引言 清理无关文件时整理了很多待删除文件,通过 python os 模块进行快速判断与删除。 二.删除 rootDIr 为待删除文件、文件夹的根目录,deleteFile 文件内为要删除的文件、文件夹名称,通过 os.remove 删除文件,os.rmdir 删除文件夹达到快速删除📃的目的。 #!/usr/bin/python # -*-

Scala - 日常工具组件-爱代码爱编程

一.引言 开发以 scala 为主,记录一些常见工具组件,不定时持续更新... 二.日常工具组件 1.重复字符 打印标准化日志时使用,用于指定数量的字符。 def repeatString(char: String, n: Int): String = List.fill(n)(char).mkString 使用: prin

Rsync - 跨服务器传送文件-爱代码爱编程

一.引言 同学之间互相协作需要使用 rsync 跨服务器传送数据,期间遇到的问题做一下整理。 二.常见语法与问题 1. rsync 传输数据 rsync -avz --progress file 账户@ip::个人账户 例如: rsync -avz --progress test.log [email protected]::BIT_66