代码编织梦想

遇到问题--kafka--接收端报错Parse JSON error Invalid encoding in string. Offset-爱代码爱编程

情况 kafka接收业务发送得数据,在接收端json解析失败 例如 a={"key":"123data"} print(a); 原因 打印异常信息发现接收端接收到的数据里面包含有特殊符号 kafka发送端发出的数据中有特殊符号,导致接收端接收时转换json格式失败。 这些异常数据一般是特殊的符号,在txt中肉眼不可见。 可以借用bejso

遇到问题--java--新建maven项目打jar包缺少第三方引入的包maven dependencies报错Caused by: java.lang.ClassNotFoundException-爱代码爱编程

情况 我们新建maven项目打成jar包后在flink集群中运行,但是报错Caused by: java.lang.ClassNotFoundException 具体报错如下: java.lang.RuntimeException: Could not look up the main(String[]) method from the class

遇到的问题---java---使用SimpleDateFormat进行时区加8小时后出现24点的数据,导致时间异常无法入库-爱代码爱编程

情况 因为数据库中保存的是无时区的时间格式,所以在java项目中 获取时间数据后 需要加上东八区的时间。 使用代码如下: public static String timeAdd8Hour(Date date) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd kk:mm:ss

遇到问题--mongodb---python---pymongo通过_id查询不到数据-爱代码爱编程

情况 pymongo通过_id查询不到数据 正常使用的pymongo查询语句如下: id="600bcb89436877002d001eaa" import pandas as pd from pymongo import * client = MongoClient('mongodb://root:[email protected]

遇到问题--k8s---数据库同域名切换后pod读取的还是老数据库-爱代码爱编程

情况 现有一个 spring-boot的系统部署在k8s的pod中,连接数据库的配置文件 使用的是 域名 order.mydb.com 连接mongodb。 因为数据库迁移需要, 新创建了一个mongodb服务,然后把order.mydb.com域名指向 新的mongodb服务。 但是 spring-boot的系统 发现 缺少数据,经过排查后,新的m

遇到问题--java--mac版本的idea在控制台中使用mvn命令not found-爱代码爱编程

情况 新建了一个maven的项目,默认使用的idea的maven3插件,idea项目中可以正常的下载jar包。 但是点击 idea中的Terminal终端 想要进行项目打包时使用命令 mvn clean package -Dmaven.test.skip=true 报错如下: zhangxiaofans-MacBook-Pro:flink-jo

遇到问题--k8s--kops--新增node无法加入k8s-爱代码爱编程

情况 使用kops配置yaml文件进行k8s集群的资源扩张,想要新增几个节点,使用命令如下: kops replace -f manifest.yaml --force kops update cluster kops update cluster --yes kops rolling-update cluster k8scluster_nam

遇到问题--presto---mismatched input ‘in‘ expecting {, ‘AND‘, ‘EXCEPT‘, ‘GROUP‘, ‘HAVING‘, ‘INTERSECT‘, ‘-爱代码爱编程

情况 在presto中使用查询语句如下: select id from table where id in array[1,2,3]; 报错如下: select id from table where id in array[1,2,3]; mismatched input 'in' expecting {<EOF>, 'AND',

遇到问题--python---ImportError: Missing optional dependency ‘xlrd‘. Install xlrd >= 1.0.0 for Excel supp-爱代码爱编程

情况 使用如下代码读取excel表格 import pandas as pd no_rebacks = pd.read_excel("123.xlsx", header=0) 报错如下 : ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for

遇到问题--scala-gradle--Connect to jcenter.bintray.com:443 [jcenter.bintray.com/34.95.74.180] failed: co-爱代码爱编程

情况 项目编译使用gradle进行打包,之前都能正常运行,在没有改动的情况下, 突然报错gradle命令无法成功构建。 在ci文件中使用方式如下: deploy-test: image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/operation/gradle:4.8_awscli stage:

遇到问题--python--pandas--dataframe进行groupby之后导出数据to_excel内容为空-爱代码爱编程

情况 dataframe需要使用groupby 进行数据统计处理 得到的df数据如下: 但是df导出数据to_excel内容为空 原因 dataframe使用groupby后是带着分组信息的,并不是dataframe平铺的格式,所以直接导出会有问题。 解决方案 把带有分组信息的group by结果的索引重建即可。 c_df = pd.D

更改列中的列宽或行高Excel-爱代码爱编程

了解Power Query 更改列中的列宽或行高Excel Microsoft 365 专属 Excel Excel 2021 Excel 2019 Excel 2016 Excel 2013 Excel 2010 可以手动调整列宽或行高,或者自动调整列和行的大小以适应数据。 注意: 边界是指单元格、列和行之间的线。 如果列太窄而无法显示数据,单元格中将

遇到问题--spark-scala---Cannot resolve overloaded method ‘udf‘--Defines a Scala closure of 11 arguments-爱代码爱编程

情况 我们在使用spark进行运算时,经常需要使用udf进行自定义函数。 当我们自定义的函数参数个数小于等于10个时,udf能够正常编译运行。 例如 val makeParams: (String, String, String, String, String, String, String, String, String, String)

遇到问题--python---RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility.-爱代码爱编程

情况 之前运行良好的python项目,突然开始报错RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility. Expected 144 from C header, got 152 from PyObject 完整报错如下: /Library

遇到的问题--presto---提取json中的数组值为null-爱代码爱编程

情况 我们有数据结构如下: skuIdsParams:{"skuIds":["123","456"]} 在presto中适用语句查询如下: presto> select skuIdsParams, json_extract_scalar(skuIdsParams,'$.skuIds') from v_event_2 where "$part

遇到的问题--docker---gitlab---k8s---error pulling image configuration: Get https://production.cloudflare.-爱代码爱编程

情况 目前使用helm在k8s中安装了gitlab,gitlab runner在跑ci/cd时获取镜像失败。 报错如下: error pulling image configuration: Get https://production.cloudflare.docker.com 完整报错如下 : error pulling image con

遇到的问题---spark---spark OutOfMemoryError: Java heap space-爱代码爱编程

情况 使用命令运行spark任务 $SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.m

遇到的问题---python---pandas新建空的dataframe报错dataframe type object ‘object‘ has no attribute ‘dtype‘-爱代码爱编程

情况 处理一些数据,需要新建一个dataframe,后续再新增数据进去,使用代码如下: df=pd.DataFrame(columns=['code', 'name']) for row in results: i= i+1 print(i) print("总数%s, 当前%s 编码%s"

遇到的问题---python---urllib获取到response为空-爱代码爱编程

情况 雪球非鉴权api使用浏览器 可以直接访问到。 使用python3.7模拟浏览器访问,代码如下: import urllib import urllib.request

遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s-爱代码爱编程

情况 之前在k8s中部署了工作流引擎airflow正常稳定运行。 突然有一天没修改任何东西的情况下 重新ci/cd后 pod出现异常。 具体报错如下: /usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying