代码编织梦想

定时删除ES历史日志-爱代码爱编程

定时删除ES历史日志 删除历史索引脚本#!/bin/bash #保留近 N 天 KEEP_DAYS=7 # 删除前 N的所有天到 前N+2天 function get_todelete_days() { # declare -A DAY_ARR # DAY_ARR="" for i in $(seq 1 2); do

Logstash实践-爱代码爱编程

Logstash实践 #下载地址 https://mirrors.huaweicloud.com/logstash/ #在线gork正则的地址:http://grokdebug.herokuapp.com/ #Logstash基础正则地址:https://github.com/elastic/logstash/blob/v1.4.2/patte

logstash配置详解-爱代码爱编程

logstash配置详解 #logstash pipeline 包含两个必须的元素:input和output,和一个可选元素:filter。从input读取事件源,(经过filter解析和处理之后),从output输出到目标存储库(elasticsearch或其他) ###命令 bin/logstash [OPTIONS] -n

filebeat配置详解-爱代码爱编程

filebeat配置详解 #从input读取事件源,经过相应解析和处理之后,从output输出到目标存储库(elasticsearch或其他)。 #输入可以从Log、Syslog、Stdin、Redis、UDP、Docker、TCP、NetFlow输入,然后可以输出到Elasticsearch、Logstash、Kafka、Redis、File、Cons

Centos7部署ELK-爱代码爱编程

Centos7部署ELK7.8.0 ###下载7.8.0 https://mirrors.huaweicloud.com/filebeat/7.8.0/filebeat-7.8.0-linux-x86_64.tar.gz https://mirrors.huaweicloud.com/logstash/7.8.0/logstash-7

ELK部署-爱代码爱编程

ELK介绍ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。 Elasticsearch是个开源分布式搜索

搭建ELK日志服务器-爱代码爱编程

实验名称:搭建ELK日志分析服务器 实验要求:搭建ELK日志分析系统并进行验证 实验环境: 一台centos7操作系统虚拟机,IP地址192.168.22.100,CUP核心数2,4G运行内存,作为ELK主服务器; 一台cnetos7操作系统虚拟机,IP地址192.168.22.110,CUP核心数2,4G运行内存,作为ELK从服务器; 一台centos7

Logstash 收集跨多行格式日志-爱代码爱编程

原文链接:https://www.cpweb.top/1247  收集跨多行日志,我们需要用到codec的multiline插件来实现,它可以将多行进行合并加入单个事件,例如收集Java exception就可以用到它。   官方文档:https://www.elastic.co/guide/en/logstash/current/plugins-code

Logstash 收集tomcat访问日志-爱代码爱编程

原文链接:https://www.cpweb.top/1245修改tomcat日志格式: [root@web01 ~]# vim /etc/tomcat/server.xml ...... <Valve className="org.apache.catalina.valves.AccessLogValve" directory=

Logstash 收集nginx访问日志-爱代码爱编程

原文链接:https://www.cpweb.top/1233修改nginx日志格式为json格式: [root@web01 ~]# vim /etc/nginx/nginx.conf ...... log_format main '$remote_addr - $remote_user [$time_local] "$request" '

安装GrokDebuger环境-爱代码爱编程

安装GrokDebuger环境 文:铁乐与猫 date:2019-12-16 用途 在本地测试Grok的语法,进行调试。 环境 可在windows和linux下安装,而且不需要先安装logstash也可以,但是要用到的grok-patterns可以在己安装logstash的服务器上find找到或github上直接下。 Ruby 2.6.3Ge

ELK Logstash 输入file插件-爱代码爱编程

Logstash 介绍 Logstash能够将采集日志、格式化、过滤,最后将数据推送到Elasticsearch存储。 Input:输入,输入数据可以是Stdin、File、TCP、Redis、Syslog等。 Filter:过滤,将日志格式化。有丰富的过滤插件:Grok正则捕获、Date时间处理、Json编解码、Mutate数据修

Logstash 基础-爱代码爱编程

原文链接:https://www.cpweb.top/1221一、介绍   Logstash 是一个开源的服务器端数据处理管道,能够从多个来源动态地采集数据,转换数据,然后传输数据到指定的地方,不受格式或复杂度的影响。就像一根连接的管道,数据从一端到另一端,期间我们还可以在中间加上一层过滤网对数据进行转换过滤。Logstash最重要的便是输入、过滤转换以

ELK搭建并grafana看板展示-爱代码爱编程

本文分两部分,一部分是elk搭建,另一部分,grafana的dashboard配置展示 【1】ELK搭建 一、es搭建 二、kibana搭建 因直接使用公有云的ES服务,包含了kibana,所以一、二部分直接跳过 之前使用logstash收集日志,因logstash比较耗内存,这里变更为使用filebeat收集日志 三、filebeat安装

Ubuntu18.04【ELK+Nginx】Kibana的安装-爱代码爱编程

前两篇博客ES的部署和Logstash的推送 https://blog.csdn.net/lengyer/article/details/110919426 https://blog.csdn.net/lengyer/article/details/110946394 一、Kibana的下载和安装 下载: https://artifacts.el

Ubuntu18.04 【ELK+Nginx】logstash安装、收集、解析和转换日志-爱代码爱编程

上篇的博客完成了Es的单台服务器架设 https://blog.csdn.net/lengyer/article/details/110919426 一、安装logstash 下载logstash-7.3.2的安装包,版本要和Es的一样 https://artifacts.elastic.co/downloads/logstash/logstash

ELK-1.5亿数据处理完整过程-爱代码爱编程

#filebeat配置 filebeat.yml -源文件类型、路径、encoding(编码为utf-8可以忽略) -输出地方 logstash或ES filebeat启动命令 -filebeat.exe -e -c filebeat.yml #logstash配置 logstash.conf文件 -启动conf

《轻量日志系统Loki》安装文档-爱代码爱编程

《轻量日志系统Loki》安装文档 目录 《轻量日志系统Loki》安装文档 一、概述 1.1 简介 1.2 系统架构 1.3 与ELK比较 二、安装示例 2.1 版本说明 2.2 软件下载 2.2.1 网上下载 2.2.2 提供的安装包 2.3软件安装和部署 2.3.1 安装Promtail 2.3.2 安装Loki 2.3.3

【Elasticsearch】之基本使用(二)-爱代码爱编程

全文搜索两个最重要的方面是:相关性(Relevance) 它是评价查询与其结果间的相关程度,并根据这种相关程度对结果排名的一种能力,这种计算方式可以是 TF/IDF 方法、地理位置邻近、模糊相似,或其他的某些算法。分词(Analysis) 它是将文本块转换为有区别的、规范化的 token 的一个过程,目的是为了创建倒排索引以及查询倒排索引。 构

记一次密码过期导致的定时任务执行失败问题-爱代码爱编程

记一次密码过期导致的定时任务执行失败问题 服务器上搭建有elk 突然收到告警磁盘空间不足 使用率达到85% 通过查看日志发现以下问题: 根据服务器实际情况得知elk用户 每天有定时任务 定时删除一个月以前的数据 ,根据告警得出 很有可能是定时任务没有执行删除数据的操作,于是crontab -l 查看 发现 主机上普通用户执行crontab –