怎样进行网站建设/营销模式有哪些 新型

logstash概述

LogStash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到喜欢的"存储库"

Logstash管道有两个必需的元素，输入和输出，以及一个可选元素filter。输入插件使用来自源的数据，过滤器插件根据您的指定修改数据，输出插件将数据写入目标。

logstash安装运行

安装须知：要求jdk1.8+

logstash下载页面

解压安装包，运行./bin/logstash即可

logstash配置详解

logstash的配置有三部分，如下

input { #输入stdin { ... } #标准输入}filter { #过滤，对数据进行分割、截取等处理    ...}output { #输出stdout { ... } #标准输出
}

输入

采集各种样式、大小和来源的数据，数据往往以各种各样的形式，或分散或几种地存在于很多系统中。

logstash支持各种输入选择，可以在同一时间从众多常用来源捕捉事件，能够以连续的流式传输方式，轻松地从日志、指标、web应用、数据存储等采集数据

过滤

实时解析和转换数据

数据从源传输到es的过程中，logstash过滤器能够解析各个事件，识别已命名的字段已构建结构，并将它们转换成通用格式，以便更轻松、快速地分析和实现商业价值

输出

logstash提供众多输出选择，可以将数据发送到要指定的地方。

案例

举例1：使用Logstash展示标准输入、输出

./bin/logstash -e 'input { stdin { } } output { stdout {} }'

## 输入
你好
## 输出
{"@timestamp" => 2020-09-27T08:41:12.947Z,"host" => "wojiushiwo-2.local","message" => "你好","@version" => "1"
}

举例2：使用Logstash收集日志文件并输出到控制台

input {file {path => "/Users/wojiushiwo/Software/logstash-6.5.4/logs/a.log"start_position => "beginning"}
}
filter {mutate {split => {"message"=>"|"}}
}
output {stdout { codec => rubydebug }
}

配置文件的意思是 读取a.log文件，并按照分隔符|进行分隔，最后输出到控制台

备注：a.log中内容为2020-09-25 15:40:21|INFO|读取数据|参数：id=1003

{"@version" => "1","message" => [[0] "2020-09-25 15:40:21",[1] "INFO",[2] "读取数据",[3] "参数：id=1003"],"@timestamp" => 2020-09-27T08:44:58.808Z,"path" => "/Users/wojiushiwo/Software/logstash-6.5.4/logs/a.log","host" => "wojiushiwo-2.local"
}

举例3：使用Logstash收集日志文件并输出到es

input {file {path => "/Users/wojiushiwo/Software/logstash-6.5.4/logs/a.log"start_position => "beginning"}
}
filter {mutate {split => {"message"=>"|"}}
}
output {elasticsearch { hosts => ["127.0.0.1:9200"] }
}

默认es 索引命名规则：logstash-日期

举例4：使用logstash输入 filebeat收集上的日志 并输出到控制台

filebeat_logstash.yml

filebeat.inputs:
- type: logenabled: truepaths:- /Users/wojiushiwo/Software/wojiushiwo/log/*.log
output.logstash:hosts: ["localhost:5044"]

logstash.conf

input {beats {port => "5044"}
}
output {stdout { codec => rubydebug }
}

启动filebeat、logstash即可。

举例5：使用logstash输入 filebeat收集的日志 并解析字段 输出到es

filebeat_logstash.yml

filebeat.inputs:
- type: logenabled: truepaths:- /Users/wojiushiwo/Software/wojiushiwo/log/*.log
output.logstash:hosts: ["localhost:5044"]

日志格式如 c.w.mapstruct.MapStructApplication : DAU|1737|浏览页面|2020-09-25 02:16:05

logstash.conf

input {beats {port => "5044"}
}
filter {mutate {split => {"message"=>"|"}}mutate {add_field => {"userId"=> "%{message[1]}""visit"=> "%{message[2]}""date"=> "%{message[3]}"}
}
mutate {convert => {"userId"=> "integer""visit"=> "string""date"=> "string"}
}
}
output {elasticsearch {hosts => [ "127.0.0.1:9200" ]}
}

从filebeat读入数据，根据分隔符|进行分隔，并解析每个字段即类型，输出至es