大数据搜索与挖掘及可视化管理方案 :Elastic Stack 5:Elasticsearch、Logstash、Kibana、X-Pack、Beats (第3版)
上QQ阅读APP看书,第一时间看更新

1.2 Logstash

Logstash是一款灵活的、开源的数据转换和传递的管道,可处理多种信息来源的日志、事件、非结构化数据等,并可将处理后的数据输出到Elasticsearch等多种数据存储的目的地中。Logstash本身不产生日志,它仅是一个可接收多种多样的日志输入,并经处理后转发到多个不同目的地的管道。Logstash5.0提供新的API插件,兼容性更好,适应面更宽。例如,基于Logstash、Kafka(一个分布式的高可靠消息队列+数据中转存储程序,可配置时间或大小来控制删除策略)、Elasticsearch、Kibana(可视化工具)的分布式信息处理架构,能有效管理分布式信息。Logstash能够通过对更大体量和更多样的数据的利用来提升日志挖掘与分析能力。有关Logstash的使用方法,详见本书后续章节。