第一部分 Logstash
Logstash is a tool for managing events and logs.You can use it to collect logs,parse them,and store them for later use(like,for searching).--http://logstash.net
Logstash项目诞生于2009年8月2日。其作者是世界著名的运维工程师乔丹·西塞(Jordan Sissel),乔丹·西塞当时是著名虚拟主机托管商DreamHost的员工,还发布过非常棒的软件打包工具fpm,并主办着一年一度的Sysadmin Advent Calendar(advent calendar文化源自基督教氛围浓厚的Perl社区,在每年圣诞来临的12月举办,从12月1日起至12月24日止,每天发布一篇小短文介绍主题相关技术)。
Logstash动手很早,对比一下,Scribed诞生于2008年,Flume诞生于2010年,Graylog2诞生于2010年,Fluentd诞生于2011年。Scribed在2011年进入半死不活的状态,大大激发了其他各种开源日志收集处理框架的蓬勃发展,Logstash也从2011年开始进入commit密集期并延续至今。
作为一个系出名门的产品,Logstash的身影多次出现在Sysadmin Weekly上,它和小伙伴们Elasticsearch、Kibana直接成为了和商业产品Splunk做比较的开源项目(乔丹·西塞曾经在博客上承认设计想法来自AWS平台上最大的第三方日志服务商Loggly,而Loggly两位创始人都曾是Splunk员工)。
2013年,Logstash被Elasticsearch公司收购,ELK stack正式成为官方用语。Elasticsearch本身也是近两年最受关注的大数据项目之一,三次融资已经超过一亿美元。在Elasticsearch开发人员的共同努力下,Logstash的发布机制、插件架构也愈发科学和合理。
社区文化
日志收集处理框架很多,如Scribe是Facebook出品,Flume是Apache基金会项目,都算声名赫赫。但Logstash因乔丹·西塞的个人性格,形成了一套独特的社区文化。每一个在Google Groups的Logstash-users组里问答的人都会看到这么一句话:
Remember:if a new user has a bad time,it’s a bug in Logstash.
所以,Logstash是一个开放的、极其互助和友好的大家庭。如有问题,仅管在Github Issue、Google Groups、Freenode#logstash Channel上发问就好!