用Go语言实现的日志收集

基于etcd+kafka+sarama实现

etcd

go run main.go

启动kafka

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &

kafka-server-start /usr/local/etc/kafka/server.properties &

logagent目录下的文件说明

- common:公共的日志结构

- conf:kafka和etcd的相关配置

- kafka:将日志发送到kafka中

- tailfile:从kafka中读取日志

go build main.go
./main

开启一个kafka消费者

sh kafka-console-consumer --bootstrap-server localhost:9092 --topic web_log --from-beginning