最近在做一个项目,需要收集日志/埋点数据,需求是轻量化收集
正常我们的项目的埋点或者日志都是想方设法发送到生产端的kafka节点,但是kafka是java服务过于吃性能了
kafka
java
由研发让服务写到本地文件
运维使用filebeat发送到redis,然后在用vector消费入库
filebeat
redis
vector
也就是在生产端只要运行filebeat和redis即可
我把实现放在了这里