fluentbit+influxdb+chronograf收集日志

fluentbit 是一个C实现的轻量级日志收集工具，相比 fluentd 资源占用要小，相对的插件数量上要比 fluentd 要少的多，功能上也少一些。官网的对比地址：https://docs.fluentbit.io/manual/about/fluentd_and_fluentbit 。我这里准备用 fluentbit 换掉原来的 fluentd，进一步降低资源占用。

安装 fluentbit

## 添加 GPG
wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
# 更新 sources lists
echo "deb https://packages.fluentbit.io/ubuntu/xenial xenial main" >> /etc/apt/sources.list

sudo apt-get update
sudo apt-get install td-agent-bit

这里安装的 td-agent-bit 就是 fluentbit

安装 influxdb + chronograf

为了方便，我使用 docker 部署， docker-compose.yml 如下：

influxdb:
  image: "influxdb:1.6-alpine"
  ports: ['127.0.0.1:8086:8086']
  volumes:
    - "/var/docker/influxdb:/var/lib/influxdb"
  environment:
    - TZ=Asia/Shanghai
    - GOGC=10
    - INFLUXDB_DATA_INDEX_VERSION=tsi1
  restart: "always"

chronograf:
  image: "chronograf:1.6-alpine"
  net: host
  restart: "always"

docker-compose up -d

配置 fluentbit

默认的配置在 /etc/td-agent-bit 目录下面

# td-agent-bit.conf
[SERVICE]
    Flush        1
    Daemon       Off
    Log_Level    info
    Log_File     /var/log/fluent-bit.log
    Parsers_File parsers.conf

[INPUT]
    Name cpu
    Tag  stats.cpu

[INPUT]
    Name disk
    Tag  stats.disk

[INPUT]
    Name mem
    Tag  stats.mem

[INPUT]
    Name          netif
    Tag           stats.net
    Interface     eth0

[INPUT]
    Name tail
    Tag tengine
    Path /var/log/tengine/source/*.log
    DB /var/log/tengine/source/cursor.db
    Parser nginx

[OUTPUT]
    Name  influxdb
    Match tengine
    Host 127.0.0.1
    Port 8086
    Database log
    Tag_Keys host http_version method remote

[OUTPUT]
    Name  influxdb
    Match stats.*
    Host 127.0.0.1
    Port 8086
    Database stats

# parsers.conf
[PARSER]
    Name   nginx
    Format regex
    Regex ^(?<remote>[^ ]*) \[(?<time>[^\]]*)\] "(?<host>\S*)" "(?<method>\S+) (?<path>[^\"]*?) (?<http_version>\S+)" (?<code>\S*) (?<size>[-0-9\.]+) "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" (?<upstream_time>[-0-9\.]+) (?<request_time>[-0-9\.]+)$
    Time_Key time
    Time_Format %Y-%m-%dT%H:%M:%S%z
    Types code:integer size:integer upstream_time:float request_time:float

这里的 parser 配置是根据我的 tengine 日志配置的，具体的正则可以通过 http://rubular.com/ 测试。

启动 fluent-bit

sudo systemctl start td-agent-bit

从 chronograf 查看数据

从浏览器访问 http://localhost:8888，配置连接 influxdb。

influxdb连接配置

打开 Data Explorer 查看数据

在 Dashboards 里面可以添加 Cell ，显示各种指标。

Dashboards 的功能也可以使用 grafana 实现。