跳至主要內容
第26关 Log-pilot收集日志

K8s日志收集揭秘：利用Log-pilot收集POD内业务日志文件

OK，到目前为止，我们的服务顺利容器化并上了K8s，同时也能通过外部网络进行请求访问，相关的服务数据也能进行持久化存储了，那么接下来很关键的事情，就是怎么去收集服务产生的日志进行数据分析及问题排查，下面会以生产中的经验来详细讲解这些内容。

K8S日志收集体系

现在市面上大多数课程都是以EFK来作来K8s项目的日志解决方案，它包括三个组件：Elasticsearch, Fluentd（filebeat）, Kibana；Elasticsearch 是日志存储和日志搜索引擎，Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 Elasticsearch 的数据。

𝒊𝒄𝒖𝒓𝒗𝒆𝒔𝒕𝒂𝒓大约 20 分钟KubernetesKuberneteskafkalog-pilotfilebeat
第26关 Log-pilot收集日志

K8s日志收集揭秘：利用Log-pilot收集POD内业务日志文件

OK，到目前为止，我们的服务顺利容器化并上了K8s，同时也能通过外部网络进行请求访问，相关的服务数据也能进行持久化存储了，那么接下来很关键的事情，就是怎么去收集服务产生的日志进行数据分析及问题排查，下面会以生产中的经验来详细讲解这些内容。

K8S日志收集体系

现在市面上大多数课程都是以EFK来作来K8s项目的日志解决方案，它包括三个组件：Elasticsearch, Fluentd（filebeat）, Kibana；Elasticsearch 是日志存储和日志搜索引擎，Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 Elasticsearch 的数据。

𝒊𝒄𝒖𝒓𝒗𝒆𝒔𝒕𝒂𝒓大约 16 分钟KubernetesKuberneteskafkalog-pilotfilebeat
log-pilot5配置kafka

问题

提示配置文件没有kafka_username，

解决：把DaemonSet的配置字段删除（DaemonSet定义了但是配置已经被注释了找不到）

  - name: "KAFKA_USERNAME"
    valueFrom:
      configMapKeyRef:
        name: log-pilot5-configuration
        key: kafka_username
  - name: "KAFKA_PASSWORD"
    valueFrom:
      configMapKeyRef:
        name: log-pilot5-configuration
        key: kafka_password
𝒊𝒄𝒖𝒓𝒗𝒆𝒔𝒕𝒂𝒓原创大约 4 分钟KubernetesKuberneteslog-pilotkafka