CodeGym /课程 /Docker SELF /配置监控和日志记录

配置监控和日志记录

Docker SELF

第 24 级 , 课程 1

可用

7.1 使用 Prometheus 配置监控

在这一步中，我们将学习如何为我们的多容器应用配置监控和日志记录。这将帮助我们跟踪服务的状态和性能，还可以收集和分析日志以诊断问题。

目标: 收集服务的指标并可视化它们，用于监控应用的性能和状态。

安装和配置 Prometheus

在本示例中，Prometheus 使用 Docker 启动。这既跨平台，又能让监控在任何支持 Docker 的操作系统上同样高效地部署。

1. 创建 Prometheus 配置目录:

Terminal


mkdir prometheus
cd prometheus

2. 创建配置文件 prometheus.yml:

Yaml


global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'flask-app'
    static_configs:
      - targets: ['backend:5000']
  - job_name: 'node-app'
    static_configs:
      - targets: ['frontend:3000']

3. 为 Prometheus 创建 Dockerfile:

dockerfile


FROM prom/prometheus
COPY prometheus.yml /etc/prometheus/prometheus.yml

4. 在 compose.yaml 中添加 Prometheus:

Yaml


version: '3'

services:
  frontend:
    build: ./frontend
    ports:
      - "3000:3000"
    networks:
      - task-network

  backend:
    build: ./backend
    ports:
      - "5000:5000"
    depends_on:
      - database
    networks:
      - task-network
    environment:
      - DATABASE_URL=postgresql://taskuser:taskpassword@database:5432/taskdb

  database:
    image: postgres:13
    environment:
      - POSTGRES_DB=taskdb
      - POSTGRES_USER=taskuser
      - POSTGRES_PASSWORD=taskpassword
    networks:
      - task-network
    volumes:
      - db-data:/var/lib/postgresql/data

  nginx:
    build: ./nginx
    ports:
      - "80:80"
    depends_on:
      - frontend
      - backend
    networks:
      - task-network

  prometheus:
    build: ./prometheus
    ports:
      - "9090:9090"
    networks:
      - task-network

networks:
  task-network:
    driver: bridge

volumes:
  db-data:

7.2 安装和配置 Grafana

1. 创建一个用于 Grafana 配置的目录：

Terminal


mkdir grafana
cd grafana

2. 为 Grafana 创建 Dockerfile：

dockerfile


FROM grafana/grafana

3. 在 docker-compose.yml 中添加 Grafana：

Yaml


  grafana:
    image: grafana/grafana
    ports:
      - "3033:3000"
    depends_on:
      - prometheus
    networks:
      - task-network

4. 将 Grafana 配置为与 Prometheus 一起工作：

通过 docker compose up 启动容器。
打开浏览器访问 Grafana 界面：http://localhost:3033 。
使用默认的登录凭据 (admin/admin)。
进入 "Configuration" -> "Data Sources"，然后添加一个新的数据源。
选择 "Prometheus"，并设置 URL http://prometheus:9090。
保存设置。

在 Grafana 中创建仪表盘

创建一个新的仪表盘：
- 转到 "Create" -> "Dashboard"。
- 点击 "Add new panel"。
- 在 "Query" 区域选择数据源 Prometheus 。
- 输入 PromQL 查询以获取指标。例如，监控 CPU 使用情况：

Promql


rate(container_cpu_usage_seconds_total[1m])

配置面板 (Panel)：
- 选择图表类型 (例如“Graph”)。
- 调整面板设置（例如，名称、图例、轴等）。
- 点击 "Apply" 保存面板。
创建其他面板：
- 重复创建其他面板的步骤，例如内存、网络和磁盘的指标。

7.3 设置 ELK Stack

使用 ELK Stack (Elasticsearch, Logstash, Kibana) 设置日志记录。

目标: 收集、存储和分析来自我们的服务的日志。

安装和配置 Elasticsearch

在 compose.yaml 中添加 Elasticsearch:

Yaml


  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.0
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"
    networks:
      - task-network

安装和配置 Logstash

步骤 1. 创建 Logstash 的配置目录:

Terminal


mkdir logstash
cd logstash

步骤 2. 创建 logstash.conf 配置文件:

Text


input {
  beats {
    port => 5044
  }
}
filter {
  json {
    source => "message"
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "docker-logs-%{+YYYY.MM.dd}"
  }
}

步骤 3. 为 Logstash 创建 Dockerfile:

dockerfile


FROM docker.elastic.co/logstash/logstash:8.15.0
COPY logstash.conf /usr/share/logstash/pipeline/logstash.conf

步骤 4. 在 compose.yaml 中添加 Logstash:

Yaml


  logstash:
    build: ./logstash
    ports:
      - "5044:5044"
    depends_on:
      - elasticsearch
    networks:
      - task-network

安装和配置 Kibana

在 compose.yaml 中添加 Kibana:

Yaml


  kibana:
    image: docker.elastic.co/kibana/kibana:8.15.0
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    networks:
      - task-network

安装 Filebeat 用于日志收集

步骤 1. 创建 Filebeat 的配置目录:

Terminal


mkdir filebeat
cd filebeat

步骤 2. 创建 filebeat.yml 配置文件:

Yaml


filebeat.inputs:
- type: docker
  containers.ids:
    - '*'
processors:
  - add_docker_metadata: ~
output.logstash:
  hosts: ["logstash:5044"]

步骤 3. 为 Filebeat 创建 Dockerfile:

dockerfile


FROM docker.elastic.co/beats/filebeat:8.15.0
COPY filebeat.yml /usr/share/filebeat/filebeat.yml

步骤 4. 在 compose.yaml 中添加 Filebeat:

Yaml


filebeat:
    build: ./filebeat
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock:ro"
    depends_on:
      - logstash
    networks:
      - task-network

7.4 完整文件

完整文件 compose.yaml

Yaml


version: '3'

services:
  frontend:
    build: ./frontend
    ports:
      - "3000:3000"
    networks:
      - task-network
        
  backend:
    build: ./backend
    ports:
      - "5000:5000"
    depends_on:
      - database
    networks:
      - task-network
    environment:
      - DATABASE_URL=postgresql://taskuser:taskpassword@database:5432/taskdb
        
  database:
    image: postgres:13
    environment:
      - POSTGRES_DB=taskdb
      - POSTGRES_USER=taskuser
      - POSTGRES_PASSWORD=taskpassword
    networks:
      - task-network
    volumes:
      - db-data:/var/lib/postgresql/data
        
  nginx:
    build: ./nginx
    ports:
      - "80:80"
    depends_on:
      - frontend
      - backend
    networks:
      - task-network
        
  prometheus:
    build: ./prometheus
    ports:
      - "9090:9090"
    networks:
      - task-network
        
  grafana:
    image: grafana/grafana
    ports:
      - "3033:3000"
    depends_on:
      - prometheus
    networks:
      - task-network
        
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"
    networks:
      - task-network
        
  logstash:
    build: ./logstash
    ports:
      - "5044:5044"
    depends_on:
      - elasticsearch
    networks:
      - task-network
        
  kibana:
    image: docker.elastic.co/kibana/kibana:7.9.2
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    networks:
      - task-network
        
  filebeat:
    build: ./filebeat
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock:ro"
    depends_on:
      - logstash
    networks:
      - task-network
        
networks:
  task-network:
    driver: bridge
        
volumes:
  db-data:

上一课上一课

下一课下一课

TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION