Công cụ hữu ích để làm việc với dữ liệu

7.1 Danh sách công cụ hữu ích

Làm việc với dữ liệu trong Docker bao gồm nhiều nhiệm vụ, chẳng hạn như quản lý volumes, sao lưu, phục hồi, giám sát và phân tích. Để đơn giản hóa các nhiệm vụ này, có nhiều công cụ hỗ trợ tự động hóa và cải thiện công việc với dữ liệu trong các containers Docker. Trong bài giảng này, tụi mình sẽ cùng xem qua một số công cụ hữu ích để làm việc với dữ liệu trong Docker, chức năng của chúng và ví dụ sử dụng.

Công cụ hữu ích để làm việc với dữ liệu trong Docker:

1. Docker Volume Backup/Restore
2. Rclone
3. Restic
4. Minio
5. Portainer
6. Docker Compose
7. Logrotate

7.2 Sao lưu/Khôi phục Docker Volume

Tiện ích này giúp dễ dàng tạo bản sao lưu và khôi phục các volume trong Docker. Nó được viết bằng Go và nhằm mục đích đơn giản hóa quy trình sao lưu và khôi phục dữ liệu.

Cài đặt:

Tải xuống và cài đặt tiện ích từ repository chính thức trên GitHub:

Terminal
wget https://github.com/offen/docker-volume-backup/releases/download/v0.3.0/docker-volume-backup_0.3.0_linux_amd64.tar.gz
tar -xvzf docker-volume-backup_0.3.0_linux_amd64.tar.gz
sudo mv docker-volume-backup /usr/local/bin/

Tạo bản sao lưu:

docker-volume-backup backup my_volume my_backup.tar.gz

Khôi phục từ bản sao lưu:

docker-volume-backup restore my_backup.tar.gz my_volume

7.3 Rclone

Rclone — công cụ mạnh mẽ để quản lý file trong cloud storage. Nó hỗ trợ rất nhiều dịch vụ cloud và có thể được sử dụng để đồng bộ dữ liệu, sao lưu và khôi phục.

Cài đặt:

Làm theo hướng dẫn trên trang chính thức để cài đặt Rclone vào hệ thống của bạn:

curl https://rclone.org/install.sh | sudo bash

Cấu hình:

Thiết lập kết nối với cloud storage của bạn:

rclone config

Đồng bộ dữ liệu:

rclone sync /path/to/local/dir remote:bucket

7.4 Restic

Restic là một tiện ích nhanh, an toàn và hiệu quả để sao lưu dữ liệu. Nó hỗ trợ deduplication và mã hóa dữ liệu.

Cài đặt:

Tải xuống và cài đặt Restic:

wget https://github.com/restic/restic/releases/download/v0.12.0/restic_0.12.0_linux_amd64.bz2
bzip2 -d restic_0.12.0_linux_amd64.bz2
chmod +x restic_0.12.0_linux_amd64
sudo mv restic_0.12.0_linux_amd64 /usr/local/bin/restic

Khởi tạo repository:

restic init --repo /path/to/repo

Tạo bản sao lưu:

restic -r /path/to/repo backup /path/to/data

Khôi phục dữ liệu:

restic -r /path/to/repo restore latest --target /path/to/restore

7.5 Minio

Minio là một storage đối tượng hiệu suất cao, tương thích với S3. Nó có thể được sử dụng để tạo storage dữ liệu cục bộ hoặc trên cloud.

Cài đặt:

Hãy làm theo hướng dẫn trên trang web chính thức để cài đặt Minio:

wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
sudo mv minio /usr/local/bin/

Chạy Minio:

minio server /data

Cấu hình client Minio:

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/
mc alias set myminio http://localhost:9000 minioadmin minioadmin

Tải dữ liệu:

mc cp /path/to/data myminio/mybucket

7.6 Portainer

Portainer là một giao diện web để quản lý Docker và Docker Swarm. Nó cung cấp các công cụ tiện lợi để quản lý containers, volumes và networks.

Cài đặt:

Chạy container Portainer:

docker volume create portainer_data
docker run -d -p 9000:9000 --name=portainer --restart=always -v 
/var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce

Truy cập giao diện:

Mở trình duyệt web và truy cập địa chỉ http://localhost:9000 để truy cập giao diện Portainer.

7.7 Logrotate

Logrotate — một tiện ích để quản lý các file log. Nó có thể được sử dụng để tự động xoay vòng, nén và xóa các log cũ.

Cài đặt:

Cài đặt Logrotate trên hệ thống của bạn:

sudo apt-get install logrotate

Cấu hình Logrotate:

Tạo một file cấu hình cho các log của bạn:

cat <<EOF | sudo tee /etc/logrotate.d/myapp
/var/log/myapp/*.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
    copytruncate
}
EOF

Kiểm tra cấu hình:

Kiểm tra cấu hình Logrotate:

sudo logrotate -d /etc/logrotate.d/myapp