Checklist nghiệm thu pipeline CI/CD trước khi bàn giao

3 nguyên tắc cốt lõi khi nghiệm thu pipeline CI/CD

Trước khi rà soát từng dòng cấu hình, toàn bộ quy trình phát hành cần đáp ứng 3 nguyên tắc cốt lõi:

1. Không có quyền truy cập ngầm định (Zero-Implicit Access): Không nhánh git nào được phép đẩy thẳng mã nguồn lên Production mà không vượt qua các bài kiểm thử tự động và chốt chặn phê duyệt của người phụ trách kỹ thuật.
2. Không để sót thông tin nhạy cảm trong log (Zero-Leakage Logs): Mọi biến môi trường bí mật, chuỗi kết nối cơ sở dữ liệu và token API phải được che giấu (***) trong toàn bộ màn hình console của runner.
3. Luôn có đường cứu hộ độc lập (Out-of-Band Break-Glass SOP): Khi dịch vụ CI/CD bên thứ ba hoặc máy chủ runner gặp sự cố gián đoạn, đội ngũ vận hành vẫn có quy trình phát hành bản vá khẩn cấp an toàn qua mạng riêng nội bộ.

Kiểm soát bảo mật mã nguồn và phân quyền runner

Giai đoạn đầu tiên tập trung bảo vệ kho lưu trữ mã nguồn (Repository) và máy chủ Runner trước các nguy cơ leo thang đặc quyền và rò rỉ credential.

Quản lý tài nguyên, thời gian timeout và xung đột pipeline

Kiểm soát thời gian thực thi và tài nguyên phần cứng giúp ngăn chặn tình trạng một tiến trình lỗi làm nghẽn toàn bộ chu trình phát hành của doanh nghiệp.

Tối ưu tốc độ đóng gói và thời gian lưu cache

Một pipeline CI/CD đạt chuẩn cần cân bằng giữa mức độ kiểm soát an toàn và tốc độ phản hồi để không làm gián đoạn nhịp làm việc của đội ngũ phát triển.

Thiết lập chốt chặn kiểm thử và diễn tập rollback

Pipeline không chỉ đưa code lên máy chủ, mà còn là bộ lọc chất lượng tự động ngăn ngừa mã nguồn lỗi tiếp cận người dùng.

Cảnh báo sự cố và cơ chế xử lý khẩn cấp

Khi dịch vụ trung gian gặp sự cố, đội ngũ kỹ thuật phải có kênh thông tin giám sát và kịch bản can thiệp độc lập ngoài luồng.

Kịch bản cứu hộ khẩn cấp ngoài luồng (Break-Glass SOP)

Trong tình huống khẩn cấp khi dịch vụ GitHub Actions hoặc máy chủ Runner bị mất kết nối, kỹ sư trực hệ thống cần thực hiện phát hành bản vá theo quy trình 4 bước có kiểm soát:

Bước 1: Truy cập máy chủ qua SSH Bastion Jump Host

Sử dụng khóa xác thực đã được cấu hình từ trước để truy cập vào vùng mạng nội bộ qua cổng chỉ định:

ssh -p 2222 -J bastion@jump.example.com deploy@10.0.0.10

Bước 2: Kéo mã nguồn và đóng gói Image tại máy chủ Build cục bộ

Đăng nhập vào máy chủ xây dựng nội bộ, kiểm tra chữ ký commit và đóng gói image:

git verify-commit HEAD
docker build -t 10.0.0.5:5000/app:hotfix-$(date +%Y%m%d%H%M) .
docker push 10.0.0.5:5000/app:hotfix-$(date +%Y%m%d%H%M)

Bước 3: Triển khai tuần tự lên các Web Node

Cập nhật biến môi trường IMAGE_TAG và khởi chạy container mới mà không gián đoạn dịch vụ:

# Cập nhật Web Node 01
ssh deploy@10.0.0.11 "IMAGE_TAG=hotfix-20261027 docker compose up -d web"

# Kiểm tra sức khỏe tiến trình trước khi chuyển sang Node tiếp theo
curl -f http://10.0.0.11:8080/health || exit 1

# Cập nhật Web Node 02
ssh deploy@10.0.0.12 "IMAGE_TAG=hotfix-20261027 docker compose up -d web"

Bước 4: Ghi nhận biên bản sự cố và hoàn trả trạng thái kiểm soát

Ngay sau khi bản vá hoạt động ổn định, kỹ sư chịu trách nhiệm phải ghi lại nhật ký lý do kích hoạt chế độ ngoài luồng và cập nhật lại commit vào nhánh git chính thức ngay khi hệ thống CI/CD khôi phục.

Mẫu biên bản nghiệm thu kỹ thuật (Acceptance Sign-off)

Trước khi chính thức bàn giao quyền phát hành, biên bản nghiệm thu cần được ký nhận bởi Tech Lead đại diện đội ngũ phát triển và Kỹ sư SRE đại diện đội ngũ vận hành:

# BIÊN BẢN NGHIỆM THU HỆ THỐNG CI/CD PIPELINE
- Dự án: Core Application Backend
- Môi trường áp dụng: Staging & Production (Cụm Multi-Server)
- Ngày thẩm định: 27/10/2026

KẾT QUẢ ĐÁNH GIÁ 5 TRỤ CỘT:
[x] Trụ cột 1: Bảo mật kho mã nguồn, khóa nhánh main, mask secret 100%.
[x] Trụ cột 2: Cấu hình Job Timeout 15m, concurrency lock chống deploy đè.
[x] Trụ cột 3: Docker Buildx layer cache hoạt động, cron prune đĩa định kỳ.
[x] Trụ cột 4: Chốt chặn kiểm thử tự động, migration non-blocking, diễn tập Canary pass.
[x] Trụ cột 5: Cảnh báo Telegram hoạt động, tài liệu Break-Glass SOP sẵn sàng.

KẾT LUẬN: Đủ điều kiện đưa vào vận hành chính thức (Production Ready).
- Đại diện Đội ngũ Vận hành (SRE/DevOps): [Đã ký xác nhận]
- Đại diện Đội ngũ Phát triển (Tech Lead): [Đã ký xác nhận]

Mở rộng năng lực hạ tầng sang phòng vệ thảm họa

Việc hoàn tất nghiệm thu pipeline CI/CD đánh dấu bước hoàn thiện toàn bộ Cụm 3: CI/CD & Chu trình phát hành phần mềm trên hạ tầng doanh nghiệp. Để bảo vệ dữ liệu và duy trì hoạt động kinh doanh liên tục trước các sự cố hạ tầng diện rộng, bạn có thể tiếp tục với các bài viết thuộc chuyên đề Tính liên tục kinh doanh & Phục hồi sau thảm họa (Disaster Recovery):

• Máy chủ dự phòng: Thiết lập mô hình Thiết lập máy chủ dự phòng trên hai nhà cung cấp khác nhau để xây dựng cơ chế chuyển vùng Warm-Standby khi toàn bộ trung tâm dữ liệu chính gặp sự cố.
• Sao lưu bất biến: Bảo vệ dữ liệu trước mã độc tống tiền qua bài Sao lưu chống Ransomware với Restic và S3 Object Lock.
• Kiểm tra định kỳ: Rà soát tính sẵn sàng của hạ tầng cứu hộ theo Checklist kiểm tra định kỳ hệ thống phục hồi sau thảm họa.
• Bảo mật truy cập: Rà soát lại Quản trị quyền truy cập hạ tầng doanh nghiệp để kiểm soát các tài khoản có quyền can thiệp vào máy chủ Runner và Jump Host.