Quy trình 30 phút đầu khi website production gặp sự cố
Runbook 30 phút đầu giúp xác nhận ảnh hưởng, giữ bằng chứng, khoanh vùng lỗi từ ngoài vào trong và chọn biện pháp giảm tác động có đường lui.
Đọc bài viếtĐiều tra và khôi phục
Cách nhận biết dấu hiệu, bảo toàn hiện trạng và xử lý các sự cố máy chủ thường gặp theo thứ tự an toàn.
Runbook 30 phút đầu giúp xác nhận ảnh hưởng, giữ bằng chứng, khoanh vùng lỗi từ ngoài vào trong và chọn biện pháp giảm tác động có đường lui.
Đọc bài viếtCách khoanh vùng lỗi 502 qua Nginx error log, socket hoặc port, trạng thái backend, container và tài nguyên VPS trước khi restart dịch vụ.
Đọc bài viếtCách xác định tầng phát lỗi 504, đọc upstream timing và kiểm tra worker, database lock, API bên ngoài trước khi quyết định tăng timeout.
Đọc bài viếtHướng dẫn đọc user, system, iowait, steal và load average, tìm process hoặc thread gây tải rồi hạ tải an toàn mà không vội reboot VPS.
Đọc bài viếtCách tìm bằng chứng OOM trong kernel log, phân biệt global OOM với container OOM, xác định workload tăng memory và phòng sự cố lặp lại.
Đọc bài viếtCách tìm điểm nghẽn khi website chậm nhưng CPU thấp, từ request queue, database lock và disk I/O đến memory pressure hoặc API bên ngoài.
Đọc bài viếtThứ tự kiểm tra an toàn khi MySQL hoặc MariaDB không khởi động: error log, cấu hình, disk, quyền, port, OOM và tình trạng InnoDB.
Đọc bài viếtCách kiểm tra certificate public, hostname, thời hạn, intermediate và kết nối CDN–origin để khoanh vùng lỗi SSL/TLS trước khi cấp lại chứng chỉ.
Đọc bài viếtKiểm tra lần lượt nameserver, authoritative record, A, AAAA, CNAME, TTL, recursive resolver và CDN khi website vẫn về IP hoặc máy chủ cũ.
Đọc bài viếtCách quyết định khi nào nên reboot VPS, dữ liệu cần giữ trước khi khởi động lại và các bước xác nhận website, service, backup sau khi máy lên.
Đọc bài viếtMẫu postmortem ngắn ghi rõ tác động, timeline, trigger, yếu tố góp phần và action item để đội vận hành tránh lặp lại cùng một lỗi website.
Đọc bài viếtCách nhận biết VPS sắp hết dung lượng hoặc inode, những nguyên nhân thường gặp và quy trình xử lý an toàn trước khi xóa dữ liệu trên production.
Đọc bài viết