Coinbase cho biết một sự cố làm mát tại trung tâm dữ liệu AWS đã gây gián đoạn nhiều giờ, khiến giao dịch, truy cập sàn và cập nhật số dư trên nền tảng bị ảnh hưởng.
Sự cố này bắt đầu từ khoảng 23:50 UTC ngày 7/5, khi hệ thống nội bộ ghi nhận hàng loạt lỗi báo giá. Coinbase sau đó phải chuyển qua các chế độ khẩn cấp trước khi khôi phục dần hoạt động của các thị trường.
- Sự cố được Coinbase liên hệ với lỗi làm mát trong một khu vực AWS us-east-1.
- Giao dịch, truy cập sàn và cập nhật số dư đều bị ảnh hưởng trong nhiều giờ.
- Coinbase cho biết không có dữ liệu bị mất và sẽ công bố giải thích chi tiết hơn sau.
Sự cố bắt đầu từ lỗi báo giá trong hệ thống nội bộ
Coinbase cho biết dấu hiệu đầu tiên xuất hiện vào khoảng 23:50 UTC ngày 7/5, khi hệ thống phát hiện tình trạng lỗi báo giá lan rộng. Từ đó, nhiều sự cố mức Sev1 được kích hoạt và khách hàng bắt đầu gặp gián đoạn trên nhiều dịch vụ.
Các mảng bị ảnh hưởng gồm spot trading, Coinbase Prime, International, derivatives, Retail, Advanced và Institutional. Công ty sau đó xác nhận nguyên nhân liên quan đến một sự cố quá nhiệt trong trung tâm dữ liệu AWS do nhiều bộ làm mát gặp trục trặc.
Phần nào của hạ tầng Coinbase bị tác động nặng nhất
Coinbase cho biết phần giao dịch chịu tác động lớn nhất là matching engine, hệ thống xử lý lệnh và duy trì order book. Do yêu cầu độ trễ thấp, hạ tầng của sàn này được thiết kế khác với phần lớn dịch vụ còn lại.
Trong sự cố lần này, không phải tất cả các node đều ở trạng thái khỏe mạnh, nên hệ thống không đạt quorum để chọn leader và xử lý giao dịch an toàn. Điều đó khiến Retail, Advanced và Institutional exchanges không thể giao dịch bình thường trong giai đoạn gián đoạn.
Rob Witoff, người phụ trách Platform tại Coinbase, cho biết thêm rằng một cụm Kafka phân tán cũng gặp sự cố, làm chậm việc đồng bộ và phục hồi dữ liệu giữa các hệ thống. Công ty nói việc khôi phục phần này phải thực hiện trên phần cứng mới với khối lượng dữ liệu lớn.
Coinbase đã khôi phục thị trường theo từng bước
Để đưa hệ thống trở lại an toàn, Coinbase trước hết thực hiện quy trình khắc phục sự cố và đánh giá trạng thái hạ tầng. Sau đó, sàn chuyển các sản phẩm sang chế độ cancel-only, kiểm tra trạng thái từng sản phẩm rồi mới mở dần sang auction mode.
Chỉ sau khi các bước kiểm tra hoàn tất, Coinbase mới bật lại giao dịch trên Coinbase Exchange. Công ty cũng cho biết các vấn đề liên quan đến luồng số dư đã biến mất sau khi quá trình sao chép dữ liệu được đồng bộ trở lại.
Coinbase khẳng định không có dữ liệu bị mất trong sự cố này. Hiện công ty cho biết sẽ đưa ra giải thích chi tiết hơn trong vài tuần tới.
Ý nghĩa đối với người dùng và thị trường
Sự cố cho thấy các nền tảng giao dịch tập trung vẫn có thể bị gián đoạn khi hạ tầng đám mây gặp lỗi ở tầng vật lý. Với người dùng, rủi ro lớn nhất trong những tình huống như vậy là không truy cập được tài khoản hoặc không thực hiện được lệnh đúng thời điểm.
Với thị trường, điểm cần theo dõi là cách Coinbase mô tả nguyên nhân, mức độ ảnh hưởng thật sự và khả năng hệ thống của họ chịu tải khi một phần hạ tầng bị lỗi. Đây cũng là một trong những sự cố đáng chú ý vì liên quan trực tiếp đến vận hành của một sàn giao dịch lớn.
Tổng kết
Coinbase đã khôi phục hoạt động sau sự cố liên quan đến hệ thống làm mát của AWS, nhưng vụ việc cho thấy mức độ phụ thuộc của các sàn lớn vào hạ tầng đám mây và quy trình phục hồi khi giao dịch bị gián đoạn.
