Cloudflare gặp sự cố lớn nhất từ 2019 vì một tập tin cấu hình lỗi bị phát tán trên toàn bộ hệ thống

Cách đây hai hôm, hàng loạt website trên toàn cầu gặp phải sự cố Internal Server Error và nguyên nhân xảy ra là Cloudflare đối mặt với sự cố nghiêm trọng nhất từ năm 2019. Vậy nguyên nhân của sự việc này là gì và cách Cloudflare xử lý nó như thế nào

Cloudflare là gì và vì sao nhiều doanh nghiệp sử dụng dịch vụ này?

Về cơ bản, Cloudflare là một mạng lưới phân phối nội dung (CDN - Content Delivery Network) và lớp bảo vệ trung gian đặt trước rất nhiều website trên thế giới. Đứng ở vai trò CDN, nó lưu trữ và phân phối nội các dung tĩnh của một trang web như hình ảnh, các tập tin hỗ trợ việc hiển thị hay tương tác với một website (CSS - JavaScript), v.v. từ máy chủ gần nhất với người dùng giúp tăng tốc độ tải trang, tối ưu trải nghiệm và giảm tải cho máy chủ gốc.



Cloudflare là một dịch vụ quan trọng giúp phân phối nội dung và bảo vệ danh tính cho hạ tầng của nhiều website

Bên cạnh đó, Cloudflare cũng có vai trò như một lớp áo giáp đứng giữa người dùng và server thật, giúp các website tải nhanh hơn, ổn định hơn và an toàn hơn trong môi trường Internet luôn đầy botnet và tấn công tự động. Khi một trang web chạy sau Cloudflare, IP thật của máy chủ sẽ được ẩn gần như hoàn toàn. Tất cả request của người dùng đều đi qua Cloudflare, nơi chúng được kiểm tra, lọc bot, chặn các request độc hại và phân phối từ điểm gần người dùng nhất, khiến việc tấn công trực tiếp vào máy chủ gốc gần như không khả thi.

Đó là lý do Cloudflare được nhiều doanh nghiệp xem như một hệ thống "bảo vệ danh tính" cho hạ tầng của mình: vừa để chống tấn công DDoS, vừa để tránh bị lộ thông tin máy chủ, vừa để tăng tốc độ truy cập trên toàn cầu.
Bên cạnh đó, Cloudflare còn cung cấp các tính năng như cân bằng tải, DNS hiệu suất cao, chống chiếm đoạt DNS, và mã hóa toàn bộ dữ liệu truyền tải bằng SSL/TLS giúp bảo mật thông tin tuyệt đối. Hiện nay, Cloudflare bảo vệ khoảng 20% tổng số website toàn cầu, đóng vai trò như "người gác cổng Internet" với dịch vụ CDN, DNS, API, điện toán biên, WAF, và chống DDoS đa tầng.

Nguyên nhân kích hoạt sự cố và cách lỗi kỹ thuật hình thành

Ngay khi sự cố bắt đầu xuất hiện, đội ngũ Cloudflare ban đầu nghĩ rằng họ đang đối mặt với một cuộc tấn công botnet quy mô lớn, bởi lượng truy cập tăng đột biến khiến mọi thứ trông giống như dấu hiệu của một đợt tấn công DDoS. Tuy nhiên, sau khi điều tra thì điều thực sự xảy ra lại đến từ chính nội bộ Cloudflare.


Một thay đổi nhỏ trong cơ sở dữ liệu liên quan đến hệ thống Bot Management đã khiến một file cấu hình vốn được cập nhật thường xuyên bất ngờ phình to gấp đôi so với kích thước bình thường. Vì cơ chế cập nhật file cấu hình được thiết kế hoàn toàn tự động, file cấu hình bị "phình to" này ngay lập tức được phát tán ra hàng loạt máy chủ trên toàn mạng lưới của Cloudflare. Và khi phần mềm mạng của Cloudflare trên các máy chủ cố gắng đọc file cấu hình này, phần mềm bị quá tải vì file quá lớn hoặc chứa quá nhiều dữ liệu ngoài mức cho phép, khiến nó bị crash và ngừng hoạt động.


Và một file cấu hình lỗi được lan truyền nhanh chóng trên hệ thống đã khiến Cloudflare sụp đổ

Và khi một máy chủ trong hệ thống bị crash, kết hợp với việc tập tin này được phát tán đồng bộ, các máy chủ khác cũng gặp tình trạng tương tự. Hậu quả là hàng loạt dịch vụ và thành phần phụ thuộc vào file đó đều bị ngừng hoạt động trong thời gian rất ngắn, làm toàn bộ hệ thống bị tê liệt trên phạm vi lớn chỉ sau vài phút.

Nói một cách đơn giản, thì file cấu hình này chứa thông tin giúp Cloudflare phân loại các loại bot trên Internet. Sau một thay đổi kỹ thuật, file này bị lỗi và chứa quá nhiều thông tin hơn mức bình thường. Khi Cloudflare cập nhật file này quá nhanh cho toàn bộ hệ thống, phần mềm trên các máy chủ không xử lý nổi, dẫn đến lỗi liên tục và làm cả hệ thống bị ảnh hưởng từng đợt, cứ khoảng 5 phút lại xuất hiện thêm nhiều lỗi mới cho đến khi toàn bộ dịch vụ đều bị tê liệt.

Quảng cáo

Ảnh hưởng của sự cố lên các dịch vụ và người dùng

Và khi lớp dịch vụ mạng cốt lõi của Cloudflare gặp lỗi, hàng loạt website phía sau nó cũng bắt đầu gặp vấn đề. Người dùng truy cập và gặp lỗi lỗi 5xx, trang web tải chậm hoặc không thể truy cập. Khi đó, CDN của Cloudflare không còn phân phối nội dung đúng cách, tường lửa xử lý yêu cầu chậm và thiếu chính xác, hệ thống lọc bot hoạt động không ổn định, và ngay cả các dịch vụ nội bộ quan trọng của chính Cloudflare cũng bị nghẽn.



Lỗi rất nhiều website gặp hai ngày vừa rồi, Tinh Tế cũng gặp tình trạng tương tự

Và vì Cloudflare hỗ trợ một phần rất lớn lưu lượng Internet toàn cầu, sự cố này tạo ra hiệu ứng domino, khiến nhiều khu vực hoạt động chập chờn và một số website hoàn toàn ngừng hoạt động trong nhiều giờ liền.
Trên thực tế, số lượng website bị ảnh hưởng cực kỳ lớn vì Cloudflare trực tiếp bảo vệ hơn 20% Internet và là "cửa ngõ" của hàng loạt ứng dụng lớn, nên khi Cloudflare gặp lỗi, mọi dịch vụ phụ thuộc đều rung chuyển, từ các website lớn tới các API, ứng dụng có tính bảo mật cao.

Quá trình khôi phục và cách Cloudflare xử lý sự cố

Để khôi phục hệ thống, đội kỹ thuật của Cloudflare buộc phải can thiệp thủ công theo từng bước rõ ràng và thận trọng. Trước tiên họ phải dừng ngay việc lan truyền file cấu hình lỗi, sau đó phục hồi một phiên bản file an toàn đã biết trước. Khi file lỗi không còn bị cập nhật, họ tiến hành khởi động lại các dịch vụ mạng đang gặp sự cố, đồng thời kiểm tra từng cụm data center để đảm bảo không còn server nào bị mắc kẹt trong trạng thái crash.

Quảng cáo

Vì hệ thống Cloudflare có quy mô toàn cầu với hàng trăm vị trí, việc khôi phục không thể thực hiện chỉ bằng một thao tác duy nhất mà phải được tiến hành theo từng lớp, từng vùng. Vì thế, toàn bộ quá trình kéo dài nhiều giờ, và đây là sự cố nghiêm trọng nhất mà Cloudflare từng gặp kể từ năm 2019. Bên cạnh việc thay file cấu hình và khởi động lại proxy core, Cloudflare tiến hành "restart" các dịch vụ bị crash, kiểm tra lỗi bộ nhớ và đảm bảo các báo cáo lỗi, core dumps không làm ngập hệ thống tài nguyên. Quá trình hồi phục cũng gồm xác thực lại cluster database và ghi nhận mọi trạng thái bất thường từ log để phòng ngừa tái diễn.

Bài học rút ra và những cải tiến Cloudflare sẽ áp dụng trong tương lai

Sau khi đánh giá toàn bộ diễn biến, Cloudflare nhận ra rằng sự cố lần này bắt nguồn từ chính cơ chế tự động hóa quá mạnh của họ. Một file cấu hình có thể lan rộng trên toàn hệ thống chỉ trong vài giây, và khi file đó có vấn đề, toàn mạng lưới cũng bị kéo theo. Vì vậy, Cloudflare dự định bổ sung các lớp kiểm tra và xác thực để phát hiện sớm bất kỳ thay đổi bất thường nào, đồng thời xây dựng những cơ chế "ngắt khẩn cấp" để dừng việc cập nhật file ngay khi xuất hiện tín hiệu lỗi.


Ngoài ra, họ cũng muốn mở rộng khả năng mô phỏng và thử nghiệm, nhằm đảm bảo rằng mọi thay đổi về cấu hình đều được kiểm tra trong môi trường cách ly trước khi được áp dụng rộng rãi. Bài học quan trọng nhất ở đây là Internet không chỉ có thể sụp đổ vì hacker, mà đôi khi chỉ cần một thay đổi nhỏ trong nội bộ, như ở Cloudflare đó là như một file cấu hình phình to hơn dự kiến, cũng đủ để tạo ra một sự cố mang tầm ảnh hưởng toàn cầu.


Nguồn: Cloudflare

Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI

Nhấn vào đây để bắt đầu khóa học

==***==

Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp

Nhấn vào đây để bắt đầu khóa học

==***==

Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo

Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com

Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

--- 

Khóa học Hacker và Marketing từ A-Z trên ZALO!

Nhấn vào đây để bắt đầu khóa học

Khóa học Hacker và Marketing từ A-Z trên Facebook!

Nhấn vào đây để bắt đầu khóa học

Khóa đào tạo Power BI phân tích báo cáo để bán hàng thành công

Nhấn vào đây để bắt đầu khóa học

Bảo mật và tấn công Website - Hacker mũ trắng

Nhấn vào đây để bắt đầu khóa học ​

KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn về Moodle chuyên nghiệp và hay

Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay.

Nhấn vào đây để bắt đầu khóa học

KHÓA EXCEL CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp

Nhấn vào đây để bắt đầu khóa học

Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ

Nhấn vào đây để bắt đầu khóa học

Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi

Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng TableAU - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình 

kiếm tiền Youtube bằng phần mềm Camtasia Studio

Nhấn vào đây để bắt đầu khóa học

Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP

​​​​​

HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA

Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍

 KHÓA HỌC VIDEO- XÂY DỰNG PHẦN MỀM QUẢN LÝ BẰNG MICROSOFT ACCESS

GOOGLE SPREADSHEETS phê không tưởng

Khóa hoc lập trình bằng Python tại đây

Hãy tham gia khóa học để biết mọi thứ

Để tham gia tất cả các bài học, Bạn nhấn vào đây 

Khóa học lập trình cho bé MSWLogo

Nhấn vào đây để bắt đầu học

Khóa học Ba, Mẹ và Bé - Cùng bé lập trình  TUYỆT VỜI

Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử

Khóa học vẽ tạo giao diện demo cho website

Để thành thạo Wordpress bạn hãy tham gia khóa học 

Tham gia khóa học tại đây

Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công

Nhấn vào đây để bắt đầu khóa học

==***==

Bảo hiểm nhân thọ - Bảo vệ người trụ cột

Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

Nguồn: Tinh Tế

Share !