Solutions

Quan sát dữ liệu lớn với DataStream và TrafficPeak

Tổng quan

Quy trình làm việc có thể quan sát rất quan trọng để có được cái nhìn sâu sắc có ý nghĩa về tình trạng ứng dụng, lưu lượng truy cập của khách hàng và hiệu suất tổng thể. Tuy nhiên, có những thách thức đi kèm với việc đạt được khả năng quan sát thực sự, bao gồm khối lượng lớn dữ liệu lưu lượng truy cập, lưu giữ dữ liệu, thời gian triển khai và chi phí của từng dữ liệu.

TrafficPeak là giải pháp quan sát sẵn sàng sử dụng, triển khai nhanh chóng được xây dựng cho Akamai Cloud. TrafficPeak hoạt động với DataStream để thu thập, lập chỉ mục, nén, lưu trữ và tìm kiếm dữ liệu nhật ký khối lượng lớn, thời gian thực với chi phí thấp hơn tới 75% so với các nền tảng quan sát khác. Khách hàng của TrafficPeak được cung cấp thông tin đăng nhập Grafana và bảng điều khiển tùy chỉnh, nơi họ có thể trực quan hóa, tìm kiếm và thiết lập cảnh báo cho dữ liệu của mình.

Hướng dẫn này xem xét giải pháp quan sát TrafficPeak và đánh giá kiến ​​trúc quan sát đã được thử nghiệm và chứng minh được xây dựng cho nền tảng phân phối lưu lượng truy cập cao. Giải pháp này kết hợp dịch vụ phát trực tuyến nhật ký DataStream dựa trên cạnh của Akamai, tích hợp SIEM và TrafficPeak được xây dựng trên cơ sở hạ tầng đám mây Linode để hỗ trợ lưu lượng truy cập, ghi nhật ký và lưu giữ dữ liệu quy mô lớn.

TrafficPeak trên Akamai Cloud

TrafficPeak là gì?

TrafficPeak là giải pháp quan sát được quản lý hoàn toàn, hoạt động với luồng nhật ký DataStream và Akamai Cloud Computing. TrafficPeak được Akamai quản lý và lưu trữ, đồng thời sử dụng Linode Compute Instances cùng với Linode Object Storage để xử lý và lưu trữ dữ liệu. Với TrafficPeak, khách hàng được cung cấp quyền truy cập vào giao diện Grafana với bảng điều khiển được cấu hình sẵn, có thể tùy chỉnh để trực quan hóa và giám sát dữ liệu.

TrafficPeak dành cho ai?

TrafficPeak dành cho khách hàng của Akamai cần giải pháp quan sát trọn gói, tiết kiệm chi phí cho khối lượng dữ liệu lớn, quy mô petabyte.

Vượt qua thử thách

Giảm chi phí và khả năng hiển thị

Giảm chi phí quan sát tới 75% trong khi chuẩn hóa hình ảnh hóa dữ liệu.

Trong khi các giải pháp quan sát khác được xây dựng cho khả năng quan sát cụ thể của ứng dụng, TrafficPeak được xây dựng để đạt được khả năng quan sát ở cấp độ CDN hỗ trợ lượng dữ liệu cực lớn. TrafficPeak được thiết kế để hoạt động với DataStream để thu thập nhật ký từ biên và sử dụng Compute Instances với Object Storage để đạt được kiến ​​trúc hiệu quả, tách biệt và không trạng thái. Bằng cách giữ lưu lượng truy cập và nhật ký CDN trên cùng một nền tảng, TrafficPeak có thể giảm chi phí quan sát của bạn tới 75%.

Với lượng dữ liệu lớn, nhu cầu chuẩn hóa báo cáo dữ liệu trở nên quan trọng hơn nữa. Bảng điều khiển Grafana của TrafficPeak hỗ trợ nhiều người dùng nhất có thể, cung cấp nguồn dữ liệu tập trung. Điều này giúp hợp lý hóa các hoạt động của tổ chức và cho phép các nhà phát triển làm việc với dữ liệu có khả năng lấy dữ liệu từ cùng một nơi.

Khối lượng dữ liệu lớn và lưu giữ dữ liệu

Giải quyết các thách thức về khối lượng dữ liệu và lưu trữ bằng giải pháp quan sát trên cùng nền tảng với dịch vụ phân phối biên của bạn.

Có nhiều thách thức về chi phí và cơ sở hạ tầng liên quan đến khối lượng dữ liệu lớn, bao gồm: thu thập dữ liệu, lưu trữ và duy trì dữ liệu, tìm kiếm dữ liệu và hiệu quả, v.v. Vì TrafficPeak được xây dựng cho Akamai, bạn có thể giải quyết những thách thức này bằng cách kết hợp các giải pháp biên và khả năng quan sát của mình trên một nền tảng duy nhất.

Với TrafficPeak, nhật ký được gửi trực tiếp từ Akamai edge đến Linode Compute bằng DataStream, loại bỏ nhu cầu lưu lượng dữ liệu phải di chuyển ra ngoài nền tảng Akamai. TrafficPeak tách biệt quá trình xử lý nhật ký khỏi lưu trữ nhật ký bằng cách sử dụng Compute Instances và Object Storage song song, sử dụng nén dữ liệu lên đến 25 lần và cung cấp khả năng tìm kiếm, lưu trữ dữ liệu nóng có thể truy cập trong hơn 15 tháng.

Kiểu dữ liệu phức tạp

Đạt được khả năng quan sát các loại dữ liệu phức tạp bằng cách giám sát trực quan và báo cáo dữ liệu.

Dữ liệu phức tạp (ví dụ: dữ liệu phân phối phương tiện và trò chơi) có thể có thêm những thách thức: độ nhạy cực cao với độ trễ, khối lượng dữ liệu lớn, thông tin chi tiết về đối tượng, loại dữ liệu cụ thể của ứng dụng, tuân thủ dữ liệu và bảo mật, v.v. Giám sát trực quan và báo cáo dữ liệu của TrafficPeak cho phép bạn theo dõi quy mô đối tượng, lượng người xem duy nhất, dữ liệu SIEM và dữ liệu cụ thể khác của đối tượng. TrafficPeak cũng được Akamai giám sát (do đó bạn không cần phải lo lắng về các tác vụ mở rộng quy mô), bao gồm cảnh báo có thể định cấu hình và hỗ trợ CMCD khi sử dụng Adaptive Media Delivery của Akamai .

Thực hiện

Có thể tốn thời gian và chi phí khi triển khai giải pháp quan sát để hỗ trợ lượng dữ liệu lớn. TrafficPeak giải quyết vấn đề này bằng cách sẵn sàng sử dụng ngay cho khách hàng của Akamai và bằng cách làm việc với cơ sở hạ tầng ứng dụng hiện có của bạn.

Biểu đồ quy trình làm việc TrafficPeak

Dưới đây là sơ đồ cấp cao và hướng dẫn chi tiết về kiến ​​trúc DataStream và TrafficPeak được triển khai bởi một khách hàng nền tảng phân phối lưu lượng truy cập cao trên Akamai.

  1. Khách hàng đưa ra yêu cầu về một tài sản, một lệnh gọi API hoặc các yêu cầu HTTP khác. Yêu cầu đó được định tuyến đến vùng biên Akamai gần nhất.
  2. Nếu phản hồi được lưu trong bộ nhớ đệm tồn tại cho yêu cầu, nó sẽ được trả về bởi máy chủ biên Akamai. Nếu không, yêu cầu sẽ được gửi đến nguồn gốc để phản hồi.
  3. Nhật ký phân phối/bảo mật của quy trình này được tạo và gửi đến TrafficPeak trên cơ sở hạ tầng Akamai Cloud (Linode Compute Instances để xử lý nhật ký và Linode Object Storage để lưu trữ nhật ký).
  4. TrafficPeak thu thập thông tin, cung cấp khả năng lưu giữ dữ liệu kéo dài (+15 tháng), tạo điều kiện thuận lợi cho việc báo cáo và xu hướng dữ liệu lịch sử, đồng thời nâng cao khả năng hiển thị tổng thể.
  5. Bảng điều khiển Grafana hỗ trợ hàng trăm người dùng, cung cấp chế độ xem thống nhất cho các chức năng DataStream và SIEM.
DataStream With TrafficPeak Diagram

Hệ thống và thành phần

  • DataStream: Dịch vụ truyền phát nhật ký gốc của Akamai.
  • TrafficPeak: Giải pháp quan sát được quản lý của Akamai chạy trên nền tảng Akamai Cloud Computing. Bao gồm Compute Instances, Object Storage và bảng điều khiển Grafana.
  • Edge Server: Cơ sở hạ tầng biên tiếp nhận, xử lý và phục vụ các yêu cầu của khách hàng. Trong quy trình làm việc này, hoạt động của máy chủ biên được ghi lại và gửi đến TrafficPeak để phục vụ mục đích quan sát.
  • Phân tích dữ liệu: Bảng điều khiển Grafana; một nền tảng phân tích và trực quan hóa dựa trên web được cấu hình sẵn để giám sát hoạt động nhật ký được TrafficPeak xử lý. Được cấu hình và cung cấp cho khách hàng TrafficPeak.
  • VM: Các phiên bản tính toán được sử dụng để chạy phần mềm xử lý và thu thập nhật ký của TrafficPeak. Được quản lý bởi Akamai.
  • Lưu trữ đối tượng: Lưu trữ đối tượng tương thích với S3 được sử dụng để lưu trữ dữ liệu nhật ký từ TrafficPeak. Được quản lý bởi Akamai.

Thêm thông tin

Bạn có thể muốn tham khảo các nguồn sau để biết thêm thông tin về chủ đề này. Mặc dù chúng tôi cung cấp với hy vọng rằng chúng sẽ hữu ích, nhưng xin lưu ý rằng chúng tôi không thể đảm bảo tính chính xác hoặc tính kịp thời của các tài liệu được lưu trữ bên ngoài.

Nguồn : https://www.linode.com/docs/guides/observability-with-datastream-and-trafficpeak/