Để tận dụng khả năng xử lý song song mạnh mẽ được cung cấp bởi các phiên bản GPU được trang bị thẻ NVIDIA Quadro RTX, trước tiên bạn cần cài đặt Bộ công cụ CUDA của NVIDIA. Hướng dẫn này sẽ hướng dẫn bạn cách triển khai phiên bản GPU và cài đặt Bộ công cụ CUDA.

Triển khai Phiên bản điện toán GPU bằng Cloud Manager, Linode CLI hoặc Linode API. Bạn nên làm theo hướng dẫn trong các hướng dẫn sau:

Đảm bảo chọn bản phân phối tương thích với Bộ công cụ NVIDIA CUDA. Xem lại các  System requirements của NVIDIA để tìm hiểu bản phân phối nào được hỗ trợ.

Nâng cấp hệ thống của bạn và cài đặt các tiêu đề hạt nhân và gói phát triển cho bản phân phối của bạn. Xem Pre-installation actions sẵn của NVIDIA để biết thêm thông tin.

Ubuntu and Debian

sudo apt update && sudo apt upgrade 
sudo apt install build-essential linux-headers-$(uname -r)

CentOS/RHEL 8, AlmaLinux 8, Rocky Linux 8, and Fedora

sudo dnf upgrade 
sudo dnf install gcc kernel-devel-$(uname -r) kernel-headers-$(uname -r)

CentOS/RHEL 7

sudo yum update 
sudo yum install gcc kernel-devel-$(uname -r) kernel-headers-$(uname -r)

Cài đặt phần mềm Bộ công cụ NVIDIA CUDA tương ứng với bản phân phối của bạn.

  • Điều hướng đến trang Tải xuống Bộ công cụ NVIDIA CUDA. Trang này cung cấp hướng dẫn cài đặt cho phiên bản mới nhất của Bộ công cụ CUDA.
  • Trong phần Chọn nền tảng mục tiêu, chọn các tùy chọn sau:
    • Hệ điều hành: Linux
    • Kiến trúc: x86_64
    • Phân phối: Chọn bản phân phối bạn đã cài đặt trên phiên bản GPU của mình (chẳng hạn như Ubuntu).
    • Phiên bản: Chọn phiên bản phân phối đã được cài đặt (chẳng hạn như 22.04).
    • Loại trình cài đặt: Chọn từ một trong các phương pháp sau:
      • vòng/phút (cục bộ) hoặc deb (cục bộ): Trình cài đặt độc lập chứa các phần phụ thuộc. Đây là kích thước tải xuống ban đầu lớn hơn nhiều nhưng được khuyến nghị cho hầu hết người dùng.
      • òng/phút (mạng) hoặc deb (mạng): Kích thước tải xuống ban đầu nhỏ hơn vì các phần phụ thuộc được quản lý riêng thông qua hệ thống quản lý gói. Một số bản phân phối có thể không chứa các phần phụ thuộc cần thiết và bạn có thể gặp lỗi khi cài đặt gói CUDA.
      • runfile (cục bộ): Cài đặt phần mềm bên ngoài hệ thống quản lý gói của bạn, điều này thường không được mong muốn hoặc không được khuyến nghị.

Nếu bạn quyết định sử dụng phương pháp cài đặt runfile, bạn có thể cần phải cài đặt gcc và các phần phụ thuộc khác trước khi chạy tệp cài đặt. Ngoài ra, bạn cũng cần phải tắt mọi trình điều khiển nouveau hiện có được cài đặt trên hầu hết các bản phân phối theo mặc định. Thay vào đó, hãy tham khảo hướng dẫn cài đặt runfile của NVIDIA cho Ubuntu, Debian, CentOS, Fedora hoặc openSUSE.

Phần Trình cài đặt tải xuống (hoặc tương tự) sẽ xuất hiện và hiển thị danh sách các lệnh cần thiết để tải xuống và cài đặt Bộ công cụ CUDA Chạy từng lệnh được liệt kê ở đó.

Khởi động lại phiên bản GPU sau khi tất cả các lệnh đã hoàn tất thành công.

Chạy nvidia-smi để xác minh rằng trình điều khiển NVIDIA và Bộ công cụ CUDA đã được cài đặt thành công. Lệnh này sẽ xuất chi tiết về phiên bản trình điều khiển, phiên bản CUDA và chính GPU.

nguồn: https://techdocs.akamai.com/cloud-computing/docs/install-the-nvidia-cuda-toolkit-on-gpu-compute-instances