Khi yêu cầu về độ chính xác của hình ảnh đối với kiệt tác 3A tiếp tục tăng cao, khối lượng gói vật liệu và kết cấu có độ chính xác cao cũng tăng lên. Card đồ họa bộ nhớ video 8GB phổ thông một thời giờ đây thường xuyên gặp phải tình trạng nổ bộ nhớ video, treo màn hình, buộc chất lượng hình ảnh bị suy giảm và còn bị nhiều người chơi chế giễu là "thẻ vô hiệu hóa". Và công nghệ nén kết cấu thần kinh RTX mới của NVIDIA (gọi tắt là NTC) có thể thay đổi hoàn toàn tình trạng này .
Gần đây, Tom's Hardware đã hoàn thành thử nghiệm đặc biệt về công nghệ này trên nhiều card đồ họa và tất cả các nền tảng. NTC là công nghệ trình điều khiển AI được phát hành cùng với card đồ họa dòng RTX50. dựa vào lõi Tensor của card đồ họa (lõi tính toán tăng tốc AI tích hợp của card đồ họa NVIDIA) để hoàn tất quá trình nén và giải nén kết cấu. Nó có thể giảm tới 80% yêu cầu về bộ nhớ video, với mức giảm cao nhất đo được là 85%. Đồng thời, chất lượng hình ảnh tốt hơn so với sơ đồ nén truyền thống đã được sử dụng trong ngành game trong nhiều năm. Kết quả này còn mang đến cho người chơi những kỳ vọng thực sự về “card đồ họa 8GB sẽ chiến đấu thêm mười năm nữa”.
Từ nguyên tắc kỹ thuật , NTC là giải pháp nén và giải nén kết cấu dựa trên máy học và cũng là một trong những công nghệ cốt lõi của mô hình kết xuất đổ bóng thần kinh mới của NVIDIA. Nó vượt ra khỏi giới hạn cố định 4×4 pixel ở định dạng nén khối BCn truyền thống (tiêu chuẩn nén kết cấu khối truyền thống phổ biến trong ngành trò chơi) và chuyển đổi kết cấu ban đầu thành sự kết hợp của các trọng số mạng thần kinh nhỏ và các tính năng tiềm ẩn trong giai đoạn nén.
Cần phải làm rõ rằng NTC là công nghệ giải mã xác định, không phải AI sáng tạo và không có nguy cơ ảo tưởng AI .
Để thích ứng với các cấp độ phần cứng khác nhau, NTC cung cấp ba chế độ hoạt động trong giao diện DirectX 12. Một giao diện chính thống khác là Vulkan chỉ hỗ trợ hai trong số đó vì nó không có chức năng hỗ trợ tương ứng (nó không hỗ trợ Suy luận về Phản hồi).
Đầu tiên là Suy luận về tải. Nó sẽ hoàn thành quá trình giải nén kết cấu NTC trong GPU trong giai đoạn tải trò chơi hoặc bản đồ, đồng thời chuyển mã nó sang định dạng BCn truyền thống. Chế độ này có hiệu suất hiển thị chính xác giống như kết cấu BCn gốc mà không có bất kỳ chi phí hiệu năng nào trong giai đoạn kết xuất. Nó cũng có thể giảm đáng kể dung lượng ổ đĩa của trò chơi và áp suất truyền bus PCIe. Hạn chế duy nhất là nó không thể giảm mức sử dụng bộ nhớ video trong thời gian chạy.
Thứ hai là chế độ Suy luận về mẫu, cũng là dạng cốt lõi của nén kết cấu thần kinh trong nhận thức của công chúng và là chế độ có khả năng nén bộ nhớ mạnh nhất . Nó sẽ giải mã dữ liệu pixel hiện được yêu cầu trong thời gian thực thông qua perceptron nhiều lớp được đào tạo trước (gọi là MLP, mạng thần kinh nhỏ nhẹ) trong quá trình lấy mẫu kết cấu, cuối cùng đạt được mức giảm mức sử dụng bộ nhớ video lên tới 85%.
Thứ ba là suy luận về chế độ phản hồi (Inference on Phản hồi) , chỉ hỗ trợ giao diện DirectX12. Nó sẽ phản hồi thông qua bộ lấy mẫu (chức năng đồ họa độc quyền DirectX12, có thể xác định chính xác các khối kết cấu cần thiết để hiển thị hình ảnh hiện tại) và chỉ giải nén phần kết cấu cần thiết để hiển thị hình ảnh hiện tại. Đó là sự thỏa hiệp giữa hai chế độ đầu tiên. Việc giảm bộ nhớ không tốt bằng chế độ suy luận lấy mẫu, nhưng chi phí hiệu năng thấp hơn và hiệu suất tổng thể nằm ở giữa cả hai.
Tom's Hardware đã hoàn thành bài kiểm tra định lượng bằng cách sử dụng bối cảnh tiêu chuẩn Intel Sponza thường được sử dụng trong ngành. Dữ liệu đo được hoàn toàn phù hợp với khả năng nén danh nghĩa chính thức. Chiếm dụng bộ nhớ video kết cấu của tài liệu tham chiếu không mất dữ liệu ban đầu là 6830MB. Sau khi chuyển mã kết cấu sang định dạng BCn ở chế độ Suy luận khi tải, bộ nhớ video bị chiếm dụng là 2041MB.
Trong suy luận ở chế độ mẫu, bộ nhớ kết cấu bị chiếm dụng chỉ là 303MB. Đạt được hơn 85% mức sử dụng bộ nhớ kết cấu. So với tài liệu tham chiếu lossless ban đầu, bộ nhớ video giảm hơn 95%.
Đồng thời, các phép đo thực tế cho thấy hiệu ứng hình ảnh ở chế độ này gần với tài liệu tham chiếu gốc hơn kết cấu BCn được chuyển mã và gần như có thể được tái tạo một cách hoàn hảo. Trong thử nghiệm cảnh biệt thự Tuscan chính thức của NVIDIA, mức sử dụng bộ nhớ kết cấu với cùng chất lượng hình ảnh có thể giảm trực tiếp từ 6,5 GB ở định dạng BCn truyền thống xuống 970 MB ở định dạng NTC. Nhóm thử nghiệm
bao gồm nhiều loại card đồ họa NVIDIA từ cao cấp đến cấp thấp cũng như nền tảng di động máy tính xách tay. Chỉ báo kiểm tra cốt lõi của là thời gian khung hình (thời gian cần thiết để hiển thị một khung hình duy nhất, giá trị càng thấp thì độ mượt của hình ảnh càng cao).
RTX 5090 Ở độ phân giải 4K, chế độ suy luận tại thời điểm lấy mẫu được ghép nối với TAA (khử răng cưa theo thời gian, một công nghệ làm mịn hình ảnh phổ biến được sử dụng để loại bỏ răng cưa hình ảnh và cải thiện độ tinh khiết của hình ảnh). Thời gian khung hình chỉ cao hơn 0,09ms so với chế độ suy luận thời gian tải không chi phí và hiệu suất bị giảm gần như không đáng kể.
2
RTX chính thống Theo điều chỉnh Độ phân giải 1440P là 5070, thời gian kết xuất khung hình của chế độ này là trong khoảng 0,50-0,70 mili giây. RTX 5060 cấp đầu vào có tổng thời gian kết xuất khung hình ổn định là 0,60-0,70 mili giây ở độ phân giải 1080P đã điều chỉnh. Ngay cả đối với card đồ họa di động RTX 4060 dành cho máy tính xách tay (bộ nhớ video 8GB), tổng thời gian kết xuất khung hình ở 1080P chỉ là 0,70-0,85 mili giây.
Nhóm thử nghiệm cũng nói rõ rằng cảnh thử nghiệm chỉ bao gồm các quy trình khử răng cưa và kết xuất chuyển tiếp cơ bản. Các trò chơi 3A thực tế có số lượng lớn các lượt kết xuất không bị ảnh hưởng bởi NTC, do đó mức giảm hiệu suất tương đối của công nghệ này trong các trò chơi thực tế sẽ thấp hơn dữ liệu thử nghiệm.
Đối với card đồ họa bộ nhớ video 8GB, miễn là tốc độ khung hình cơ bản của trò chơi là đủ, việc đổi một chi phí hiệu suất nhỏ để lấy chất lượng kết cấu không bị suy giảm là một lợi ích ròng thực sự.
Công nghệ này cũng có ngưỡng sử dụng rõ ràng. Khi lấy mẫu, chế độ suy luận phải bật tính năng lọc kết cấu ngẫu nhiên (gọi tắt là STF, dùng để tối ưu hóa chất lượng kết cấu và giảm lỗi hình ảnh). Khi tắt tính năng khử răng cưa, hình ảnh sẽ bị nhiễu. DLSS có thể loại bỏ hoàn toàn loại tiếng ồn này, trong khi TAA chỉ có thể hoàn thành phần lớn việc làm sạch chứ không thể loại bỏ hoàn toàn. Vì vậy, chế độ này trước tiên được khuyến khích sử dụng với DLSS.
Nhà phát triển công nghệ NTC và kỹ sư cao cấp của NVIDIA, Alexey Panteleev, cho biết chế độ suy luận thời gian lấy mẫu phù hợp hơn với card đồ họa hiệu suất cao và chế độ suy luận thời gian tải có thể bao trùm tất cả phần cứng nền tảng. Các nhà sản xuất trò chơi có thể chọn có bật NTC cho mỗi kết cấu duy nhất hay không và cũng có thể cung cấp cho người chơi các tùy chọn chế độ mở, cho phép người dùng quyết định dựa trên điều kiện phần cứng của riêng họ.
Điều đáng nói là NTC không phải là công nghệ độc quyền của NVIDIA. Nó tương thích với bộ tăng tốc AI của card đồ họa AMD và Intel. Các nguồn tin trong ngành cho biết máy chủ Sony PS6 cũng được cho là sẽ áp dụng công nghệ tương tự.
Hiện tại, chưa có trò chơi nào chính thức hỗ trợ công nghệ này, nhưng bố cục toàn ngành đã được triển khai và việc sử dụng thương mại quy mô lớn sắp đến gần. Nó không chỉ cho phép tái sinh những card đồ họa cũ có bộ nhớ nhỏ mà còn mở ra một hướng kỹ thuật mới về kết xuất đồ họa thời gian thực.
