英偉達發布了 Windows 版本的 TensorRT-LLM 庫，稱其將大模型在 RTX 上的運行速度提升 4 倍。
GeForce RTX 和 NVIDIA RTX GPU 配備了名為 Tensor Core 的專用 AI 處理器，正在為超過 1 億臺 Windows PC 和工作站帶來原生生成式 AI 的強大功能。
TensorRT-LLM 是一個開源庫，用于提升上述 GPU 運行最新 AI 大模型（如 Llama 2 和 Code Llama）的推理性能。上個月英偉達發布了面向數據中心的 TensorRT-LLM，現在最新發布的 TensorRT-LLM for Windows 主要是面向家用電腦，將 PC 上運行 LLM 的速度提高了 4 倍。
英偉達還同時發布了幫助開發人員加速 LLM 的工具，包括使用 TensorRT-LLM 優化自定義模型的腳本、TensorRT 優化的開源模型以及展示 LLM 響應速度和質量的開發人員參考項目。
