（2023 年 10 月 19 日，北京）Alluxio 作為一家承載各類數據驅動型工作負載的數據平臺公司，現推出全新的 Alluxio Enterprise AI 高性能數據平臺, 旨在滿足人工智能 (AI) 和機器學習 (ML) 負載對于企業數據基礎設施不斷增長的需求。 Alluxio Enterprise AI 平臺可綜合優化企業 AI 和分析基礎設施的性能、數據可訪問性、可擴展性和成本效益，助力生成式 AI、計算機視覺、自然語言處理、大語言模型和高性能數據分析等下一代數據密集型應用的發展。
為保持競爭力并在競爭中脫穎而出，各家企業都在全力推進數據和 AI 基礎設施的現代化。在此過程中，企業家們也意識到傳統的數據基礎設施已經無法匹配下一代數據密集型 AI 負載的需求。在 AI 項目推進中經常遭遇的各類挑戰，諸如性能低下、數據可訪問性差、GPU 稀缺、數據工程復雜以及資源未充分利用等，都嚴重妨礙了企業獲取數據價值。 Gartner? 研究稱，“可操作 AI 的價值在于能夠在企業的各種環境下進行快速開發、部署、調整和維護?？紤]到工程復雜性和更快的市場響應需求，開發較為靈活的 AI 工程數據流，構建能夠在生產中進行自適應的 AI 模型均至關重要” ，“到 2026 年，采用 AI 工程來構建和管理自適應 AI 系統的企業，將在 AI 模型可操作性方面至少超越同行 25%?！?/p>
Alluxio 創始人兼 CEO 李浩源表示：“Alluxio 用最先進的大數據和 Al 平臺為全球頭部企業客戶賦能，今天我們又向前邁出了一大步”， “Alluxio Enterprise AI 為客戶提供高效的 AI 解決方案，幫助企業加速 AI 工作負載并最大限度地獲取數據價值。未來的企業領導者將知道如何利用變革性 AI 來推進數據驅動，通過最新技術來構建和維護 AI 基礎設施，實現超高性能、無縫訪問和便捷管理?！?/p>
此次新版發布后，Alluxio 即從一種產品擴展到兩種產品組合——Alluxio Enterprise AI 和 Alluxio Enterprise Data，全面滿足分析和 AI 的多樣化需求。Alluxio Enterprise AI 作為一款全新產品，建立在 Alluxio 企業版多年積累的分布式系統經驗上，采用了針對 AI/ML 負載優化的新架構。 Alluxio Enterprise Data 是 Alluxio 企業版大數據方向的下一代版本（與 Alluxio Enterprise AI 平行），并將繼續成為專注分析負載企業的理想選擇。
加速端到端機器學習工作流
Alluxio Enterprise AI 使得企業的 AI 基礎設施能夠在現有數據湖上實現高性能運行、無縫數據訪問、可擴展且經濟高效。它能幫助數據和 AI 領域的領導者和從業者實現 AI 項目的四個關鍵目標：
- 高性能模型訓練和部署，快速產生業務成效；
- 跨區域和跨云負載可無縫訪問數據；
- 可無限擴展，已經互聯網巨頭內部嚴格測試；
- 無需使用昂貴的專用存儲，在現有技術棧上即可部署，確保投資回報最大化。
企業使用 Alluxio Enterprise AI 后，預期訓練速度可比使用提供商業服務的對象存儲快達 20 倍，模型服務速度提升高達 10 倍，GPU 利用率達 90%以上，AI 基礎設施成本節約高達 90%。
Alluxio Enterprise AI 擁有包含去中心化元數據的分布式系統架構，可消除訪問海量小文件（常見于 AI 負載）時的性能瓶頸。無論文件大小或數量如何，都能確保具備超越傳統架構的無限擴展性。與傳統分析不同，分布式緩存是根據 AI 負載 I/O 模式量身定制的。此外，還支持分析負載以及從數據攝取到 ETL（提取、轉換、加載）、預處理、訓練和服務的完整機器學習工作流 。
Alluxio Enterprise AI 包含以下重要特性：
- 性能出色的模型訓練和模型服務——Alluxio Enterprise AI 顯著提升企業在現有數據湖上的模型訓練和服務性能。用于模型訓練的強化 API 集可實現優于商業化對象存儲 20 倍的性能。對于模型服務，Alluxio 提供超高并發性，在將離線訓練集群中的模型用于在線推理時實現高達 10 倍的速度提升。
- 適合 AI 工作負載 I/O 模式的智能分布式緩存——Alluxio Enterprise AI 的分布式緩存功能使得 AI 引擎能夠通過高性能 Alluxio 緩存（而非緩慢的數據湖存儲）來讀寫數據。 Alluxio 的智能緩存策略專門針對 AI 引擎的 I/O 模式量身定制，包括大文件順序訪問、大文件隨機訪問和海量小文件訪問。該優化幫助需要大量數據的 GPU 實現高吞吐和低延遲。訓練集群持續從高性能分布式緩存中獲取數據，可實現 90%以上的 GPU 利用率。
- 跨本地和云環境的 AI 工作負載實現無縫數據訪問 - Alluxio Enterprise AI 為企業提供了統一的管理界面，可以輕松管理跨不同基礎設施環境的 AI 工作負載。該產品為機器學習工作流提供了真實的數據源，從根本上消除了大型企業數據湖孤島的瓶頸。通過 Alluxio Enterprise AI 這一標準數據訪問層，企業可以在不同業務部門和地理位置之間實現數據的無縫共享。
- 經過大規模嚴格測試的全新分布式系統架構- Alluxio Enterprise AI 平臺構建在創新的去中心化架構 DORA（去中心化對象存儲庫架構）之上。該架構為 AI 工作負載提供了無限擴展的基礎，允許 AI 平臺通過包括 Amazon S3 在內的商業化對象存儲處理多達 1000 億個對象。該新架構借助 Alluxio 在分布式系統方面的成熟專業知識，解決了系統可擴展性、元數據管理、高可用性和性能方面不斷增長的挑戰。
Enterprise Strategy Group 分析師 Mike Leone 表示：“隨著組織在整個業務范圍內擴展 AI 的應用，優化下一代工作負載過程中的性能、成本和 GPU 利用率變得至關重要” ，“Alluxio 擁有極具優勢的產品，能真正幫助數據和 AI 團隊實現更高的性能、無縫的數據訪問，以及模型訓練和模型服務的便捷管理?！?/p>
“我們與 Alluxio 合作密切，Allxuio 平臺對我們的數據基礎設施至關重要，”Aunalytics 分析云工程總監 Rob Collins 表示， “Aunalytics 對于 Alluxio 新推出的針對企業 AI 的分布式系統十分期待，并看好新產品在 AI 行業的巨大潛力?！?/p>
“公司內部訓練的大語言模型為我們的問答應用和推薦引擎提供支持，極大地增強了用戶體驗和參與度”，知乎數據平臺團隊軟件工程師胡夢宇表示， “在我們的 AI 基礎設施中，Alluxio 處于核心地位。在使用 Alluxio 作為數據訪問層后，我們的模型訓練性能提升了 3 倍，部署性能提升了 10 倍，GPU 利用率翻倍。Alluxio 的 Enterprise AI 平臺采用全新的 DORA 架構，能支持訪問海量小文件，對此我們十分期待。在 AI 浪潮即將到來的時刻，Alluxio 新產品讓我們在支持 AI 應用方面更有信心?！?/p>
在機器學習工作流中部署 Alluxio
Gartner 研究顯示，數據可訪問性和數據量/復雜性是組織應用 AI 技術中遇到的三大難題之一。 Alluxio Enterprise AI 可以添加到由 AI 計算引擎和數據湖存儲組成的已有 AI 基礎設施中。 Alluxio 位于計算和存儲中間，可以在機器學習工作流中跨模型訓練和模型服務工作，從而實現最大速度和最優成本。例如，將 PyTorch 作為訓練和服務引擎， Amazon S3 為現有數據湖：
- 模型訓練：當用戶訓練模型時，PyTorch 數據加載器從虛擬本地路徑/mnt/alluxio_fuse/training_datasets 加載數據集。數據加載器不會直接從 S3 加載數據，而是從 Alluxio 緩存加載。在訓練過程中，緩存的數據集將在多個 epoch 中使用，因此整個訓練速度不再受制于訪問 S3 而產生的瓶頸。也就是說，Alluxio 通過縮短數據加載來加速訓練，消除 GPU 空閑等待時間，提高 GPU 利用率。模型訓練完成后，PyTorch 通過 Alluxio 將模型文件寫入 S3。
- 模型服務：最新訓練的模型需要部署到推理集群。多個 TorchServe 實例同時從 S3 并發讀取模型文件。Alluxio 會緩存這些來自 S3 的最新模型文件，并以低延遲提供給推理集群。因此，最新模型一旦可用時，下游的 AI 應用即可將其用于推理。
平臺與現有系統集成
要將 Alluxio 與現有平臺集成，用戶可以在計算引擎和存儲系統之間部署 Alluxio 集群。在計算引擎側，Alluxio 可與 PyTorch、Apache Spark、TensorFlow 和 Ray 等流行的機器學習框架無縫集成。企業可以通過 REST API、POSIX API 或 S3 API 將 Alluxio 與這些計算框架集成。
在存儲側，Alluxio 可連接位于任何位置（本地、云端或兩者兼有）的各類文件系統或對象存儲。支持的存儲系統包括 OSS、COS、BOS、OBS、Amazon S3、Google GCS、Azure Blob Storage、MinIO、Ceph、HDFS 等。
Alluxio 可在本地和云端、物理機或容器化環境中運行。支持的云平臺包括阿里云、騰訊云、百度云、華為云、AWS、GCP、Azure Cloud 等。
下載資源
Alluxio Enterprise AI 下載鏈接：https://www.alluxio.io/download/
AI Infra Day
在美西時間 10 月 25 日的 AI Infra Day 上，Alluxio 將首次公開展示其最新發布的 Alluxio Enterprise AI 平臺。AI Infra Day 是面向開發者的線上活動，主要探討構建高性能、可擴展且經濟高效的 AI 基礎設施中的挑戰及各種方案。特邀嘉賓包括 Wanchao Liang（Meta ）、 Sally (Mihyoung) Lee（Uber） 和范斌（Alluxio）?；顒蝇F已開放報名：https://www.alluxio.io/ai-infra-day-2023/。
關于 Alluxio
Alluxio 是全球領先的針對分析和 AI 的高性能數據平臺提供商，可加速企業 AI 產品價值變現，并最大化基礎設施的投資回報率。Alluxio 數據平臺位于計算與存儲系統之間，能夠在數據工作流的各個階段為數據平臺上的工作負載提供統一視圖。無論數據位于何處，該平臺均可提供高性能的數據訪問，簡化數據工程，提高 GPU 利用率，并降低云計算和存儲成本。企業無需使用專用存儲，即可大幅加速模型訓練和模型服務，并在現有數據湖上構建 AI 基礎設施。
Alluxio 在頭部投資者的支持下， 為全球科技、互聯網、金融和電信企業提供服務，目前全球排名前 10 的互聯網公司中有 9 家在使用 Alluxio。了解更多信息，請訪問 http://www.alluxio.com.cn。
