Fractile 授權 Andes Technology 的 RISC-V 向量處理器，打造全新晶片以加速 AI 推論

(SeaPRwire) –   聖荷西，加州，2024 年 10 月 22 日 — Andes Technology 是一家領先的高效、低功耗 32/64 位 RISC-V 處理器核心供應商，也是 RISC-V International 的創始高級會員，很自豪地宣布與 Fractile 建立合作關係，該公司正在打造用於實現下一代 AI 性能的晶片和系統。Fractile 正在開發基於內存計算的 AI 推理加速器，旨在能夠比現有硬體快兩個數量級地運行前沿 AI 模型 – 大型語言、視覺和音頻模型 – 而且成本降低十倍。

大型語言模型和其他基礎模型已成為數據中心 AI 計算需求激增背後的驅動力。從 ChatGPT 到開源的 Llama 模型系列，LLM 和其他基礎模型正在得到廣泛應用。模型推理 – 為這些訓練好的模型提供服務的過程 – 正逐漸成為計算成本的主要部分，超過了模型訓練的成本。Fractile 已獲得強大的 Andes AX45MPV RISC-V 向量處理器的許可，結合 ACE（Andes Automated Custom Extension™）和 Andes Domain Library，並計劃將向量處理單元整合到他們的第一代數據中心 AI 推理加速器中。

Fractile 利用新穎的電路在片上內存中執行運行模型推理所需的 99.99% 的操作。這消除了將模型參數在處理器晶片之間來回傳輸的需要，而是將計算操作直接嵌入到內存中。這種架構可以大幅提高能量效率（TOPS/W），並顯著改善推理任務的延遲（例如，LLM 上下文中每秒每用戶的代幣數）。該公司一直在押注推理擴展 – 利用更多推理時間計算來提高 AI 性能 – 作為 AI 擴展的下一階段。AI 界似乎同意 OpenAI 最近發布了他們最新的 LLM，o1，它需要的推理計算量比之前的 LLM 多出幾個數量級。Fractile 的硬體和軟體堆棧旨在處理那些在當前硬體上仍然需要幾秒鐘才能產生答案的模型，並使之即時完成。

作為合作的一部分，Fractile 將通過 ACE 將 Andes Technology 的高性能 RISC-V 向量處理器與其自己的突破性內存計算架構相整合。Fractile 的架構利用了兩家公司的優勢，旨在提供一個非常快且具有成本效益的 AI 推理系統，克服了傳統計算方法的限制 – 突破了內存瓶頸。

Andes Technology 總裁兼首席技術官蘇院長表示對此合作表示興奮：「AX45MPV 憑藉強大的計算能力、高內存帶寬和靈活的 ACE 工具，自 2023 年首次亮相以來，已被大型和小型創新 AI 公司採用。Andes RISC-V 向量處理器使許多 AI SoC 擺脫了架構限制，並實現了新的性能和效率水平。我們相信，Fractile 的內存計算技術與 Andes 屢獲殊榮的 RISC-V 向量處理之間的協同作用將帶來又一個成功。」

Fractile 首席執行官兼創始人 Walter Goodwin 博士補充說：「現有硬體的限制是 AI 性能和採用的最大障礙。Andes Technology 在 RISC-V 向量處理器方面擁有無與倫比的技術和商業領導地位，是我們構建 Fractile 加速器系統的理想合作夥伴。為 AI 加速構建硬體本質上是困難的 – 全球領先的模型可能會在一夜之間發生變化，而晶片卻需要時間才能推向市場。像 Andes 這樣的軟體可編程向量處理器是保持對這些變化的穩健性的關鍵部分。我們很高兴宣布這項合作，因為 Fractile 進一步推進其超級加速推理的使命。」

如需了解有關 Andes Technology 和 Fractile 的更多信息，請訪問其各自的網站： 和

關於 Andes Technology

Andes 成立十九年，是 RISC-V International 的創始高級會員，是一家上市公司（; ; ）和高性能/低功耗 32/64 位嵌入式處理器 IP 解決方案的領先供應商，以及推動 RISC-V 走向主流的推動力。其 V5 RISC-V CPU 家族涵蓋從微小的 32 位核心到具有 DSP、FPU、向量、Linux、超標量和/或多/多核功能的先進 64 位亂序處理器。截至 2023 年底，Andes-Embedded™ SoC 的累計出貨量已超過 140 億。如需了解更多信息，請訪問 。在 、 、 和 上關注 Andes！

關於 Fractile

Fractile 是一家 AI 硬體公司，正在打造其首款突破性的新型 AI 晶片，該晶片能夠以比現有硬體快 100 倍、價格便宜 10 倍的速度運行最先進的 AI 模型。Fractile 由 28 歲的人工智慧博士 Walter Goodwin 於 2022 年在倫敦創立，其變革性的計算技術將通過使當今和未來最大、最具能力的神經網路更快、更有效、更可持續地運行來增強集體 AI 能力。該公司已從包括北約創新基金、Kindred Capital、牛津科學企業、可可和 Inovia Capital 在內的投資者手中籌集了 1750 萬美元（1400 萬英鎊）的資金，以及包括 Hermann Hauser（Acorn、Amadeus 的創始人）、Stan Boland（前 Acorn、Icera、NVIDIA 和 Five AI）和 Amar Shah（Wayve 的聯合創始人）在內的天使投資者。

聯繫人：林曉玲
hllin@andestech.com