裁剪｜泽南

大模子推理的基石 vLLM，当今成为创业公司了。

北京本事周五凌晨传来讯息，由开源软件 vLLM 的创建者创立的东说念主工智能初创公司 Inferact 崇拜配置，其在种子轮融资中筹集了 1.5 亿好意思元（约合 10 亿元东说念主民币），公司估值达到 8 亿好意思元。

本轮融资由风险投资公司 Andreessen Horowitz（a16z）和 Lightspeed 领投，Sequoia Capital、Altimeter Capital、Redpoint Ventures 和 ZhenFund 也参与了投资。

Inferact 的 1.5 亿好意思元天神轮融资虽不足 Ilya Sutskever 的公司 SSI 的 10 亿好意思元，但依然跳跃了 Mistral AI 的 1.15 亿好意思元，是有史以来范畴最大的种子轮融资之一，标记着业界关于 AI 推理基础行动的怜爱进度正在急速普及。

Inferact 的责任是将 vLLM 发展成为寰宇率先的 AI 推理引擎，并通过缩短推理资本、加速推理速率来加速 AI 的发展。

该公司觉得，AI 行业异日靠近的最大挑战不是构建新模子，而是若缘何低资本、高可靠性地开动现存模子。

毫无疑问，Inferact 的中枢是开源神气 vLLM，这是一个于 2023 年启动的开源神气，旨在匡助企业在数据中心硬件上高效开动 AI 模子。

{jz:field.toptypename/}

vLLM 最初由加州大学伯克利分校（UC Berkeley）的天外计较实验室 (Sky Computing Lab) 开导，现由 PyTorch 基金会负责科罚，已引诱了来自所有这个词这个词 AI 行业的 2000 多名孝顺者，是大家界限内最受宽贷的开源大模子推理加速框架。

如今，vLLM 的推理能力在为 Meta、谷歌、Character.AI 等科技公司提供相沿。

Inferact 的首席推行官 Simon Mo 是一位伯克利在读博士生，他是 vLLM 的首创鄙吝者之一。Mo 暗示，公司配置于 2025 年 11 月，并于本周崇拜对外公布。他将 Inferact 的发源与伯克利早期的一些软件神气进行了相比，这些神气其后发展成为范畴更大的企业，举例 Apache Spark 和 Ray。

在晓谕融资的同期，牛牛游戏Lightspeed（光速创投）也发布了对 Simon Mo 的访谈。在其中 Simon Mo 谈到了关于大家 AI 算力紧缺的担忧，「现时用于大模子稽查的 AI 集群，将在六个月内统统被用于推理…… 推同意缓缓浪掷掉所有这个词算力容量，并耗尽所有这个词新增的容量。」

在公告中，Inferact 暗示，其定位于模子和硬件的交织点：当模子厂商发布新架构时，他们会与 vLLM 互助，确保提供首日相沿；当硬件厂商开导新芯蓦地，他们会与 vLLM 集成；当大模子团队进行大范畴部署时，他们会开动 vLLM，从前沿实验室到超大范畴数据中心，再到工作数百万用户的初创公司，无一例外。

如今，vLLM 相沿了 500 多种模子架构，可在 200 多种加速器上开动，并相沿着大家范畴的推理。这个由 2000 多位孝顺者共同构建的生态系统，是 Inferact 得以配置的基础。

Inferact 暗示，其开阔任务是连接相沿 vLLM 行动零丁的开源神气，并将转换遵守共享给社区。他们规划进一步普及 vLLM 的性能，长远对新兴模子架构的相沿，并扩大对前沿硬件的心事界限。Inferact 的第二个规划是开导一款零丁的贸易居品，匡助企业在不同类型的硬件上更高效地开动 AI 模子。

值得顺心的是，vLLM 神气的中枢孝顺者清华博士游凯超成为了这家公司的聚合首创东说念主。

据先容，Inferact 的首创团队包括 Simon Mo、Woosuk Kwon、Kaichao You（游凯超）、Roger Wang、Joseph Gonzalez、Ion Stoica 等东说念主。