每經(jīng)記者 岳楚鵬    每經(jīng)編輯 蘭素英    

2月10日，清華大學(xué)KVCache.AI團(tuán)隊聯(lián)合趨境科技發(fā)布的KTransformers開源項目迎來重大更新，成功打破大模型推理算力門檻。此前，擁有671B參數(shù)的MoE架構(gòu)大模型DeepSeek-R1在推理時困難重重。推理服務(wù)器常因高負(fù)荷宕機，專屬版云服務(wù)器按GPU小時計費的高昂成本讓中小團(tuán)隊無力承擔(dān)，而市面上的“本地部署”方案多為參數(shù)量大幅縮水的蒸餾版，在本地小規(guī)模硬件上運行滿血版 DeepSeek-R1 被認(rèn)為幾乎不可能。

此次KTransformers項目更新帶來重大突破，支持在24G顯存（4090D）的設(shè)備上本地運行 DeepSeek-R1、V3的671B滿血版。其預(yù)處理速度最高可達(dá)286 tokens/s，推理生成速度最高能達(dá)到14 tokens/s。甚至有開發(fā)者借助這一優(yōu)化技術(shù)，在3090顯卡和200GB內(nèi)存的配置下，使Q2_K_XL模型的推理速度達(dá)到9.1 tokens/s，實現(xiàn)了千億級模型的 “家庭化” 運行。

此外，該項目v0.3預(yù)覽版還將整合Intel AMX指令集，進(jìn)一步提升CPU預(yù)填充速度，最高至286 tokens/s，相比llama.cpp快了近28倍，為長序列任務(wù)帶來秒級響應(yīng)。同時，KTransformers提供兼容Hugginface Transformers的API與ChatGPT式Web界面，降低上手難度，其基于YAML的“模板注入框架”可靈活切換多種優(yōu)化方式。