TOPIC COLLECTION
蚂蚁Ling-3.1-flash开源了：是什么、参数规格、怎么下载和本地/API使用
inclusionAI于2026-10-13至10-14在Hugging Face放出Ling-3.1-flash权重（MIT）：总参560B、每token激活约25B，混合KDA+MLA的MoE。本地推荐SGLang/vLLM八卡部署；不想自建可走OpenRouter模型ID inclusionai/ling-3.1-flash（Serving上下文常见262K）。
资料更新：2026-10-15
依据Hugging Face模型卡、SGLang cookbook、vLLM Recipes与OpenRouter模型页整理。Serving上下文与模型卡宣称的1M窗口以各推理框架当日说明为准。核查2026-10-15（新加坡时间）。
主题标签：Ling-3.1-flash、Ling 3.1 Flash开源、inclusionAI Ling、Ling-3.1-flash下载、Ling-3.1-flash本地部署
蚂蚁Ling-3.1-flash开源了吗？开了。蚂蚁系inclusionAI在2026-10-13至10-14把Ling-3.1-flash权重挂到了Hugging Face仓库inclusionAI/Ling-3.1-flash，许可证写的是MIT。模型卡写明：总参数560B、每token激活约25B，架构是混合线性注意力的MoE；魔搭 ModelScope也有同名仓库，不想自建集群的还可以走OpenRouter的inclusionai/ling-3.1-flash。下面按「规格→下载→本地部署→API」拆开写，数字一律对照官方模型卡与推理文档，跑分没第三方复测的就不抄营销稿。
它到底是什么：和Ling-3.0-flash别混
Ling-3.1-flash是inclusionAI在Ling-3.0-flash之后放出的原生混合推理（hybrid reasoning）升级版，面向代理、办公、代码和长任务。官方模型卡强调它能在Claude Code、Kilo Code、Qwen Code、Hermes Agent等框架里当后端用——这是能力叙事，不等于这些产品默认已内置该模型，接不接得上以各工具当日模型列表为准。
时间线可以记两段：大约9月底先以API试用形态放出（媒体与汇总站点写试用约两周），再按承诺把权重公开。OpenRouter模型页标注该模型Released为2026-10-02（走API托管）；HF权重文件完成落库则在10-13至10-14。先能调API、后能下权重，这点和阶跃Step 5 Preview开源节奏对照看会更清楚：Ling这边是“先试用后放权”按期兑现。
官方规格表（以HF模型卡为准）
| 项目 | 模型卡数字 | 写作备注 |
|---|---|---|
| 架构 | Hybrid-linear MoE（BailingMoeV3） | 线性注意力KDA + 门控MLA混用 |
| 总参数 / 激活 | 560B / 约25B per token | SGLang文档另有“约17B激活”口径，部署时以checkpoint实测为准 |
| 层结构 | 63层KDA + 9层Gated MLA（约7:1） | 另有4层Dense |
| 专家 | 512 routed + 1 shared；每token激活8个routed | 典型稀疏MoE路由 |
| Hidden / Vocab | 4096 / 157184 | Attention heads 64 |
| 权重精度 | Block-FP8（E4M3，128×128） | vLLM/SGLang均按此checkpoint写recipe |
| 上下文 | 模型卡写1M tokens | SGLang/vLLM/OpenRouter Serving常见上限262,144；别把“模型宣称”和“当前可配窗口”当成一回事 |
| 许可证 | MIT | 商用前仍建议自己读LICENSE与训练内容摘要PDF |
模型卡还列了一批自家评测名（Terminal-Bench 4.0、SWE-bench Pro、FrontierSWE、GDPVal-AA V2.1等）。第三方侧，OpenRouter转载的Artificial Analysis表给出Intelligence Index约41.1、Terminal-Bench 4.0约33.3%等——这是公开榜单截图，不是你业务场景的SLA。选型时更稳妥的做法是：挑你真实的仓库/文档任务，用同一套prompt在Ling与DeepSeek、Qwen等之间盲测几轮。
怎么下载权重
- Hugging Face：打开
https://huggingface.co/inclusionAI/Ling-3.1-flash，用huggingface-cli download inclusionAI/Ling-3.1-flash或Git LFS拉safetensors分片。磁盘要按数百GB量级预留（具体以仓库文件列表为准），别假设“25B激活=下载只要25B”。 - ModelScope：国内带宽更友好时走
inclusionAI/Ling-3.1-flash同名仓，命令以魔搭当日文档为准。 - 只想试对话、不存权重：直接用OpenRouter模型ID
inclusionai/ling-3.1-flash，省掉本地下载与八卡编排。
本地大模型相关工具入口见Ollama、Open WebUI、vLLM；分类本地大模型、模型平台与API、AI开发与智能体。单机消费级显卡想跑“同级别体验”，现实选择通常是更小的开源模型，见Qwen本地部署与本地模型vs Claude Max算账——Ling-3.1-flash这档更像机房项目，不是笔记本一键。
本地怎么起服务：SGLang（官方推荐）与vLLM
HF模型卡把SGLang标成Recommended，并给了day-0镜像：
docker pull lmsysorg/sglang:dev-ling-3.1-flash
docker run --gpus all --network host --ipc=host --rm
lmsysorg/sglang:dev-ling-3.1-flash
python3 -m sglang.launch_server
--model-path inclusionAI/Ling-3.1-flash
--tp 8 --ep 8
--speculative-algorithm NEXTN
--host 0.0.0.0 --port 30000
要点：
- 八卡起步：文档验证配方是8×H200用
--tp 8 --ep 8；4×GB300则--tp 4 --ep 4。H800/H100/B200有recipe，但部分标成unverified。 - NEXTN投机解码：镜像内置；SGLang cookbook在H200上测到batch-1约251.2 tok/s（开启decode优化后），接受长度随机token约2.61——这是框架自测，换驱动/CUDA版本会漂。
- 推理开关：请求体可传
chat_template_kwargs.enable_thinking；默认thinking on，关了会走直接回答。 - 工具调用：parser名
ling3；按OpenAI兼容的tools字段走，返回后再把tool结果按tool_call_id回灌。
vLLM侧Recipes写明需要nightly构建，同样建议单节点TP8+EP8，并加--tool-call-parser ling3 --reasoning-parser ling3。内存粗估：Recipes写aggregate VRAM加载量约689GB量级，还要再留KV cache——没有八张80GB级卡就别硬上全量checkpoint。
不想买八卡：OpenRouter / 托管API怎么用
| 入口 | 模型ID / 路径 | 核查日可见信息 |
|---|---|---|
| OpenRouter | inclusionai/ling-3.1-flash |
页面列NovitaAI促销后约$0.075 / $0.225每百万tokens（输入/输出），上下文262K；另有DeepInfra等同模型多供应商路由 |
| 自建OpenAI兼容端 | SGLang/vLLM的/v1/chat/completions |
采样建议模型卡示例：temperature=1.0、top_p=0.95、top_k=20 |
价格会变，以上只是2026-10-15打开OpenRouter页看到的展示价；下单前刷新定价表，并看清是否含cache read折扣。把Ling接到Cursor或Claude Code类工具时，通常是改Base URL + API Key + 模型名三件套——具体字段名以各客户端文档为准。
适合谁、不适合谁
- 适合：已有多卡集群、要MIT许可做二次分发、需要长上下文代理/工具调用、愿意自己扛运维的团队。
- 不适合：只有一张消费卡、指望“下载即聊天”、或必须有厂商SLA的合规场景——这类更该买托管API或换小模型。
- 踩坑提醒：别把HF的1M窗口写进产品承诺却用默认262K Serving；别把营销榜单当验收标准；FP8 checkpoint对框架版本敏感，跟错镜像会直接起不来。
常见问题
Ling-3.1-flash免费吗？
权重MIT可下，电费和GPU不是免费的。托管API按token计费，以OpenRouter等当日标价为准。
消费级显卡能跑吗？
全量560B MoE按官方recipe是多卡集群方案。笔记本/单卡请换更小开源模型，或只用API。
上下文到底是1M还是262K？
模型卡写1M；SGLang/vLLM/OpenRouter当前Serving文档常见262,144。上线前用你实际配置的max_model_len测一遍。
和DeepSeek、Qwen怎么选？
比许可、延迟、工具调用稳定性、你自己的任务集，不要只比总参数。国内产品生态可看国内能用的AI工具。
能商用吗？
MIT较宽松，但仍要核对LICENSE、训练内容摘要与你所在地的数据合规要求，法务结论别靠这篇博客。
来源与核查日期
- Hugging Face：inclusionAI/Ling-3.1-flash 模型卡
- SGLang Docs：Ling-3.1-flash cookbook
- vLLM Recipes：Ling-3.1-flash
- OpenRouter：inclusionai/ling-3.1-flash 定价与上下文
- ModelScope：Ling-3.1-flash
核查日期：2026-10-15（新加坡时间）。规格与价格以各官方页面当日为准。
