Ling-1T – 蚂蚁集团开源的大型语言模型

智能 PRO 稿源：AI工具集 2025-10-11 05:03

Ling-1T是什么

Ling-1T 是蚂蚁集团开源的万亿参数语言模型，定位为“旗舰级非思考模型”。基于 MoE（Mixture of Experts）架构，拥有 1 万亿参数，每次推理激活约 510 亿参数，支持 128K 上下文长度，适合处理长文档任务。Ling-1T 专注于在有限的输出 token 下直接给出高质量的推理结果，推理效率极高。模型在编程、数学推理、知识理解、创意写作等任务中表现出色，处于开源模型的第一梯队。

Ling-1T的主要功能

高效推理：在有限的输出 token 下直接给出高质量的推理结果，推理效率极高，适合快速解决问题。
长文本处理：支持 128K 上下文长度，能处理长文档任务，适合法律、金融、科研等领域的复杂推理。
创意写作：模型能生成富有创意的文案、剧本、诗歌等，满足内容营销、广告文案创作等需求。
多语言支持：支持处理英文等其他语言的任务，具备一定的多语言能力。
多任务能力：在编程辅助、数学解题、知识问答、多轮对话等任务中表现出色，能生成高质量的代码和设计。
应用集成：支持集成到各种工具中，如支付软件、理财助手、健康助手等，提升智能化水平。

Ling-1T的技术原理

MoE 架构：基于 Mixture of Experts（MoE）架构，总参数量为 1 万亿，包含 256 个专家。每次推理仅激活约 510 亿参数，显著降低推理成本，同时保持高性能。前几层使用密集结构（Dense），后面切换到 MoE，降低浅层网络的负载不均衡。
高推理密度语料：用超过 20T+ token 的高质量、高推理密度语料进行预训练，确保模型具备强大的逻辑密度和思维深度。预训练分为三个阶段：

Pretrain Stage 1：10T 高知识密度语料。
Pretrain Stage 2：10T 高推理密度语料。
Mid-training：扩展上下文到 128K，加入思维链语料。

高效训练：全程使用 FP8 精度训练，相比 BF16，FP8 能显著节省显存、提升训练速度，且在 1T token 的对比实验中，Loss 偏差仅为 0.1%。
LPO 优化：用 Linguistics-Unit Policy Optimization（LPO）方法，以句子为优化单元，更符合语义逻辑，提升模型的推理能力和生成质量。