小红书开源首个大模型！

主要观点总结

小红书开源了名为dots.llm1的大模型，是一个混合专家模型，具有1420亿参数。在推理过程中仅激活140亿参数，可降低训练和推理成本并保持高性能。在预训练阶段使用了大量非合成数据，并在中英文、数学、对齐任务上表现优秀。

关键观点总结

关键观点1: dots.llm1模型的特点和性能

该模型是一个混合专家模型，具有1420亿参数，在推理过程中仅激活140亿参数，能够降低训练和推理成本，同时保持高性能。此外，该模型在预训练阶段使用了大量的非合成数据。

关键观点2: dots.llm1的应用领域

该模型在中英文、数学、对齐任务上表现优秀。

关键观点3: 来源和报道

该信息来源于《科创板日报》的报道，记者为张洋洋。

文章预览

小红书开源了首个大模型dots.llm1，小红书方面告诉《科创板日报》，dots.llm1是一个1420亿参数的混合专家模型（MoE），在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。此外，dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据，最终性能与阿里Qwen3-32b相比，在中英文、数学、对齐任务上表现接近。（记者 张洋洋） ………………………………