小红书开源首个大模型，11万亿非合成训练数据

国内著名社交平台小红书，开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型，在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据，这在现阶段的开源大模型中非常罕见。所以，在中文测试中dots.llm1的性能非常强，以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.5 32B和72B。