什么是模型参数量(7B、70B 是什么意思)?
模型参数量是指神经网络中可调整数值的总数量——7B 即 70 亿(Billion),它像是模型的"脑细胞数",参数越多,模型能学到的东西通常越多,但需要的算力也越大。
用一个类比理解
参数相当于神经网络里每条"连线"的粗细权重,所有权重加起来的数量就是参数量。一个 7B 模型有 70 亿个这样的数值,70B 有 700 亿个。模型训练的过程就是把这些数值从随机值调整到"最合适"的状态。
常见的规模级别
- 1B~7B:轻量级,可以在笔记本电脑甚至手机芯片上运行,速度快,能力受限
- 13B~34B:中等,需要高端消费级显卡,性能接近早期 GPT-3.5
- 70B 及以上:需要专业 GPU 或多卡服务器,效果接近闭源旗舰
- GPT-4 等闭源旗舰:参数量未公开,估计在千亿到万亿量级
参数量越大越好吗?
不一定。同样是 7B,训练数据质量好、架构先进的模型可以超越粗糙的 70B 模型。近两年"小模型大能力"是重要趋势:DeepSeek、Qwen 等证明了精心设计的中等规模模型可以媲美超大模型。
常见误解
- "参数量决定模型的一切"——架构、训练数据、训练方法同样至关重要。
- "参数量越大越适合我"——对普通用户来说,能流畅跑起来、回答准确才最重要。