AI 入门指北

什么是训练和推理?

训练(Training)是用大量数据让模型调整参数、学会能力的过程;推理(Inference)是训练好的模型接收你的问题并生成回答的过程——一个是"上学",一个是"工作"。

用一个类比理解

训练就像厨师在烹饪学校学习三年:读食谱、练习、被老师纠正,反复调整手法,成本高、时间长。推理就像学成后的厨师在餐厅炒菜:接了单就做,每道菜几分钟搞定,成本低得多。

训练需要多大代价?

训练大模型极其昂贵。GPT-3 等规模的模型据估计训练一次需要数百万到数千万美元的算力成本,还需要几周到几个月的时间。这也是为什么能从头训练大模型的只有顶级大厂和科研机构。

推理则是日常发生的

你每次问 AI 一个问题,模型就做了一次推理。推理虽然比训练便宜得多,但大规模服务几亿用户,推理成本总量同样巨大——这也是 AI 公司的主要运营开支。

为什么用户需要关心这个区别?

  • 理解为什么"定制一个专属 AI"需要大量成本(训练或微调)
  • 理解 AI 的使用费(按 token 计费)是推理成本,不是访问"知识库"的费用
  • 理解为什么在自己电脑上运行开源模型只是"推理",对硬件要求远低于训练

常见误解

  • "我每次问 AI,它都在学习"——不是,正常使用时 AI 只在推理,不会因为你的对话更新它的参数。
  • "推理很便宜所以 AI 公司很赚钱"——推理看似便宜,但服务亿级用户的总成本仍是天文数字。

相关名词

什么是模型参数量? · 什么是算力? · 什么是模型微调?