根据相关估算，训练一次ChatGPT（以GPT-3为例）的成本可能高达数百万美元，具体而言，OpenAI曾披露，GPT-3的训练使用了约数千张高性能GPU，耗时数周，仅电费和硬件折旧就超过1200万美元，若计入数据采集、清洗、人工标注以及算法研发等隐性成本，总花费可能接近或超过5000万美元，这一数字远超普通企业和研究机构的承受能力，也解释了为何大模型训练被视为“烧钱”的科技竞赛，尽管后续模型如GPT-4的成本更高，但具体金额未公开，可见，ChatGPT的强大能力背后，是极其高昂的资金投入。
训练一次ChatGPT（以GPT-3 1750亿参数版本为例）的直接成本大约在460万到1200万美元之间，折合人民币约3300万到8600万元，这个数字不是随口说的，而是根据公开的算力消耗、GPU租赁价格和训练时长推算出来的，如果你用的是最新版的GPT-4，成本只会更高，可能达到数亿美元级别。
很多人以为训练AI就像下载个软件，点一下“开始训练”就行，训练ChatGPT这种级别的模型，烧钱的速度比烧纸还快,咱们今天就把这笔账掰开揉碎了算清楚。
先说算力，训练GPT-3用了大约3640 PFLOPS-days（千万亿次浮点运算天数），这是什么概念？一台普通的家用电脑每秒能算几十亿次，而训练GPT-3需要的算力相当于让这台电脑连续算上几万年，为了完成这个任务，OpenAI租用了微软的Azure云服务器，用了上万张英伟达A100 GPU，一张A100 GPU的租赁价格，在云服务商那里每小时大约1.5到3美元，按照训练一次需要跑几十天来算,光GPU租赁费就占了成本的大头。
再说电费，一万张A100 GPU同时满负荷运行，每张功耗400瓦，一小时就是4000度电，按商业电价每度0.12美元算，一小时电费480美元，一天就是11520美元，训练周期按30天算，电费就超过34万美元，这还没算冷却系统的耗电，数据中心里给GPU降温用的电,往往比GPU本身用的还多。
还有人力成本，训练大模型不是把数据扔进去就完事，数据清洗、模型调参、故障排查、结果验证，这些活需要几十个顶尖工程师盯着，OpenAI的工程师年薪普遍在30万到50万美元之间，训练期间就算只算核心团队20个人忙活两个月,人力成本又是上百万美元。
数据成本也容易被忽略，ChatGPT的训练数据来自互联网上的海量文本，但原始数据不能直接用，要去重、过滤垃圾信息、处理版权问题、标注质量，光是数据清洗这一项，就需要大量人力和算力，有研究估算，GPT-3的训练数据准备成本在几十万到上百万美元之间。
把这些加起来：GPU租赁费大约300万到800万美元，电费30万到50万美元，人力成本100万到200万美元，数据成本50万到100万美元，总成本落在460万到1200万美元这个区间，注意，这只是训练一次的费用，训练过程中经常要试错，一次成功的情况很少，OpenAI自己透露，GPT-3正式训练之前,光是小规模实验就烧掉了上千万美元。
到了GPT-4，成本更是翻着跟头往上涨，GPT-4的参数规模没有公开，但业内普遍认为比GPT-3大了5到10倍，训练GPT-4用了大约2.5万张A100 GPU，训练周期长达90到100天，按照同样的算法，GPT-4的单次训练成本可能在1亿到2亿美元之间，这还只是训练，后续的推理成本（每次用户提问时模型运行的成本）同样惊人。
当你免费使用ChatGPT的时候，其实是在享受OpenAI和微软烧钱换来的服务，每问一个问题，背后都在烧几分钱到几毛钱的算力，这也是为什么ChatGPT推出付费版的原因——光靠烧钱撑不下去。
最后说一句，这些数字都是基于公开信息的估算，OpenAI和微软没有公布过确切成本，但业内普遍认为这个量级是靠谱的，如果你听到有人说“训练一次ChatGPT只要几百万人民币”，那基本是在忽悠，大模型训练,从来都是富人的游戏。
