［求讨论］关于AI语言大模型商业化问题

stardust_not_m

目前就我所知，大部分语言模型都是用token收费，但是目前语言模型为了能够联系上下文每次发送新讯息都会重新分析全文消耗大量token，也就是说对于用户而言，每次使用费用都会指数上升。现在对于翻译，随口闲谈费用还好说（有目标上限），但如果做到游戏中这种消费模式玩家应该是难以承受（开发商也难以承受）目前有没有做AI相关项目的老哥，能给我答疑解惑一下，如果要把AI语言模型应用到游戏程序中，如何平衡模型成本问题。

灵闪

如果你只用翻译的话建议别用大模型，而是应该去找一个专业的小模型

随机性

翻译应用上是不一样的场景吧，从成本考虑优先现有的API没必要去接ai模型啊
SVS这类unity项目用的是XUnity Auto Translator，在他支持的翻译器中我觉得够覆盖正常使用范围的翻译需求

游戏开发的付费模式的话参考Ai Roguelite，他是有内部付费功能的
不想用的话，也可以直接接免费的

ppss

不知道有没有计算次数或者购买某种付费计划后可以无限使用的，如果是公司商谈的话应该是可以有别的计划和价格吧

紅美鈴

说实话如果要求不是很高的话本地模型就够用了……

JWLF123

举例：
如果是联网的游戏，完全可以在自家服务器里部署一个专门针对游戏内对话场景的“小语言模型”，这样成本是自己可以控制的。
甚至哪怕是为这项业务专门去定制一个模型，成本和运营成本起码也是有个上限的。

1929238

模型成本随着参数和上下文大小提升而提升，游戏里使用把参数和上下文拉小不就行了，现在规模是两年前百分之一的模型都比两年前的模型强。等待并心怀希望吧

RnAuntrue

现在像ai客服和ai顾问的产品也有做出来，会用rag+llm这种框架解决，毕竟就是看流量解决问题的吧，解决上下长文提交的token和幻觉的效果都不错，问题就是还是贵，个人如果肯实验确实是下成本的
现在体验消费的话整个消费的层级也会比较平滑的，能让很多人都接触到ai，真是感叹世界真的在进步