AI当前最大的问题还是记忆吧

zhuzz

RT，受Transformer的工作方式的影响，上下文只要过多就一定会出现遗忘或者幻觉，感觉这问题不解决的话在游戏行业还是很难推广，之前自己试着手搓了一个基于LLM的类era系统，结果只要经过天数一多就一定会开始各种神回，毫无体验...


目前市场上的主流解决方案都是想办法节省token，本质是缩短上下文，但感觉这个核心问题要是不解决，终究会是个巨大的挡路石..

steve

这跟transformer有啥关系……上文越多token越多，你来什么架构也算不过来啊

OpzrL

人类的记忆往往间歇性总结重要事件，抛弃不重要的小细节……不知道什么时候会有这种能自动整理记忆碎片的AI
现在这种AI语言模型会把上下文中每一个字都完整带进去算，实在是太浪费算力和上下文了

ppss

哈基米有段时间倒是能五十万上文的感觉。现在远远不行了。3.0注意力太拉了只能等正式版看看会不会提升吧

提尔之手

我认为这个问题其实不是单纯的记忆力问题。应该是总结能力和模糊记忆能力。除了目前人类认为患有“超常记忆综合征”的患者，普通的动物基本都是依靠模糊联想能力来保持记忆的。怎么总结归纳，才能用极少的字符命令调动庞大的数据库，可能是解决问题的办法。

baisumang

感觉现在各方面都差点，不光是记忆或者上下文，不知道还得几年才能玩到真正像游戏一样的AIrp

灵闪

所以依靠上下文窗口进行记忆是十分困难的，要做到完美必须通过前端辅助记忆总结（比如外置角色卡和状态栏）

zhang8870

我记得不是有记忆压缩方向的研究么? 可以用很短的一组向量压缩一大段记忆.

不过目前流行的似乎还是分段召回那一套.

RATXU

可以看一下meta去年的研究，https://arxiv.org/pdf/2509.01092

muhua

感觉还得发展很长时间