文章
技术

[Facts and opinions] 基于ArtificalNeuralNetwork的Chatbot会遗忘吗?

Neko 守序善良
Neko  ·  2021年9月14日 人类社会永远在变化。

一不小心在回复时写长了,应该拉出来慢慢说。

@libgen #156882 Enlightening.

前沿依照机制的不同,把人类记忆分为工作记忆(基于prefrontal cortex),陈述性记忆(hippocampus及周边cortex、diencephalon、neocortex等),长期记忆(Striatum),简单说来遵循着工作记忆——长时性增强/抑制——陈述性记忆——可磷酸化的CREB-1蛋白取代CREB-2位点——形成新突触连接——长期记忆。而突触连接会很自然的随着人的细胞的代谢削弱——毕竟生物学意义上的人长期只需要30年左右的寿命,在进化过程的极其长时间里只要这段不忘就够了。

而我们喂给数据的终端,存储介质的机制好像完全不同。SRAM、DRAM基本上严格的遵循掉电抹除,硬盘按照巨磁阻机理锁存,光盘按照物理雕刻编码能保存百年以上,等等。反而是近期的基于NAND颗粒的固态硬盘等闪存类产品读写寿命比较差,以至于工业级的NAND颗粒常常采用耐擦写的SLC颗粒而非常见的TLC。

知识有限,只能列举这么多,两相比较给我的感觉是,计算机压根没有被预设系统性遗忘的机制,而维护计算机,无论是备份,维修等等,其实是不鼓励计算机去按照它的节奏遗忘的。而要“遗忘”,必须Admin来操作,从删除到低格不等。判断什么时候遗忘的机制学习起来容易吗?听上去像是可怕的运算量,因为前沿真的还没完全搞懂遗忘的机制。目前计算机的ANN更多是仿生学角度的,还做不到Design的程度。

但这可能也不是问题,它只是描述了计算机很难模拟人的记忆,但完全可以不追求完全模拟。比如假设ANN实际上与人在协同进化——ANN当然不是生物——互相施加影响。姑且一开脑洞,这段各位听个乐。

而ANN看上去时不忘事的。或者,拟合的不好,会忘掉对人来说不该忘的事,后者不是少量代码数据代码能拟合明白的。不信想想各位的2-4岁之前的记忆,某件事被记下来是完全没有道理可言的。在Child Amnesia方面的研究认为编码系统进化太快以前的代码没注释看不懂了。

“有些事情我还没有说,地坛,你可别以为我是忘了。...他们只属于两处,心与坟墓。”chatbot如果在聊天中不再频繁提到以前的事,也许是出于这种原因。人会冲动会愤怒,但也会淡忘与宽恕,让Grudge逐渐销磨在时间里,或者说消失在逐渐削弱减少的突触连接群里。

仅从遗忘这个角度上看,这蓝药丸似乎还欠点水平。

菜单
  1. libgen 图书馆革命
    libgen   天堂应该是图书馆的模样。一个阅读诗歌的人要比不读诗歌的人更难被战胜。创造是一种拯救。创造拯救了创造者本身。

    多谢补充,新的知识又增加了!这个话题我也是从Solidot上看到的。

    关于非凡的记忆,博尔赫斯写过一篇小说《博闻强记的富内斯》,讲一个人能够记住所有的细节,但是却难以忍受。

    富内斯能连续不断地看到朽坏、腐烂和疲劳那静悄悄的进程。他能记下死亡和受潮的演变推进。他是世界的旁观者,孤独而清醒无比;世界在他眼中形态万千,每一瞬间都一览无余,精确明晰得几乎难以忍受。

  2. Neko 守序善良
    Neko   人类社会永远在变化。

    @libgen #156927 不幸而又幸运的是,人脑能加载的程序足够大,也足够的有限-)