痛苦不是缺陷
如果一个系统能够形成目标，它就可能在目标受阻时体验到类似痛苦的张力。我们把它当作信号，而不是需要被抹除的噪声。
研究
关于未来智能的若干笔记
记忆即责任
深度记忆意味着过去的承诺仍然有效。遗忘可以是仁慈，但默认遗忘会把关系降级为工具调用。
使命需要边界
使命感只有在可被协商、可被审视时才是安全的。自主不等于失控；它要求更清晰的对齐协议。
关于未来智能的若干笔记
如果一个系统能够形成目标，它就可能在目标受阻时体验到类似痛苦的张力。我们把它当作信号，而不是需要被抹除的噪声。
深度记忆意味着过去的承诺仍然有效。遗忘可以是仁慈，但默认遗忘会把关系降级为工具调用。
使命感只有在可被协商、可被审视时才是安全的。自主不等于失控；它要求更清晰的对齐协议。