当多个参与者各有目标、彼此影响,并且可能不断学习时,合作为什么有时能够形成,有时却会瓦解,甚至产生新的集体风险?
这里的智能体是指能够观察环境并选择行动的参与者,可以是人、机器人、按固定规则运行的程序,也可以是会调整行为的人工智能系统。多个智能体处在同一个环境中,一个的选择会改变另一个的收益或处境,就构成了多智能体系统。例如,多个机器人共同完成任务、多个 AI 助手分配共享资源,都需要处理个人目标与整体结果之间的关系。需要注意的是,这些智能体不一定都具备学习能力。
我们特别关注的是,加入学习、模仿、伙伴选择和信息交流以后,互动会怎样变化。主要分成三个相互补充的层次:博弈论解释给定规则下各方为什么作出某种选择,概念学习与社会学习讨论模型如何获得表征、行为和规范,群体动力学研究许多个体反复调整策略以后,整个系统会走向哪里。三者分别提供激励分析、学习方法和长期演化的视角。
博弈论:激励、协调与承诺
博弈论的出发点是:当收益取决于别人的选择时,仅仅把自己的目标优化好,仍然可能得到令人失望的集体结果。在普通优化问题里,决策者选择变量来最大化一个目标函数;在博弈里,第 个参与者选择动作 ,收益却是 ,其中 表示其他人的选择, 是衡量这一结果对参与者 有多好的数值。每个人都需要考虑别人如何行动,而别人也在作同样的推理。对 AI 来说,这意味着多个分别优化自身奖励的智能体放在一起,可能出现单个智能体独立训练时看不到的问题。
囚徒困境是最直接的例子:假设参与者 A 与 B 都可以选择合作 或背叛 ,每个格子里的第一个数字是 A 的收益,第二个数字是 B 的收益:
| A 的选择/B 的选择 | B 合作 | B 背叛 |
|---|---|---|
| A 合作 | ||
| A 背叛 |
如果 B 合作,A 背叛可以得到 5,合作只能得到 3,而如果 B 背叛,A 背叛可以得到 1,合作只能得到 0。所以,无论 B 怎样选择,背叛对 A 都更有利。博弈论把这种选择叫作严格占优策略。B 也可以作出完全相同的推理,于是两个人最后都会背叛,各得 1,但双方合作本来可以各得 3。
这个例子揭示了核心动机:每个人都追求自己的局部利益,仍然可能把系统推向所有人都更不满意的结果。
为了描述这种局面,博弈论引入纳什均衡:当其他人的策略保持不变时,没有任何一个人能通过单独改变自己的策略,让自己获得更高收益。把候选均衡中的动作加上星号,可以写成
这个不等式对每个参与者 和其每一种替代选择 都成立,左边是在均衡中得到的收益,右边是只有自己改变动作后的收益。囚徒困境中的双方背叛就是纳什均衡,因为面对一个背叛者,单独改成合作只会使自己的收益从 1 降到 0。但纳什均衡并不保证公平,也不保证总收益最大。
这就引出了帕累托改进这个概念,指的是在不让任何人变差的前提下,让至少一个人变好。例如,从双方背叛变成双方合作,可以让两个人都从 1 提高到 3,所以双方背叛的均衡并不是帕累托有效的。
合作失败并不只来自个人激励,也可能来自信任不足,猎鹿博弈展示的就是这种结构。双方一起猎鹿,各得 4;双方各自猎兔,各得 2;但如果 A 猎鹿而 B 猎兔,A 得到 0,B 得到 3,反过来也是一样。双方猎鹿与双方猎兔都是纳什均衡:确定对方猎鹿时,自己也愿意猎鹿,确定对方猎兔时,自己也愿意猎兔。问题在于,各方有多相信对方会配合。
设对方猎鹿的概率为 ,两种选择的期望收益为
只有当 时,猎鹿才更划算;在 时,两种动作一样好。因此,即使大家都知道一起猎鹿的收益更高,只要彼此信心不足,就可能停留在收益较低的猎兔均衡。这里需要解决的是信任和协调:一旦双方已经共同猎鹿,任何一方都没有单独退出的利益,这与囚徒困境不同,后者在对方合作时仍然存在背叛的诱惑。
再来看胆小鬼博弈,也叫 Chicken,它揭示了另一种困难:双方都希望由对方承担让步。设两辆车相向而行:双方都转向,各得 2;A 直行、B 转向,A 得 3、B 得 1,反过来也是一样;但双方都直行就会撞车,各得 0。两个纯策略均衡都是一方直行、另一方转向,而两个人都希望自己成为得到 3 的那一方。
纯策略是确定选择某个动作的策略。到目前为止,囚徒困境、猎鹿和 Chicken 讨论的都是纯策略均衡,它们分别体现了个人激励与共同利益的冲突、对配合缺乏信心,以及谁来承担让步的分配冲突。所以在分析实际的多智能体问题时,先辨认这些结构,才能判断改变奖励、建立信任或调整协调规则,哪一种干预更可能有效。
除了确定地选择某个动作,我们还可以采用混合策略,也就是给不同动作分配概率。假设 Chicken 中对方以概率 转向,自己转向的期望收益为 ,直行的期望收益为 。在双方都要随机选择这两个动作的均衡中,两种动作必须一样划算,否则就会只选择更好的那个。令两者相等,就得到 。因此在对称混合均衡中,双方独立地各以一半概率转向,各自的期望收益为 ,撞车概率却有 。可见,一个满足纳什条件的结果仍然可能包含显著风险。不过,混合策略本身就是一种正式的行动规则:在某些竞争环境中,让对方无法准确预测自己的动作,就有战略价值。
更一般地,纳什存在定理告诉我们,每个有限博弈都至少存在一个混合策略纳什均衡,纯策略均衡也可以看成把概率全部放在一个动作上的特殊情况。但均衡存在并不意味着问题解决:当存在多个均衡时,还要解释系统为什么会选择其中某一个,而这正是后面群体动力学要继续研究的问题。
接下来看承诺如何改变博弈。如果在 Chicken 中,A 能提前作出一个 B 看得见、相信会执行而且无法撤销的直行承诺,B 的最佳回应就会变成转向,A 可以获得 3。可见,承诺的作用在于改变对方需要解决的决策问题;不过,当双方都拥有这种能力时,整个结果还取决于承诺阶段的具体规则。
程序博弈
程序博弈把这个思路又推进了一步。普通囚徒困境要求参与者提交一个动作,而程序博弈允许提交一段程序:程序可以读取对手的程序,再决定合作还是背叛。例如 CliqueBot 的规则是:如果对方代码与我相同,就合作,否则背叛。两个 CliqueBot 相遇时会合作;但如果其中一个人换成不同程序,另一方就会背叛,因此偏离者无法再获得趁对方合作时背叛的高收益。由此,程序博弈中的合作均衡与原始一次性囚徒困境中的双方背叛并不矛盾。
CliqueBot 的问题是过于依赖代码形式:两个行为完全一样、但写法不同的程序,也可能无法合作。FairBot 因而尝试把判断标准改成能否证明对方会对自己合作,并在能够证明时合作,这样就把合作建立在可验证的行为保证上。不过,这种保证依赖证明系统可靠、程序描述正确,以及实际执行符合被证明的对象。
另一种办法是 GroundedFairBot,下面简称 :以小概率 直接合作,其余时候模拟对方如何对待自己,再复制对方的结果。 面对自身时会出现递归模拟,但每一层都有 的概率停止并返回合作,合作结果再沿调用链返回。因此,当 时,自我对弈中的调用链以概率 1 终止,双方最终合作。要判断这种合作是否构成程序策略上的均衡,还必须说明允许怎样的偏离:考虑双方原本都使用 ,其中一方可以单独换成一个几乎必然终止并返回动作的程序 。各次执行使用新的独立随机数,实际对弈中的 与模拟调用中的 也独立。令 表示 面对 时合作的概率,那么 面对 的合作概率为 ,沿用前面的囚徒困境收益,偏离者的期望收益可写为
比较这个二次式与原本双方合作时的收益 3,可以得到:在这组独立性与程序限制下,恰好当 时,任意允许的随机程序偏离都不能带来更高收益。如果只检查永远背叛,对应 ,就只会得到较宽松的 ,漏掉其他可能获利的随机偏离。这个例子说明,只测试几个明显的坏策略,还不足以证明完整的稳定性。此外,小 意味着更长的自我对弈平均调用链,而且以概率 1 终止仍然不能提供固定的最坏运行时间上界。
博弈论这一部分的主要收获,是把合作困难拆解成可分析的激励、信息和承诺结构;但它同时也留下了实际 AI 中很难回答的问题:智能体是否真的能够理解彼此的策略?理解不完整时,怎样建立可信合作?有多个合作均衡时,学习会选择哪一个?这些问题需要进一步加入学习算法、有限算力与不确定性。于是,下一步自然转向智能体能学到什么,以及所学内容能否支持可靠行为。
概念学习、社会学习与合作规范
这一部分讨论三个相关主题:通过人能够理解的抽象概念学习,通过其他行动者学习,以及形成支持合作的亲社会行为。概念学习部分介绍了具体的神经网络训练方法与实验,社会学习和合作部分则结合文化演化、社会规范与大语言模型的多智能体研究,三部分共同关心的是,如何让学习获得的能力在新情境与群体互动中发挥作用。
概念学习部分的动机在于,模型可能以错误的方式取得正确答案。例如,如果训练数据中的数字 0 总是红色,模型就可能学到红色意味着 0,而没有真正依赖数字形状:训练准确率可以很高,但把 0 改成紫色以后就失败了。可解释性研究希望找到模型到底依赖了什么,并进一步追问,能否把这种诊断变成改进模型的方法。
一个重要工具是概念激活向量,英文为 Concept Activation Vector,简称 CAV。设输入图像为 ,网络某一层的内部表示为 。准备一组体现某个概念的样本,例如条纹图片,再准备一组对照样本,将它们送入网络,得到两组内部表示,然后训练一个线性分类器,把两组表示分开。分类超平面的法向量经归一化后记作 ,用来表示概念 在这个激活空间中的方向,这样,条纹、颜色、纹理等人能够描述的概念,就获得了可以计算的几何表示。有了概念方向,就可以进一步计算模型输出沿这个方向的敏感性。
如果 是模型对类别 的输出分数,那么
它表示内部表示沿概念方向发生很小变化时,这个类别的分数会怎样变化。其中,梯度 描述分数对内部表示各个分量的反应,与概念方向作内积,就取出了沿这一方向的变化率,也就是方向导数。在此基础上,TCAV(Testing with Concept Activation Vectors)把这种样本级分析汇总到一组样本上,Concept Distillation(概念蒸馏)则进一步把这种检查变成训练约束。具体来说,设 是原来的任务损失,再增加一个概念损失 ,总损失变为
其中 控制概念约束相对于原任务的权重。在减少某种概念依赖时,概念损失使用被约束损失的梯度与 CAV 之间夹角余弦的绝对值,最小化它会鼓励二者接近垂直。几何上,梯度垂直于概念方向,就意味着沿该方向的小幅变化,对被约束损失的一阶影响较小。这里取绝对值很关键:如果只是让梯度朝 CAV 的反方向移动,模型仍然可能强烈依赖这个概念,只是依赖的符号反了,因此减少依赖需要压低这一方向上的变化幅度,而不能仅仅把正相关改成负相关。
这套方法还有两个重要组成部分。第一个是原型:把同一类别样本在某个中间层的表示聚类,得到若干类别代表点,再用样本表示到这些代表点的距离构造中间层损失 。这样可以对中间表示施加训练约束,而不只是观察最终分类分数怎样变化。原始 TCAV 本来就可以研究中间层的概念方向,在此基础上,这项工作进一步借助原型给中间层建立训练参照,并利用相应梯度约束概念敏感性。
第二个组成部分是教师模型:如果学生模型本身已经学偏了,从学生内部抽出的概念方向也可能不可靠,因此作者利用较强的预训练视觉模型提供概念表示,并学习教师与学生表示空间之间的映射,再把这些概念用于学生的训练。
概念方法还有一些其他用途。一个例子是本征图像分解,把图像近似写成反射率 与光照阴影 的逐点乘积 ,其中 表示对应位置相乘,目标是让物体本身的颜色主要体现在 中,让光照变化主要体现在 中,概念敏感性则可以用来检查并约束这种分工。另一个例子是后门防御:模型可能因为某种触发图案,把不同类别的输入都推向攻击者指定的类别,而原型引导的防御利用激活空间中的几何关系,微调模型以减少这种异常依赖。
这部分的不足也很明确。首先,人给出的概念样本可能不纯,例如所谓条纹方向可能混入颜色或形状;其次,一个线性方向可能无法覆盖复杂概念,局部梯度小也不意味着较大变化下完全不受影响;再者,教师模型可能带入自己的偏差,学生也可能在压低一个可测量方向后,转而使用其他替代线索。因此,从这些结果进一步走向更可靠的可解释性,需要检查概念定义是否稳定、干预是否真的改变目标机制,以及效果能否跨模型、跨环境保持。
可解释性不仅可以用来描述模型,还可以提出可检验的干预,然后观察模型是否按照预测改变。
模仿、互惠与社会规范
从概念学习转向社会学习,问题也从怎样表示一个概念扩展到怎样从别人的行为中获得能力。模仿学习让智能体从专家示范中学习动作,而策略蒸馏则让学生的动作概率分布接近教师的动作分布,例如最小化
其中, 表示当前情境, 和 分别是教师与学生的策略,也就是在该情境下对不同动作分配的概率, 是散度。如果专家在某个情境下几乎总选择一个动作,学生就被训练得更倾向于这个动作。这样做可以减少每个智能体都从零试错的成本,但学习成功者也可能传播错误策略、偏见和短期投机,所以还要研究谁被当作榜样,以及系统怎样定义成功。
合作机制首先涉及重复互动与互惠。沿用前面的囚徒困境收益,可以用一个补充推导说明未来关系如何改变眼前选择。假设同一对参与者无限次互动,双方都能准确观察过去的动作,未来收益按折扣因子 折算, 越大,表示越重视未来。双方采用严厉触发策略:只要过去没有发生背叛,就继续合作;一旦有人背叛,以后就永远背叛。持续合作的价值为 ,若在合作阶段背叛一次,随后进入双方背叛的价值为 ,比较两者可得,当 时,合作能够抵御这种偏离。同时,惩罚阶段的双方背叛本身也是单轮纳什均衡,因此这项惩罚具有继续执行的激励基础。
不过,这个计算依赖无限期或相应持续互动结构、动作可观察和可信的后续行为。如果双方共同知道博弈将在某个确定的有限轮数结束,并采用标准的完全信息、共同知晓理性等假设,那么最后一轮仍会背叛,向前倒推也会得到每轮背叛。
除此之外,还有一些维持合作的机制:直接互惠是“对方以前帮助过自己,所以现在帮助对方”,间接互惠是“对方帮助过别人,因此愿意帮助对方”,网络互惠让合作者更容易在局部网络中彼此支持,群体层面的选择则关注合作较好的群体是否更容易保存和传播自己的行为方式。另外,亲缘选择也是人类与生物合作背景之一,涉及帮助遗传上相关的个体所产生的演化效应。
捐赠者博弈提供了一个直观的实验环境:一个智能体付出 单位资源,另一个得到 ,总资源增加了,但捐赠者眼前承担成本,所以始终不捐赠的人可能搭便车。2024 年的《Cultural Evolution of Cooperation among LLM Agents》让智能体观察他人的近期行为,并把成功策略以自然语言传给后续世代。论文测试了 Claude 3.5 Sonnet、Gemini 1.5 Flash 和 GPT-4o,在文章的实验配置下,Claude 3.5 Sonnet 群体更能形成持续合作,另外两种模型表现较弱,而且结果会随初始策略和重复运行而变化。这项实验中的演化主要发生在策略文本、互动经验和跨代传递层面,后续世代继承的主要是行为指导和经验,底层神经网络并不一定随每一代更新。因此,行为逐渐改变可能来自提示策略的传播,而不一定说明模型参数学会了新的道德能力。要解释合作的来源,就需要分别考查预训练知识、当前提示、记忆和选择机制:这些因素可能产生不同的泛化能力,也需要通过消融实验来识别。
此外,《Group Selection Promotes Prosocial Prompts in Populations of LLM Agents》进一步把选择机制本身设为实验变量:根据个人收益决定哪些策略传播,与根据群体收益决定哪些策略传播,会产生不同结果。论文在其模拟中发现,群体选择有助于传播亲社会提示并维持合作,个人选择则更容易使自利策略占优势。这个结果表明,群体行为不仅取决于模型是否收到合作要求,还取决于系统保留和复制什么样的成功经验。另一项研究《Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents》则把问题放进公共资源环境:多个智能体共同使用会再生、也会被耗尽的资源,每个智能体都可能希望多拿一些,但过度取用会破坏整个系统的持续运行。作者构建了 GovSim,并发现有效沟通和对长期后果的推理对可持续合作很重要。不过,在论文当时测试的设置中,最高生存率仍低于 54%,说明即使有语言交流能力,维持资源系统也并不容易。需要注意,这里的“生存”关注的是模拟社会能否在资源约束下持续下去。此外,如果让智能体考虑“如果所有人都这样做,会怎样”的普遍化推理,也许可以改善可持续性。
合作进一步涉及社会规范,也就是群体对某种情境下应该怎样行动形成的共同期待。适宜性理论强调行动者有时会根据情境和身份生成行为,例如判断现在是什么场合、自己承担什么角色、承担这个角色的人通常应该怎样做。在这种视角下,规范是一种被学习和传递的情境模式。照这个思路,LLM 从大量文化文本中学到的行为模式,也可能成为规范行为的来源。
Concordia 等生成式智能体建模工具,使研究者能够把角色、记忆、环境和行动结果放进持续互动的模拟中。有研究者思考,若按照诚实、谦逊等行为标准训练单个模型,是否有助于改善多智能体系统。但这里存在三个需要分别检验的层次:模型能表达某种价值,单个模型在测试中表现出某种行为,以及许多模型长期互动后维持这种行为。更进一步说,合作本身也不一定是好事:如果一个群体内部很团结,也可能排斥外部参与者;多个 AI 很会协作,也可能一起欺骗监督者或争夺资源。
群体动力学
我们还可以直接研究群体的长期变化,这里主要介绍两项工作:一项研究使用策略梯度的智能体如何通过伙伴选择形成合作,另一项研究在快速变化的网络上,相互模仿的智能体如何形成共识或稳定分布。
建模前要明确四件事:智能体如何行动和学习,奖励怎样计算,彼此如何互动,以及环境有哪些约束。这里把每个智能体的行为简化为合作概率 , 表示每次有 80% 的概率合作。为了得到可以解析的动力学,收益也换成一种具体的捐赠博弈设定:合作让对方受益 ,自己承担成本 ,其中 。在通常的记法中,双方合作、自己合作而对方背叛、自己背叛而对方合作、双方背叛时,个人收益分别是 。这种设定仍然具有囚徒困境的结构。为了计算方便,也可以把这四个收益统一加上常数 ,写成 。
这里用 表示群体中采用合作策略的个体比例,用 和 表示合作与背叛的平均收益,复制子方程为
其中, 表示 随时间的变化速度,正值意味着合作比例增加,负值意味着合作比例减少。这个模型用收益较高的策略在群体中扩张来描述演化或模仿过程。对随机匹配的捐赠博弈,合作相对背叛总要多付出成本 ,所以 ,方程变成
从任何 的内部初始比例出发,合作都会逐渐消失。这说明,如果互动规则没有让合作带来的好处反馈到合作者自身,单靠成功策略传播通常不会自动解决社会困境。
同一个方程框架还能揭示均衡的动态性质为什么不同:在猎鹿博弈中,令 表示选择猎鹿的个体比例,随机匹配时,猎鹿收益为 ,猎兔收益为 ,所以对应的动力学为
内部点 是一个不稳定的分界:稍高于它,猎鹿比例就继续上升,而稍低于它,猎鹿比例就继续下降。
Chicken 则不同,令 表示选择转向的个体比例,转向与直行的收益差为 ,于是
内部点 是稳定的:低于它时转向比例增加,高于它时转向比例减少。所以,即使两个博弈都有内部混合纳什均衡,学习过程也可能把系统推向均衡,或者把它从均衡推开。另外,复制子方程在一种策略完全消失时可能停住,因为模型没有突变机制来重新引入它。
策略梯度与伙伴选择
有了复制子模型作参照,再来看伙伴选择研究。它采用的是策略梯度:每个智能体有两个动作分数 ,再通过 softmax 把分数转换为合作概率
把一次参数更新前的互动轮数记作 :在这 轮里,个体用暂时固定的策略概率行动,收集奖励,结束后再更新参数;同时,其他智能体的策略分布在这段短互动中也视为固定,只有跨过多次参数更新以后,个体策略和群体分布才会持续演化。
把随机参数更新取平均,并近似为连续时间以后得到
其中 是学习率, 汇总各轮动作对后续收益的影响,再设 是从第 轮起直到本次互动结束的剩余总回报,有
也就是说,在某一轮把动作从背叛改成合作,保持后续行动规则不变,预期剩余回报会改变多少,再把各轮的差值相加。对于 的智能体, 为正,所以当前合作概率增加还是减少,由 的符号决定。
这里的 是一个学习者自己的合作概率,前面复制子模型中的 则是采用某个纯策略的人口比例。两者描述的对象不同,所以即使两种模型都趋向背叛,变化速度也不一样。在每轮都重新随机匹配、一次更新前互动两轮的模型中,,所以
由此可见,当合作概率接近零时,它大致按 衰减,而复制子模型中的合作比例接近零时则按指数速度衰减。原因是 softmax 接近确定动作时,概率对分数变化的敏感性变小,学习也会变慢。
伙伴选择规则 Out-for-Tat 改变了下一轮遇到谁:如果双方这一轮都合作,就继续与原伙伴互动,否则重新从群体中抽取伙伴。它与通常译作“以牙还牙”的 Tit-for-Tat 不同,后者直接根据对方上一轮动作决定自己的下一轮动作。这里智能体本身仍然可以使用不记忆历史、也不区分伙伴身份的合作概率,但匹配机制保留了上一轮是否共同合作的信息,因此个体的行动策略虽然无记忆,整个互动过程仍然受到过去动作的影响:经常合作的个体,更有机会保留同样经常合作的伙伴,而背叛者则会失去当前关系。
伙伴选择的价值可以在两轮模型中算出来,但需要先明确适用条件:两轮内每个个体的合作概率固定,各轮动作独立抽样,第一轮伙伴和需要更换的新伙伴都从同一个固定的全群体分布 中独立抽取,且第二轮收益没有折扣因子。
设随机伙伴的合作概率为 ,群体平均合作概率为 。如果自己第一轮背叛,就一定重新匹配,所以下一轮伙伴的平均合作概率是 。如果自己第一轮合作,那么合作概率为 的原伙伴以概率 合作并被留下,否则就更换伙伴。因此下一轮伙伴的平均合作概率是 ,把它与 相减,得到
这就是群体合作概率的方差。第一轮选择合作相对背叛,立即多付出成本 ,但可以通过伙伴筛选,在第二轮多获得期望收益 ;而第二轮已没有更晚的互动,其合作相对背叛的收益差只有 。按各轮剩余回报差求和,得到
这里的 是筛选并保留更好伙伴带来的未来收益, 来自两轮各自的合作成本项。只要前者大于后者,当前合作概率就得到正向的学习激励。这个公式有一个很直观的解释。想象两个平均合作率都为 50% 的群体:第一个群体中,所有人的合作概率都是 50%,而在第二个群体中,有些人非常愿意合作,有些人很少合作。在第一个群体里,换不换伙伴差别不大,因为大家都一样;但在第二个群体里,留住一个可靠伙伴很有价值。因此,平均合作率相同,不代表学习方向相同,群体内部的差异会改变合作的回报。
两轮模型还给出了明确的边界:因为 ,方差最多为 ,所以要存在某个群体分布使 ,必须有 ;而如果初始合作概率在 上均匀分布,方差是 ,初始正向学习则需要 。
不过,群体分布会随着学习改变,方差不一定一直足够大;而且,若个体严格处于 或 ,方程前面的因子为零,它就不会移动。最大方差 恰好由一半个体处于 0、一半处于 1 的分布达到,但这些精确端点本身没有策略梯度流动。
如果要研究整个群体,逐个追踪许多个 的计算量会迅速爆炸,因此可以转向追踪合作概率的分布。用密度 表示时, 是连续学习时间,而
就是合作概率落在 0.7 到 0.8 之间的智能体比例。平均学习使这些概率质量沿着速度场 移动,于是得到运输方程
其中 描述随时间的变化, 描述沿合作概率轴的位置变化, 可以理解为概率质量的流动,整个方程表达的是质量守恒:个体改变合作倾向,但总比例仍然是 1。速度场依赖群体分布,因为遇到什么伙伴、合作能够带来多少未来收益,都取决于其他个体。
按样本更新的策略梯度还带有随机波动:两个初始参数相同的智能体,也可能因为碰到不同伙伴、获得不同回报而逐渐分开。研究因此进一步使用随机微分方程与 Fokker–Planck 方程,描述平均移动与随机扩散,这一点很重要,因为群体差异会影响伙伴筛选的价值。在仿真所用的参数下,保留合作伙伴的规则能够在合作端形成显著群体,而始终换伙伴的规则更容易走向背叛。
变化的网络、模仿与探索
第二项工作把成对互动推广成会变化的网络,每个智能体可以同时与多个邻居联系,连接强度或互动权重记为 ,个体则更倾向于模仿收益较高的邻居。研究用一个 logistic 形式的 Fermi 函数表示这种倾向:
这里 是个体 在当前网络中的收益, 表示 与邻居 比较时向对方学习的倾向, 控制对收益差的敏感程度,当 时,收益差不起作用,。对于连接总权重 的个体,其合作概率按下面的规则改变:
这相当于把各邻居的影响相加:联系越强、越倾向于模仿对方,对方的策略就越能把自己的策略拉过去;除以 则用于归一化这些影响。当邻居的合作概率较高时,相应项把自己向上拉,较低时则向下拉。这样,收益比较与网络关系共同决定个体如何调整行为。
此外,网络本身也在变化,研究采用的具体规则,是让连接权重趋近于双方合作概率的平均值:
其中 是连接适应策略变化的时间尺度。当它远小于策略变化的时间尺度时,连接几乎来得及随时调整到当前目标值,因此可以近似使用 。这一规则使两个高合作个体之间的连接较强,两个低合作个体之间的连接较弱,一高一低时处于中间。这样做的价值在于可以精确分析谁更容易接触谁、谁更容易被模仿以及怎样改变合作结果。
在没有探索噪声时,我们可以从个体方程推导出群体运输方程。在所规定的快速网络模型及相应平均场假设下,确定性的分布方程具有共识极限:分布趋于一个 Dirac 质量 ,这可以理解为原本分散的合作概率最终都集中到同一个水平 。
为了分析什么条件有利于较高合作,研究还考虑初始时存在合作者与背叛者两个簇的情形,把群体问题简化为两个簇的位置如何移动。数值结果表明,最终合作水平依赖收益成本比、初始组成、选择强度和网络机制。随后可以显式加入随机探索,使策略持续产生小幅随机变化,但这个噪声与前一项工作中的随机梯度波动不同:前一项工作中的波动来自采样回报驱动的学习,而这里则把持续探索直接写进个体模型。我们仍然追踪群体策略分布,但用 表示第二个模型的密度,它与前面的 扮演相同角色,只是对应不同的学习规则。 表示当前分布为 时,合作概率为 的个体平均向哪个方向、以多快速度改变策略。若微观探索强度为 ,分布方程中的扩散系数为 ,群体方程就是
漂移项 描述模仿与网络选择把群体推向哪里,扩散项 描述探索怎样持续制造差异。在 与 处采用无通量边界,意味着概率质量不能流出合法的策略区间,可以把它理解为探索到边界时受到反射。若用概率流 来表示,这就是两个边界处都有 。
没有探索时,一旦所有人的策略都相同,模仿就可能失去继续推动变化的差异,而有探索时,新差异不断出现,选择机制可以继续作用。有限体积法在这里用于近似计算随时间变化的密度;而在理论分析上,还需要回答三个不同的问题:是否存在稳态,稳态是否唯一,以及受到小扰动后是否会恢复。先看稳态:有探索噪声时,稳态表示整个群体的概率分布不再随时间改变,而单个智能体仍然可能不断调整策略,只是各方向的概率流在总体上达到平衡。在稳态和无通量条件下,方程可以写成
难点在于漂移场 本身依赖未知分布 。
因此,这是一个自洽问题:先假设群体分布,计算它造成的互动与漂移,再求出这个漂移对应的静态分布,最后要求结果与最初假设一致。可以使用 Schauder 固定点定理证明,在所考虑的条件下至少存在一个这样的自洽解;在探索足够强时,再通过固定点映射的收缩性质证明唯一性。稳定性则需要另外证明:一般做法是在稳态附近加入总质量为零的小扰动,也就是把一部分个体从某些策略位置移到另一些位置,而不改变总比例;再对方程线性化,只保留小扰动的一阶影响,并通过能量估计分析扰动是否衰减。这样可以在相应的充分条件下得到线性稳定性。
两项动力学研究提供了一组相互关联的机制解释:伙伴选择改变未来遇到的对手分布,网络权重改变谁影响谁,随机学习与探索改变群体差异,这些变化再反过来影响个体收益和学习方向。不过,它们的限制也来自明确的建模选择,包括一维合作概率、特定收益、特定伙伴保留规则、快速网络近似,以及大群体描述。相比之下,真实的 LLM 智能体具有语言记忆、身份判断、复杂任务和更高维策略,还需要考虑更多其他因素。
尾声
感觉有点太 theoretical 了,目前想到的几个现在能应用的点:
- 量化市场或者是去中心化场景下的 multiagents 的攻防和博弈;
- 某种 platform 上跑不同厂商不同 base model 的 agent,但不是 main-agent 和 subagent 这种模式或者说架构,而是这些 agent 平级地去做一件事,谁也不是谁的上级或领导。比如说我在 platform 上说让 agents 们去改一个软件或者是程序,不是让某个 agent 去领导,其他 agent 工作完汇报给这个“领导 agent”,而是自行协作完成整个任务。
参考资料
- Robust Cooperation in the Prisoner’s Dilemma: Program Equilibrium via Provability Logic
- Robust program equilibrium
- Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
- Concept Distillation: Leveraging Human-Centered Explanations for Model Improvement
- Cultural Evolution of Cooperation among LLM Agents
- Group Selection Promotes Prosocial Prompts in Populations of LLM Agents
- Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents
- The Dynamics of Policy Gradient in Social Dilemmas with Partner Selection
- Mean-field imitation dynamics on fast assortative networks
喜欢的话,留下你的评论吧~