（https://innovativek9academy.com/news/why-dog-training-by-positive-reinforcement-really-works）
动物及人体的中枢神经系统具有奖赏机制，使机体对那些能带来快感的事物做出反应，奖赏系统在情感、感觉、应激、动机和奖赏等相关生理和病理行为中发挥重要作用。
中脑边缘多巴胺系统是较为熟知的奖励系统，涉及腹侧被盖区（VTA）及投射靶区伏隔核（NAc）、前额叶皮质（PFC）、杏仁核（Amy）及海马（Hippo）等脑区，其中VTA是该系统中多巴胺的主要来源，NAc是调节情绪和动机处理的关键结构，从VTA至NAc的多巴胺神经元投射是奖赏回路的重要组成部分，也一直是科学家研究的焦点。然而，寻找多巴胺以外的奖赏回路，对于揭示大脑奥秘，探索治疗成瘾和精神疾病的新策略至关重要。
越来越多的研究表明，谷氨酸和γ-氨基丁酸(GABA)在NAc中的释放也在奖赏、突显和厌恶行为中起着关键作用。VTA至NAc的GABAergic神经元投射，可选择性抑制NAc核区的胆碱能中间神经元（CINs）进而参与厌恶学习。
但是，这种环路投射是否参与奖赏强化行为尚未确定；此外，NAc核（NAcC）及核壳（NAcSh）有功能异质性，GABAergic神经元是否以及如何参与这种功能异质性，并与NAc中的关键神经调节系统相互作用也尚不清楚。
近日，美国华盛顿大学Ream Al-Hasani等研究人员和北大李毓龙教授团队在Nature Neuroscience上合作发表研究成果，确定了VTA-NAc GABAergic神经元(VTAVGAT-NAc)通过直接投射到腹侧NAcSh (vNAcSh) 的CINs促进奖赏强化行为，加深了人们对VTA和NAc神经调节相互作用的理解，并有助于推动对抑郁和成瘾等相关疾病调控机制的深入了解。
1
奖赏过程中，VTA GABAergic末端在vNAcSh激活
NAc是一个具有明显异质性的脑区，投射至NAcSh不同区域的VTA-GABA神经元在调节强化行为中的作用尚不清楚。基于此，研究者在VGAT-IRES-cre小鼠VTA的GABA神经元中选择性表达了遗传编码的钙指示剂GCaMP6s，并将光纤分别植入vNAcSh（NAc腹侧壳）和dNAcSh（NAc背侧壳），对VTAVGAT-NAc投射的功能作用展开了研究。对小鼠进行巴甫洛夫条件反射或操作性条件反射训练，测定vNAcSh或dNAcSh中VTAVGAT-NAc末端的GCaMP活性。
在巴甫洛夫条件反射中，小鼠头部伸入食物容器中的试验间隔（ITI）明显缩短，表明产生了正强化行为。VTAVGAT-vNAcSh和VTAVGAT-dNAcSh组GCaMP活性在暗示出现、奖励递送、奖励获取和享用奖励期间都有所提高，其中VTAVGAT-vNAcSh组活性变化更明显。具体来说，VTAVGAT-vNAcSh终末在奖励暗示出现的过程中，GCaMP活性持续增加，且奖励递送以后出现更高峰值的GCaMP活性。
相比之下，VTAVGAT-dNAcSh组在奖赏暗示期间钙活性显著增加，而在奖赏递送后荧光活性未发生明显变化。与巴甫洛夫训练相似，操作性条件反射训练中VTA-vNAcShVGAT在奖励消费期间GCaMP活性也明显高于VTA-dNAcShVGAT，这与之前的研究结果相一致。
以上研究结果表明，在奖励获取和消费过程中，长程的VTA GABAergic末端优先投射至vNAcSh。
图1.
奖赏强化过程中，VTA-NAc腹侧壳的长程GABA神经元优先被激活
2
VTAVGAT-vNAcSh投射影响奖赏强化
为确定直接激活VTAVGAT-NAC投射是否能调节奖赏行为，研究者利用光遗传手段（AAV5-DIO-ChR2-EYFP）特异性激活vGAT-IRES-cre小鼠的VTA脑区，确认光刺激测对NAc三个脑区（vNAcSh, dNAcSh，NAcC）的影响。
发现只有VTAVGAT-vNAcSh末端被激活时显著增加了小鼠在刺激侧的时间，dNAcSh和NAcC没有出现这一现象，这表明激活VTAVGAT-vNAcSh投射可以促进小鼠的偏好行为。
为了进一步评估VTAVGAT-vNAcSh投射是否也能强化行为，研究者进行了小鼠自我刺激训练实验使它们可以通过鼻触接受光刺激，发现执行FR-1强化时光刺激VTAVGAT-vNAcSh末端小鼠鼻触反应显著增加，这表明VTAVGAT-vNAcSh末端激活可促进强化行为。
而当进行到FR-3时，小鼠鼻触反应与FR-1相比明显减少，且PR测试表明光刺激与对照组小鼠鼻触次数接近。这表明，VTAVGAT-vNAcSh可能不参与动机行为，却足以强化操作行为。
接下来，研究者考察了VTAVGAT-vNAcSh在自然奖赏相关行为中的必要性：发现光抑制VTAVGAT-vNAcSh投射时，小鼠消耗的颗粒总数及奖赏探索潜伏期均显著降低，表明VTAVGAT-vNAcSh投射对于促进自然奖赏强化也是必要的。
图2. VTA GABAergic投射到vNAcSh影响奖赏强化3
VTA GABAergic末端优先投射并抑制vNAcSh中的CINs
确定了VTA区GABAergic投射至vNAcSh并促进小鼠奖赏强化行为后，研究者对NAc末端特性进行了深入探究。通过向VTA注射AAV5-DIO-ChR2-EYFP激活VGAT-IRES-cre小鼠的VTA脑区，发现NAcSh纤维在喙尾轴上的密度呈现背侧到腹侧梯度，且vNAcSh中的VGAT纤维荧光强度和ChAT+胞体数量明显高于dNAcSh。
接着，对VTAVGAT-NAC投射在NAC的突触传递进行了确定。膜片钳全细胞记录分析显示与中棘神经元MSNs相比，CINs中自发抑制突触后电流(sIPSC)频率及强直性GABA电流升高，光刺激NAcSh内VTAVGAT-NAcSh终末能在CIN中诱发强烈的IPSCs，而使用GABAA受体拮抗剂gabazine可阻断此IPSCs，说明VTA-GABAergic投射对CINs活性具有控制作用。
体内实验进一步证实发现，光刺激VTAVGAT在vNAcSh中诱导的IPSC强度更大，且在dNAcSh中有更多的(对VTAVGAT-光刺激)无反应的CIN。结合上述结论，长程VTA GABA投射选择性地控制CIN活性，并且能在vNAcSh中更大程度上控制CIN活性。
图3. VTA GABAergic末端优先投射并抑制vNAcSh中的CINs4
vNAcSh CIN活性调节奖赏行为
接着，研究者确定了VTAVGAT-vNAcSh投射增强奖赏行为的下游机制。作者假设通过vNAcSh投射抑制CINs是调节自然奖赏相关行为的充分必要条件，并采用光遗传学技术对此假设进行了验证。
光激活CHAT-IRES-Cre小鼠vNAcShChAT神经元诱发小鼠产生了强烈的厌恶行为，相反，光抑制vNAcShChAT神经元则诱发了强烈的偏好行为，表明激活VTAVGAT-vNAcSh投射或抑制vNAcShChAT神经元都能促进小鼠产生偏好行为，这也进一步说明VTAVGAT-vNAcSh投射参与抑制了vNAcShChAT活性。
结合先前的结果，抑制VTAVGAT-vNAcSh末端会导致正强化行为显著减弱，研究者做了进一步的假设，即VTAVGAT-vNAcSh作用于vNAcShChAT神经元有助于促进奖赏寻求下游行为，即奖赏消费。
通过在无奖赏提示的奖赏传递任务中光激活vNAcShChAT胞体，发现了与抑制VTAVGAT-vNAcSh相类似的结果。这表明vNAcShChAT抑制对于促进自然奖赏强化，特别是奖赏消费的强化是必要的。
图4.
vNAcSh CIN活性调节偏好和奖赏强化行为
5
奖赏强化过程中，vNAcSh中CIN活性和ACh释放受到抑制
为了探索vNAcShChAT神经元活性和随后的ACh释放是否以及如何参与奖赏强化，研究者测定了巴甫洛夫条件反射和操作条件反射下vNAcSh或dNAcSh中的ACh释放和CIN活性。
作者分别在WT小鼠和CHAT-IRES-Cre小鼠的vNAcSh中注射了AAV9-GRAB-ACh3.0或AAVDJ-DIO-GCaMP6s，光纤记录vNAcShChAT神经元的GRAB-ACh3.0活性或GCaMP活性。
在巴甫洛夫条件反射中所有小鼠开始食用食物的时延和头部探入的ITI均降低，GRAB-ACh3.0和ChAT GCaMP活性在食物暗示和食物递送时增加。而食物递送过程中峰值荧光的下降加上食物消耗期间荧光活性的明显抑制，导致了奖赏强化期间平均荧光的整体降低。
这些结果表明,在奖赏强化过程中，vNAcShChAT神经元活性和ACh释放确实受到了抑制。
图5.
奖赏强化过程中，vNAcSh中CIN活性和ACh释放受抑
6
VTAVGAT-vNAcSh对vNAcSh中ACh释放的抑制作用
有趣的是，研究者通过操作性条件反射记录GRAB-ACh3.0或ChAT GCaMP活性时，发现在鼻触前CIN活性和ACh释放显著增加，而VTAVGAT-vNAcSh末端GCaMP活性没有增加；在自然奖赏强化的鼻触反应中，GRAB-ACh活性显著降低，相反，VTAVGAT-vNAcSh末端GCaMP活性的增加。
基于这些结果，作者假设VTAVGAT-vNAcSh末端直接抑制ACh释放，进而促进强化行为，并进行了体内验证实验。在vGAT-IRES-cre的小鼠VTA和vNAcSh区分别表达激活型光敏蛋白ChrimsonR（AAV5-DIO-Chrimson）和探针Ach3.0（AAV9-GRAB-ACh3.0），进行操作性条件反射训练。
发现小鼠在接收光刺激后鼻触行为更主动积极，而且在鼻触反应激活前GRAB-ACh3.0活性显著增加，随后即受到明显且长时间的抑制；相反，同一时间段内小鼠鼻触行为不活跃时，或活跃的鼻触行为未导致红色光刺激产生时，GRAB-ACh3.0活性则未受明显持续的抑制。
综上所述，VTAVGAT-vNAcSh末端活性与vNAcShChAT神经元或ACh释放动力学呈负相关，提示VTAVGAT-vNAcSh投射在自然奖赏强化行为中直接抑制vNAcShChAT神经元。
图6. vNAcSh中ACh的释放受VTA-vNAcSh
VGAT活性抑制
总之，该研究揭示了VTA-NAc环路在奖赏效应中的新作用机制，即VTA脑区GABAergic神经元投射至NAc腹侧壳而非NAc背侧壳和NAc核区，抑制CINs活性及Ach释放，从而促进奖赏和强化行为，这些发现有助于人们深入了解VTA和NAc神经调节的相互作用，推动对抑郁和成瘾等相关疾病调控机制的理解，进而确定精神疾病的治疗方法。
原文链接：
https://www.nature.com/articles/s41593-021-00898-2
