For example, the finding appears to support the emerging hypothesis that parts of the brain operate at a 「critical point,」 where every neuron influences the network as a whole. In physics, renormalization is performed mathematically at the critical point of a physical system, explained Sejnowski, a professor at the Salk Institute for Biological Studies in La Jolla, Calif. 「So the only way it could be relevant to the brain is if it is at the critical point.」
——Deep Learning Relies on Renormalization, Physicists Find
临界现象中有许多有趣的性质,例如在临界点附近随着体系尺寸的增大,关联长度也会增大,同时对扰动的弛豫时间变得无限长等等,这些性质在简单的物理体系中只有在临界点附近才存在,但是这些性质对生物体系来说却是非常自然的。鸟群、昆虫群、细菌团簇、我们的大脑都表现得就如同处在临界点附近(大家可以参考:Physics - Viewpoint: The Critical Brain,Physics - Viewpoint: Insect Swarms Go Critical)。以昆虫的运动为例,一种昆虫的体长不过是毫米级,虫间距也是这一数量级,但在一个昆虫群体中,虫与虫之间的关联长度却可以达到半米长左右,这是它们体长的数百倍,这种现象即为生物体系中的临界现象。生物体系似乎是在临界点附近被组织起来的,这种临界现象对生物系统的好处在于它可以维持群体的存在和稳定,但又让群体不至于过于刚性,它保证了生物系统适应各种不同的环境(面对各种来自不同方向的天敌,在整个群体中产生反应,这也类似一个无监督学习的过程)。对大脑而言,这种「临界性」正反映了某种稳定性(记忆)和可塑性(学习)的平衡。
大脑中的临界性从被发现到现在已经有了十多年的历史(J Beggs, D Plenz 2003),而这些关于深度学习与重正化群进行联系的方法,让深度学习的算法真的(或者似乎是真的)从临界性的角度建立起了某种与生物体系的联系,这种可以与重正化群对应起来的深度学习方法,很可能就是(或者某种意义上接近于)我们大脑在解决某些问题时的原理。