蓝盟IT小贴士，来喽！
简单地说，科学认知不变性意味着我们提出的理论应该难以改变。 以下是维基对HTV的比较完整的定义。
theoristsshouldseekexplanationsthatarehardtovary.bythatexpression，theauthorintendedtostatethatahahard-to-varyexplanationnon
(如果学者们想要确定理论，这个理论最好是有不变性的(难以被撼动，也就是hard  to  vary  )。 这样的理论，所有的细节都应该清晰，彼此密切相关。 如果想得出这个理论的结果的话，只有这条路可以走。 如果替换这条路(本理论)的细节，这个理论就不成立了。 5
从这个角度来看，神话是人类认知世界时的极端反对例子(至少现在看到了)。 例如在古希腊神话中。 冥界之神哈迪斯(Hades  )绑架了春天之神珀尔(Persephone  )，强迫他结婚的季节到来了。 结婚后哈迪斯释放了春天的神，但要求他定期回来。 所以不可思议的是，她每年真的不得不回冥界。 她的母亲大地女神迪米特尔(Demeter  )悲伤，让大地变得寒冷，变成了人类的冬天。 暂且不说这里面的不变性是否存在，只说其内在逻辑，如果冬天是由梅尔的悲伤引起的，那就必须在地球上的所有地方同时发生。 所以如果古希腊人知道澳大利亚在阿米尔最伤心的时候最热……他们就知道他们的理论是错误的。
除了事实给这个故事带来的矛盾之外，四季的解释还可以代替其他各种各样的故事。 例如，用新故事强迫春天的神回去的理由不是那个婚约，而是为了复仇。 因为这个波斯彭没有被释放。 但是她逃走了。 从那以后，每年春天她都会回来，用她的春天力量为哈迪斯报仇——她用春天的空气冷却了那个领土，这些热量散发到地上，创造了我们的夏天。 这就像最初的神话解释了同样的现象一样，同样与现实相符。 但是，它对现实的断言在许多方面是相反的。 这是可能的。 因为原始神话的细节与季节无关，而是通过神话本身。如果上面的话太长难以理解，我举个更简洁的例子。 在过去的神话中，雨由龙王控制，雷公电母负责打雷。 这个故事都很容易改变，只要改变个人就行了。 比如雷公换成雷神，会得到完全相同的结果，但内在的解释完全不同。 代表着中国古代神话和漫威。
所以如果HTV被提到，现在的科学也像这样的故事一样，内在逻辑实际上容易被篡改，并且得到完全相同的结果，那就太可怕了。 这就解释了为什么现在的AI黑匣子模式很难被AI业者以外的人信任。 那么为了实现不变性，这些神话中缺少什么呢？ 回到对季节的解释，它们缺少的一个重要因素是这个理论内部演绎逻辑所带来的制约。 科学对季节的解释是一个很好的例子，因为它涉及太阳光线和地轴倾斜的一系列密切的几何学推导。 虽然也有倾斜角度等自由参数，但大部分解释来源于不可变更的几何学推论。 当然，这种制约存在的前提是我们应该确立的知识的一贯性。
HTV能做什么？
虽然现在的AI行业实际上很繁荣，有几家企业推出了全自动驾驶汽车，但谷歌的Duplex系统凭借其能够进行自然语言对话的能力获得了众多的参与者。 最近的GPT3模型证明了可以制作非常有说服力的故事，在测试中也可以执行词汇外的任务(论文的零样本学习部分)。 但是，还有很多人工智能做不到的事情。 当今的人工智能系统缺乏人类水平的常识理解，机器人操作物体不灵巧，在任意推理上都很差。 另一个问题是，现在的人工智能无法从人类这样的少数例子中学习，训练需要大量的数据。 但最重要的是，今天的人工智能系统很狭窄。 换句话说，DARPA提到的窄ai  ——，就是只能在培训数据分散的范围内执行培训的任务。 今天的人工智能系统只要要求在训练数据的分散外活动，通常都会失败。
换言之，现在的AI更加重视归纳(Induction  )的结果。 但矛盾点就在这里，如果AI真的要向人脑学习，学者们很难绕开波普(Popperian  )提出的认知论，但在这个认知论中反对归纳法，认为归纳法对科学知识的成长和发展并不必要。 现在的很多机器学习和很多科学研究，本质上相当于贝叶斯归纳法，而且下一个流行的观点是，所有人工智能系统都是近似的所罗门诺夫归纳法(Solomonoff  induction  )。正如在某个讨论节目中所说的那样，哲学是证据，不是证明。 AI为了几乎不可能的“实证”而努力着。 简单地说，AI希望产生理论，而且理论是完全正确的。 但这显然是不可能的。 波普说，理论总是为解决问题而出现的“大胆猜想”，不是从经验中直接学到的。 例如，星星其实也是太阳，但他们比太阳更远离我们。 这是阿纳萨戈拉斯(Anaxagoras  )于公元前450年首次提出的大胆猜想。 人工智能研究者对这种推测是如何产生的很感兴趣，但波普对推测是如何产生的并不太关心，相反，他认为这是心理学家应该回答的问题。 毕竟，一个推测的真实性与其来源无关。 经验告诉我们应该留下什么样的预想，放弃什么样的预想，特别是以经验检验的形式，但从波普看来，经验总是带有理论色彩。 换句话说，就像弗朗西斯培根说的那样，不能用完全客观的方法进行观察。
对波普来说，理论和观测哪个先出现的问题就像鸡先出现还是蛋先出现的问题一样。 科学理论基于观察，但从某种意义上说，这些观察是以前的科学理论提供的，可以追溯到历史上科学的神话。 因此，尽管理论的实证检验在证明某一理论是错误的同时又在保留其他理论方面起着作用，但波普基本上认为所有理论都来源于“内部”而不是外部印象。 如果反证可能性是理论是否科学的关键，那么基于神话的理论是能够证实神、恶魔、幽灵行为的虚假预测，是否应该被视为科学？ 波普通过他的“反证可能性程度”的概念，在一定程度上解决了将这些明显不科学的理论从科学领域中剔除的任务，但这一原则的有效性仍然不明确。
因为HTV的存在将可以作为区分科学理论和非科学理论的替代标准。 相应地，既然AI主张自己的模型可以智能，那么HTV也可以用于证明AI模型输出的有效性。
AI和HTV的关系
一般来说，HTV可以解释为：对应特定的理论，存在多少等价的解释？ 例如，在机器学习的环境中，HTV原理可以分别应用于各种类型的模型体系结构，各有固定数量的参数。 具有更多参数的模型可以表示更大的函数类，因此更容易变化。从表面上看，HTV的原理似乎与经典统计中的偏置方差折衷(bias-variance  trade-off  )之一有关。 也就是说，参数过多的模型容易拟合其训练数据，从而降低测试数据的泛化能力。 但是，请记住，我们不是训练分布范围内的经典泛化，而是对外推(分布外的模型能力)感兴趣。 偏差-方差的权衡只针对分布中的泛化，因此与HTV原理几乎无关。 此外，机器学习证明，随着将更多的参数添加到模型中，偏见-分布式折衷超过某个阈值时，——将失效，从而产生“双下降”曲线[6]。 因此，现在更多的参数总是有用的，没有坏处。 因此，偏差―分散折衷本身的存在也受到了质疑。 如何区分应用偏差-方差折衷的模型和不应用的模型是一个尚在进行中的研究领域。 另外，过度拟合问题通常可以用更大的数据集来弥补。 因此，大模型本质上不是坏的，而是取决于可用数据的量。
因此，HTV和奥卡姆剃刀(occam’s  razor  )的原则似乎更为接近。 简单来说，这个原则意味着模型(参数)越简单越好，制作简单的模型并不需要复杂。 Kolmogorov  complexity可以很好地测量这个原则(具体在AI中如何应用将在后面叙述)。
如果字符串s的描述d(s  )具有最小长度(即，使用最小比特数)，则称为s的最小描述，并且d(s  )的长度(即，最小描述中的比特数)为s的Kolmogorov复杂度，可以写成K(s  )。 最短记述的长度取决于记述语言的选择。 但是改变语言的影响是有限的(这个结果被称为不变性定理)。 在这个AI中，有两种方法来测量这个简单性。
一是利用所有现有的解释框架，或者看看这个训练有素的模型有多复杂。 Hochreiter和Schmidhuber发现，参数空间损失函数表面存在平面极小值的深度学习模型更容易推广。 这个很好解释。 平面的最小值表示模型的复杂性较低(容易压缩)。 但是，最近发现了与损失函数曲率低的深度学习模型通用性高的看法相反的例子。 结合Popper的观点，用使曲率低的函数比曲率高的函数“简单”等观点证明其简单性是错误的，Popper认为用简单性进行函数排序是出于美学或实践上的考虑，但深层次的认知原理没有良好的基础测量简单性的另一种方法是显示模型中自由参数的数量。 这个措施似乎更符合Deutsch的可变性概念。 具有更多自由参数的模型(或使用Occam的语言“实体”)更具可变性，因为可以方便地调整参数以适应不同的数据。 Deutsch反对实体少的模型偏差小的观点，说：“有很多非常可变的说明，如Demeter  did  it等。” Deutsch似乎考虑了各种理论限制，如内部和外部、参数的微小变化会改变模型的预测程度等。 弗朗索瓦乔利埃(Fran  Ocois  Chollet  )主张，奥卡姆(Occam  )的剃刀与推断是对立的。 例如，如果模型是在训练数据上得到良好性能的最简单的方法，那么在新的情况下就不会得到良好的效果。 Chollet认为模型中应该包含“外部”信息，因此可以进行推断。
如何测量AI模型的HTV性
要测量AI模型的HTV性，首先必须明确AI模型中HTV性的表现形式是什么。 深度学习在工业界应用的常见问题是，图像识别领域、照明条件、图像分辨率、图像表现形式等极不稳定，可能成为深度学习模式的障碍。 另一个有名的例子是DeepMind为电脑游戏《星际争霸》开发的AlphaStar系统。 对于给定的地图和作用，模型可以轻松打败人类，但这种能力不能泛化为其他作用和地图，必须分别训练。 这些问题表明，AI模型在训练数据分布外难以完成其任务，即条件难以完成与训练时不同的任务。 HTV引导我们，好的模型应该在新的场景中以最低的成本最大限度地完成新的任务。

文/上海蓝盟   IT外包专家

• 上一篇: 蓝盟IT外包，元宇宙：四梁八柱是什么
  下一篇: 蓝盟IT外包，2021年5G建设将保持适度发展的态势

• 分享到：