上QQ阅读APP看书,第一时间看更新
延伸阅读
认知科学中关于概念表示的相关研究结果,有兴趣的读者可以阅读相关文献,如文献。
本章讨论的类表示公理和归类公理,实际上是将机器学习公理化的一种尝试。这种尝试的出发点是将学习算法的输入输出看做一次对话,输入被当作说者一方,输出被当作听者一方,听者总是试图理解说者的意图。如果听者完全理解了说者意图即为学习成功。因此,在进一步的讨论里,这样的思路还可以用来研究人类对话的数学原理。一个简短的论述可以参考文献。特别需要指出的是,归类公理是由著者与徐宗本院士合作的聚类公理发展而来的。最初的聚类公理包含了样本可分公理、类可分公理和归类等价公理,当时的表示有两个缺陷:一个是只考虑了聚类结果,并假设了X=Y,而自动省略了X;另外一个是,当初的聚类公理在单类问题时恒成立,对于单类问题没有给出任何有效的约束条件。即使推广到归类公理,克服了第一个缺点,但依然有第二个缺陷。类表示公理克服了归类公理的第二个缺陷。
依然存在的问题是机器学习有没有不是归类问题的学习任务,结论是没有。这里只给出一个简单的论证,其基本依据是:概念、类、模式、集合、词这些术语异名而同指。这样,任何学习任务都可以归结为归类任务,归类任务实际上是学习问题的另一个名称而已。
本书中提出的机器学习公理化框架关注学习问题的表示,一般可以将学习问题推进到学习算法所需要的目标函数。如何优化目标函数本书会有所涉及,但不是论述的重点,虽然对于机器学习来说,最优化算法是一个绕不过去的弯,但最优化本身并不是机器学习。本书假设读者有基本的最优化理论和算法基础。
在本书以后的章节里,将依据本章提出的机器学习公理化对常见的机器学习问题和相关算法展开全新的论述。