智能的DIKW结构

智能的DIKW结构

本文提出了智能的DIKW结构（数据层Data->信息层Information->知识层Knowledge->智慧层Wisdom），希望凭借这个框架解释智能的来源和本质。

PS：好久没写技术博客了，难得闲下来，打算开挖一堆新坑，把我最近几年在金融圈搞大数据和人工智能的经验和思考分享出来。

人工智能的历史

人工智能开始的标志，是1956年的达特茅斯会议。至今已经发展了60多年。期间各种流派各种思路互相竞争，互相借鉴。人工智能的发展并非一帆风顺，而是经历三起三落。

2012年，以Hinton和他的学生Alex提出的AlexNet赢得2012届ImageNet大赛冠军为标志，人工智能再次强势崛起，以深度学习为代表的技术在很多领域实现了实用化。如，以前只出现在科幻片中的技术：人脸识别解锁手机，人脸识别抓逃犯等已经成为现实。自动驾驶技术也非常成熟了。

这一波人工智能的崛起，有赖于以下这些技术的成熟：

1. 大数据，带来的大量数据。
2. 云计算和GPU，带来的强大计算能力。
3. 深度学习，带来的强大模型。

数据，算力，模型共同成就了这波人工智能革命。

深度学习是机器学习中的一项重要技术。

目前，业内公认，机器学习是实现人工智能最可行的途径。

百度百科上是这么定义机器学习的：

“机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径。”

智能的DIKW结构

巴普洛夫条件反射实验

大家一定记得中学时生物课上的巴普洛夫的条件反射实验。

巴甫洛夫的经典性条件反射理论来源于一个经典实验， 即：狗——铃声——唾液的实验。

这个实验分为三个阶段：

第一阶段，狗看到食物分泌唾液这是没有任何条件的 ;

这属于无条件反射。

第二阶段，在给狗食物之前，先摇铃，然后给食物。

反复多次;

第三阶段，仅仅给狗摇铃，观察狗分泌唾液的情况。

需要后天学习获得，属于条件反射。

实验表明，仅仅是给狗摇铃，狗也会分泌唾液。 这就是说，摇铃和狗分泌唾液之间建立了一定的联系。

不仅狗有条件反射的现象，鸟类也有，人类也有。如，某个人被蛇咬伤后，看见类似蛇的绳子也会非常紧张。

条件反射，就是智能的一种体现。

其实，所有动物都有条件反射现象。也就是说，所有动物都有一定的智能。我们知道，甲虫，蟑螂的智慧非常有限，是比较笨的。它们存活至今靠的是强大的繁殖能力，以量取胜。

老鼠的智慧很高。如果家里有老鼠，想要通过粘鼠板，捕鼠器，老鼠药等消灭尽家里的老鼠是不太可能的。

动物智能的高低区别，主要体现在神经元数量上。深度学习使用的深度神经网络，其灵感来自于人脑。

目前，基本上也是深度神经网络参数更多的模型，预测效果要比参数较少的模型更好。

条件反射，其实就是动物在大量训练中学习到一些知识，从而对未来进行预测。

人类，具有所有动物中神经元数量最多的大脑，最强大的学习能力，具备最强的预测能力，也就是最高的智能。

构成智能的DIKW结构

从动物的条件反射，以及机器学习的原理，我认为智能由四层结构组成。

数据层（Data）

数据是智能的基础。大数据，蕴含了大量规律。

巴普洛夫的条件反射实验中，每次喂狗，就是一次训练，就获得了一个样本数据。只有通过大量重复训练，才能形成狗的条件反射。

人类婴儿是怎么学习识别物体的呢？婴儿每天一睁眼，每秒钟人眼就要拍摄几十张照片。事实上正是这样大量的训练样本数据，才让婴儿学会了识别物体。

著名的ImageNet数据集，有超过1500万张照片。

信息层（Information）

数据的形式纷繁复杂，有照片，有音频，有文本。直接从如此杂乱的数据中生成智能是不可能的。必须从数据中做进一步的加工，提取信息，才能得到智能。

香农在70年多前就凭一己之力开创了信息论。

香农提出用“信息熵”作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。

在实践中，我发现信息还需要有一定的结构，否则计算机程序无法有效处理。

知识层（Knowledge）

就是动物从经验或者说训练数据中提取的规则和知识。如，巴普洛夫的狗，听到铃声就预测马上会有食物，从而开始分泌唾液。

在机器学习中，我们从信息层中可以用统计学知识得到一些规则，这就是知识。

智慧层（Wisdom）

根据知识，按照最优化的规则进行决策，就是有智慧。

韩寒在电影《后会无期》中说:我们听说过很多道理,却依然过不好这一生。

智慧亦如是。但这不是一个技术问题，本文就不赘述了。

以上4个层次就是智能的DIWK结构。

形成智能的关键环节

由于智慧层是非技术性的问题。所以，智能的关键，就是从数据中提取信息，从信息中归纳知识。

从数据中提取信息

信息和标签

信息是事物及其属性标识的集合。但这个概念对于机器学习编程好像没什么指导意义。

多年前，我曾经做过一个大数据征信平台。这个平台被我命名为Struct Data。因为我认为，大数据征信平台，必须存储结构化的数据，非结构化的数据在工程上是无法处理的。

如，我们有某个客户的一些短信。短信内容是无结构的文本，我怎么返回该客户的征信数据呢？方法就是把非结构化的数据转变成结构化的数据。如，从该客户的短信数据中，提取出一些标签：有大量信用卡，有少量信用卡，没有信用卡。

只有这样的结构化的数据，才在工程上有用。

在工程上，我可以把信息等价为“标签”。

标签，在技术上，可以认为是数据库的字段，是Excel表的列。

标签，是结构化的，易于处理。标签包含了从数据中提炼出的信息。

从标签中提取的标签

标签可以从数据中直接提取出来。也可以从其他标签中提取出来。

如，一份人行征信报告中包含大量的数据。从中可以提取大量的标签。如可以提取用户的信用卡数量，信用卡额度，信用卡使用额等标签。可以再从这些标签进一步提取衍生的标签：信用卡使用率等。这就是从标签中提取的标签。

一次标签提取，可以认为是一个函数操作。输入是一些数据或者标签，返回一个标签。

从标签中提取标签，可以认为是数学上的高阶函数，就是多个函数作用在数据上提取出了标签。这种机制能够从底层数据中提取到高度抽象的标签。

深度学习，是用多层神经网络来从数据中自动提取标签的机制。目前最深的网络有上千层。相当于上千个函数叠加作用在数据上。类似于炼油时进行上千次萃取，能够提取纯度非常高的油。

从信息中归纳知识

知识这个词和信息一样，非常抽象。我这里换一个和知识等价的词：规则。

因此，从信息中归纳知识，等价于从标签中归纳规则。

条件反射实验中，狗从大量的样本中，把“铃声”和“食物”这两个标签关联了起来，学习到了规则：“铃声”之后会有“食物”。

从标签中归纳规则，需要识别出标签之间的相关关系和因果关系。这需要使用统计学模型从大量样本中找出规律。

通过从数据中归纳出的规则来指导你的行动，要比你随机做出反应成功率要高得多。

这就是生物从单细胞生物向复杂的高智慧生物进化的过程。更强的智能，让生物更能够适应变化的环境。当前地球上最强的智能，就是人类的大脑。人脑约有1000亿个神经元。目前最大的深度神经网络GPT-3有1750亿个参数。可能很快，人类就可以制造出智能更强的深度神经网络。

数据和信息

这里，我们需要对数据和信息的一些关键概念进行一些澄清。

数据，决定了可能获得的知识的准确度的理论上限。如果采集的数据，根本就没有包含规则，则不可能从数据中学习到规则。

传统机器学习方法中，从数据中提取信息，需要分析师有很强的领域知识。如，图像识别领域的分析师，必须精通图像的构成知识；语音识别的分析师必须精通语言学，了解音素等知识；做风控的，必须了解信用风险，欺诈风险等知识。否则不大可能从数据中提取出真正有用的信息。

深度学习中，可以用统计学模型，直接让计算机从数据中自动提取合适的信息。

但是，深度学习要真正能很好地工作，需要有大量的数据，并且需要数据能够对知识有很好的解释力。

本文提出了智能的DIKW结构，希望凭借这个框架解释智能的来源和本质。