AI 系列-1：人工智能的前世今生 & 必知基础原理

人工智能简史

人工智能的这一切得从源于电子计算机的出现说起，艾伦·图灵（Alan Turing，1912—1954）突然某一天对 “ 机器除了计算和记忆，是否还可以完成其他智能任务 “ 这个问题陷入了沉思。

1950 年他发表了论文《计算机器与智能》（开篇即提出 “ 机器能思考吗？” 这一著名问题），图灵是首个从数字计算机角度讨论智能问题的人，其论文被视为人工智能领域的开篇之作。

图灵还提出图灵机模型（为现代计算机研究奠基）与图灵测试（引导人工智能发展方向），计算机领域最高奖 “ 图灵奖 “ 以其命名，他也被誉为计算机科学之父、人工智能之父。

里程碑式的事件：达特茅斯会议（1956 年）

1956 年，十位不同领域的科学家聚在美国达特茅斯学院，搞了个学术讨论班。他们聊啊聊，觉得自己在搞一项超新的研究，就给它起了个响亮的名字 ——“ 人工智能 “！这会议就像人工智能的 “ 生日会 “，成了它的起始点。

约翰·麦卡锡发明了适合 AI 研究的 LISP 语言，像给人工智能一个称手的 “ 工具 “；阿瑟·塞缪尔开发了跳棋程序（启发式搜索技术），能和冠军比赛还赢了；艾伦·纽厄尔他们设计的逻辑理论机，能证明数学定理，展现早期对智能任务的探索。

第一个繁荣期（1956 - 20 世纪 70 年代初）

这个时期的人工智能可热闹了，研究出了问题求解与搜索技术、计算复杂性理论。

还有 SHRDLU 系统，通过模拟积木场景研究机器人规划，让机器人在虚拟积木世界里 “ 干活 “，规划先抓哪块积木、然后放哪儿；真实机器人 SHAKEY 更牛，结合了感知与规划，有摄像机和激光测距仪，能自己规划任务步骤。

但可惜当时计算机硬件软件不给力，研究没达到预期，钱也少了，人工智能一下掉进长达十年的 “ 冰窟窿 “，甚至被人说是 “ 伪科学 “。

知识工程时代（20 世纪 70 年代末 - 80 年代末）

这个时期的大家发现，知识超重要！于是搞出了专家系统，像 MYCIN 能帮着诊断血液病，DENDRAL 帮化学家分析成分，R1/XCON 能配置计算机。将知识转化为解决实际问题的工具，推动了相关领域繁荣。

还基于逻辑的 AI 研究范式形成，诞生 PROLOG 语言。

道格·莱纳特想建个超大号的知识库 Cyc（啥知识都有），结果没成功，但 “ 通用 AI 本质是知识体系 “ 的思想超前，为后来知识图谱、大模型（如 ChatGPT）埋下伏笔。

快速发展期（20 世纪 80 年代末 - 2010 年前）

基于行为的 AI：罗德尼·布鲁克斯等人批评传统 AI，得让机器能感知环境、和环境互动，像智能扫地机器人就用到这思想，后来还搞出智能体研究（让系统更会 “ 整体行动 “）和多模态学习（把视觉、听觉等技术结合）。

机器学习崛起：神经网络因算力不够强、数据不够多、实际应用效果差陷入寒冬，机器学习与概率统计结合，以统计学习为主流。像 AdaBoost 算法（多个分类器 “ 组队 “ 变强大）、支持向量机，让计算机视觉、自然语言处理等发展起来，” 深蓝 “ 战胜国际象棋冠军体现搜索技术的巅峰。

激动人心的深度学习时代（2010 年后）

杰弗里·辛顿团队在语音、图像识别上取得突破，一下让深度学习 “ 火了 “。

这个时期的大数据与算力提升使深度神经网络模型（如卷积、循环神经网络）发挥威力。

2016 年，AlphaGo 运用深度神经网络与强化学习击败人类围棋冠军。
2017 年 6 月，谷歌团队发表论文 attention is all you need 提出了 Transformer 架构。自此，自然语言处理的发展方向被改变了，随后出现了一系列基于 Transformer 架构的模型。
2018 年，OpenAI 发布 GPT-1.0，谷歌发布 Bert。
2019 年，OpenAI 发布 GPT-2.0，百度发布 Ernie-1.0 等等。

包括后来火爆全网的 DeepSeek，更是于 2024.12.26 发布了 DeepSeek V3 模型，只花了 557 万美元就多项能力超越了 llama 3.1、Claude 3.5 和 gpt4o。

这些事件的出现推动自然语言处理的飞跃，AI 受投资界、大众广泛关注。

图灵测试

如何判断一个系统具有了智能？

艾伦 · 图灵在 1950 年提出了一个测试方法，被称为图灵测试（Turing test）。

这个测试是这样进行的：A 和看不见的 B 聊天。聊天是通过文本进行的，也就是通过键盘输入文本，通过屏幕看到文本内容。如果经过一段时间，A 无法判断 B 是人还是计算机程序，那么 B 就被认为具有人类智能。

这个测试不关心 B 的内部结构，也不关心 B 是如何对得到的文本进行 “ 理解和思考 “ 的，只关心其输出的文本。因此，B 被看做一个黑箱。图灵测试关注的是计算机程序和人的不可区分性，图灵测试简单、易懂。一个系统能够通过图灵测试，是非常引人瞩目的新闻。

图灵测试给人工智能的研究树立了一个目标。当然这个目标很远大，很那实现。而实际上，一个系统即使达不到人类的智能水平，如果其能满足实际的应用需求，这个系统就可以应用于实际为大众服务了。

例如 ChatGPT 虽然严格意义上达不到人类的智能水平，但其出色的文本生成、推理等能力，已经能帮助人类解决日常中很多问题了。

开放世界问题

人工智能的研究基本上是从简单问题开始，随着技术的进步，逐渐研究越来越难的问题。基本上，封闭世界问题是以前人工智能主要研究关注的问题，而实际应用中的很多问题是开放世界（open world）问题。深度学习时代，人工智能技术可以落地变为产品，因此，人们开始关注开放世界问题的解决。

下面举例解释封闭世界问题和开放世界问题的差别。

如果一个图像识别系统能够识别的物体在被测试和应用之前都是系统 “ 见过 “ 的，这个系统就是一个封闭世界的图像识别系统。而一个开放世界的文字识别系统需要能识别新造的文字，当然这个新造的文字是在系统研发阶段没见到过的。
如果一个语音识别系统能够识别系统研发阶段没见过的新词，这就是一个开放世界的语音识别系统。

ChatGPT 允许人们问各种问题。这是一个开放世界的问答系统。而以前研发的很多问答系统是封闭世界问答系统，其仅限于某个方面的问题，如天气、点歌等。

通常来说，封闭世界问题更容易解决，而开放世界问题更困难。对开放世界的问题解决会成为人工智能研究的一个重要课题。

人工智能必知原理

人工智能

ABCDT

在介绍人工智能之前，先简单介绍一下当今大数据时代的常见技术 ABCDT，即人工智能（AI）、区块链（Blockchain）、云计算（Cloud Computing）、大数据（Big Data）和物联网（Internet of Things）这五项前沿技术的合称。

何为人工智能？

人工智能 = 数据 + 算力 + 算法

简单来说，AI 就是通过模拟人类的智能行为，让机器能够自主学习、推理和决策。要实现这个目的，它的背后需要涉及大量和复杂的算法与模型。

而人工智能本身其实是一个很大的概念，其中包含了众多细分的分支，常见的有机器学习、深度学习和自然语言，它们之间的关系如下图所示：

早在 1956 年，人工智能就被确立为了一个学科领域，在此后数十年间经历起起伏伏，涉猎的领域越发广泛，包括心理学、社会学、哲学、生物学和神经科学等多个学科。

另外，人工智能的 “ 智能 “ 也有一套通用的衡量标准：推理、学习、解决问题和上下文语言分析。

强人工智能和弱人工智能的区别

对比点	弱人工智能	强人工智能
能力范围	只会做单一任务（如翻译、下棋）	能做所有人类能做的事（跨领域）
学习方式	依赖人类喂数据和规则	能自主学习、举一反三
自我意识	没有（只是工具）	理论上可能有（像人类一样 “ 思考 “）
现状	已经实现（手机、家电、软件里都是）	未实现（还在科幻电影和研究中）

一句话总结

弱 AI：” 我很擅长扫地，但别的不会。”
强 AI：” 你让我学什么，我都能学会，甚至比你做得更好。”

目前我们身边全是弱人工智能，而强人工智能还是人类努力的终极目标，可能还需要几十年甚至更久才能实现。

人工智能是如何学习的？

人工智能学习主要分为两步：

投喂数据（文本、音频、图像、视频等），经过清洗转换生成模型
- 数据量的多少和数据的新鲜程度影响模型的能力
- 数据量越大，需要的算力就越多
对话反馈（调试模型）
- 要达到最优模型，就需要根据结果不断的反馈与交换信息，对模型的参数进行调优

人工智能和人学习有何区别？

	人工智能学习	人学习
学习方式	基于算法和模型，通过对大量数据的分析、处理和学习来获取知识和模式。例如，机器学习中的监督学习，通过给定的标注数据来训练模型，让模型学习输入特征与输出标签之间的映射关系；无监督学习则是从无标注数据中发现模式和结构	通过多种感官来感知世界，结合自身的经验、思考、推理以及与他人的交流互动等方式进行学习。不仅可以从具体的实例中学习，还能通过抽象的概念、理论学习，并且能够举一反三，将知识应用到不同的情境中
速度和容量	在处理数据和学习特定任务时，速度非常快，可以在短时间内处理大量的数据。只要有足够的计算资源和存储空间，其知识容量几乎可以无限扩展，能够快速记忆和检索大量的信息	学习速度相对较慢，需要花费较长时间来掌握新知识和技能。人类的记忆容量有限，虽然可以通过不断复习和巩固来强化记忆，但随着时间的推移，可能会出现遗忘的情况
感知和情感	没有真正的感知能力和情感，它对数据的 “ 理解 “ 只是基于算法和模型的处理，无法像人类一样体验到视觉、听觉、嗅觉等感官信息，也没有情感、意识和主观体验	具有丰富的感知系统，能够通过各种感官全方位地感知世界，并且情感会影响学习的过程和效果。例如，兴趣、好奇心会促使人类更积极地学习，而焦虑、压力等情绪可能会对学习产生阻碍
创造力和判断力	在一定程度上可以通过对已有数据的组合和优化来产生新的结果，但这种创造力是基于对已有模式的学习和模仿，缺乏真正的自主性和创新性。其判断力是基于预先设定的规则和模型，根据数据特征进行判断，不像人类具有基于价值观、道德观和丰富经验的综合判断力	具有独特的创造力，能够突破传统思维的限制，提出全新的想法、理论和方法。在判断时，不仅考虑事实和数据，还会考虑道德、伦理、社会等多方面的因素，具有更加灵活和综合的判断力

简单案例：人和机器是怎么识别小猫和小狗的？

人：根据以往的认知，几乎不用思考就能直接识别出小猫还是小狗，已经存在于潜意识当中
机器：需要先提取小猫小狗的特征值，然后根据生成的这一组组特征值进行计算，最后根据计算的结果得出结论（比如结果大于 50 是小猫，小于等于 50 则是小狗）

人工智能学习模型

人工智能最核心的产出物就是就是「模型」，这个模型其实就是基于我们历史的数据然后根据机器学习的技术生成的一套算法模型，然后就可以拿这个生成好的算法模型取预测未来的数据。

生成一个优秀的模型背后需要经过大量的调试，这个调试其实就是要确定这个模型各个参数的权重。就拿上面识别小猫小狗的例子来说，通过算法会对每个特征值设定一个带权重的参数，每个参数权重的不同就会导致我们结果的不同，如果想让机器能够精确的识别出小猫小狗，就需要调优这个权重，使其达到效果最佳的数值。

任何一个模型准确率想达到 100% 几乎是不可能的，如果有则说明投喂数据量还不够多，如果一个模型准确率能够能大于 95%，则这个模型已经非常优秀了！

基础概念

常见概念

概念	解释
特征	特性就像是描述一个事物的各种 “ 小标签 “ 或者 “ 小特点 “。假如你要研究水果，那水果的颜色、大小、重量、甜度这些就是它的特性。在机器学习里，我们用这些特性来让机器了解事物。比如要让机器区分苹果和橘子，颜色这个特性就很有用，苹果大多是红色、绿色，橘子一般是橙色。
标签	标签就是给事物分的类别或者下的定义。例如，” 苹果 “” 橘子 “” 香蕉 “ 这些就是标签。当你有一堆水果数据，每个水果都有它的特性，然后你给每个水果都贴上对应的标签，这样机器就能学习到什么样特性的水果属于什么标签类别。
训练数据/样本	训练数据就像是给机器上课用的课本，它包含了很多带有特性和对应标签的数据集合。机器会从这些训练数据里学习规律，就像学生从课本里学习知识一样。比如你有 100 个水果的数据，每个水果都记录了颜色、大小等特性，还标好了是苹果、橘子还是香蕉，这 100 个水果的数据就是训练数据，机器通过学习这些数据，就能知道不同特性的水果对应什么标签。
测试数据	测试数据就像是给机器考试用的试卷。当机器学习完训练数据后，我们需要看看它到底学的怎么样，这时候就用测试数据来检验。测试数据和训练数据类似，也有特性和标签，但机器之前没见过这些数据。就像考试不会考课本上一模一样的题目一样，我们用测试数据来看看机器能不能正确判断新数据的标签。
语料库	语料库主要用在自然语言处理方面，你可以把它想象成是一个装满了语言材料的大仓库。这个仓库里有各种各样的文本数据，比如文章、句子、对话等。在机器学习处理语言相关的任务时，会从语料库中获取数据来学习语言的规律，比如词语的搭配、语法结构等。就像学习语文要多读很多文章一样，机器通过学习语料库中的文本，来提高处理语言的能力。
模型	模型可以想象成是机器学习完后得到的一个 “ 智慧大脑 “，它是通过对训练数据的学习而建立起来的一套规则或者算法。当你给模型输入新的数据（也就是新事物的特性）时，它就能根据自己学到的东西，给出这个数据对应的标签。比如你把一个新水果的颜色、大小等特性告诉模型，它就能判断出这个水果是苹果、橘子还是其他的。

模型和算法的区别？

算法：指的是用于训练模型或者执行特定任务的一系列计算过程或步骤。
- 算法就像是盖房子的施工方案和具体步骤。比如先打地基，再砌墙，然后盖屋顶等这一系列有顺序的操作流程，它是为了达成盖房子这个任务而制定的计算过程或步骤。在机器学习里，就是用来训练模型或者完成特定任务的一套方法。
模型：指的是经过训练的机器学习系统，可以对输入数据进行预测、分类或者其他类型的分析（例如线性回归模型、逻辑回归模型、决策树模型等）。
- 模型则是按照施工方案（算法）盖好后的房子。房子盖好后可以住人、储物等，模型训练好后，就能对输入的数据进行预测、分类等分析，比如可以用线性回归模型预测房价、用决策树模型判断邮件是不是垃圾邮件。

机器学习

机器学习目标：使计算机系统能够从数据中自动学习规律和模式，从而辅助或替代人类进行各种数据分析和决策工作。

机器学习是 AI 的一个子集，它的核心在于不需要人类做显式编程，而是让计算机通过算法自行学习和改进，去识别模式，做出预测和决策。

比如如果我们通过代码告诉电脑，图片里有红色说明是玫瑰，图片里有橙色说明是向日葵，那程序对花种类的判断就是通过人类直接明确编写逻辑达成的，不属于机器学习。
但如果我们给电脑大量玫瑰和向日葵的图片，让电脑自行识别模式，总结规律，从而能对没见过的图片进行预测和判断，这种就是机器学习。

监督学习

监督学习（Supervised Learning） 给算法一个数据集，其中包含了很多案例，每个数据都是给定了明确的类别，目的是让机器可以预测出更多的正确答案。

经典监督学习任务有「分类问题」和「回归问题」。

分类问题（如猫狗照片分类）：能够通过给定的数据集得到一条拟合的曲线，在这上面的值都是连续的。

回归问题（如根据房子特征预测房价）：能够通过给定的数据集得到一条拟合的曲线，在这上面的值都是连续的。

但是有监督学习存在一个问题就是成本过大，需要大量的人力成本进行打标操作，因此就引出了下面这个无监督学习的概念，我们可以通过无监督学习配合微调等一些手段，快速的拿到我们期望的效果。

无监督学习

无监督学习（Unsupervised Learning） 根据类别未知（没有被标记）的训练样本解决模式识别中的各种问题。

经典无监督学习任务包括「聚类算法」和「鸡尾酒舞会算法」。

聚类算法：通过没有标记类别未知的数据集，将数据进行分类。比如按主题或内容特征，让模型自动把一堆新闻文章中相似的进行分组。
鸡尾酒舞会算法：从混杂的语音中，提取出不同的声音来源。

强化学习

强化学习让模型在环境中行动并获得结果反馈，从反馈中学习，以便在给定情况下采取最佳行动来最大化奖励或最小化损失。

就像训小狗根据动作的奖惩调整行为，也可用于如模型下围棋时根据行动的奖励或损失反馈优化策略，学习拿高分的方法。

深度学习

深度学习目标： 用人工神经网络模仿人脑处理信息的方式，从而达到类似人类智能的决策和认知能力。

神经网络

神经网络就是模仿了大脑的神经元或神经网络，就像下面的图中一样，从树突输入信息，然后处理后从轴突输出信息。

而神经网络起源于人们想要模拟人类大脑的想法，但是在 20 世纪 90 年代中期这段时间，神经网络慢慢淡出人们的视野，在早些年神经网络才重新回归到人们的视野。

这是因为几十年前，计算机算力有限，只能支撑一两层中间层。近年来，随着算力增强，可以训练处成千上万层中间层的网络，「深度学习」即由此得名。

深度学习

深度学习是机器学习的一个方法，它不属于监督学习、无监督学习和强化学习中的任何一类。

受人类大脑内部复杂的神经元网络的启发，深度学习模拟生物神经网络，构建出包括输入层和输出层在内的人工神经网络，当将数据输入该网络的输入层后，在输出层就会显现出相应的处理结果。

在输入层和输出层之间，可能存在很多中间层（又称隐藏层），从而能够更深入地刻画所处理对象的特征，并具备更强大的函数模拟能力。

例如我们可以向输入层 “ 投喂 “ 数百万带 “ 有猫 “ 或 “ 无猫 “ 标签的图片样本，结果给输出层，再优化网络内部参数，使输出正确结果概率提升，让人工神经网络找到区分是否有猫的特征。

训练是数学处理过程，调整数百万甚至数十亿参数，使输入有猫或无猫图片时输出对应正确判定，训练中网络和参数组成数学方程组解决问题。完成训练后，可对未见过的图片判断是否有猫。

注意： 多人认为需用特定规则 “ 编码 “ AI，借自身认知 “ 教导 “ AI 使其有相应能力，然而这会弄巧成拙。

无外在人类规则深度学习效果反而更好，其训练方法是针对场景给输入层 “ 投喂 “ 大量数据样本、输出层 “ 投喂 “ “ 正确答案 “，不断优化人工神经网络内部参数，让输出接近 “ 正确答案 “ 概率最高。

机器学习和深度学习的区别

在深度学习神经网络的参数的学习过程中，它可以对网络从输入端到输出端的所有参数在每一轮的学习中调整和优化，这个过程叫「端到端」（end - to - end）的学习。

在传统机器学习的统计方法中，特征提取和分类器设计是两个分离的阶段。由于特征提取和分类器设计都很难，所以这两个阶段一般是由不同的团队完成的，往往导致这样的现象发生：特征提取虽然做得很好，但是不适合后面的分类器。而要把这两个阶段联合起来一起设计，对于人来说太难了。

端到端优化的好处是能够很好地把特征提取和分类器设计这两个阶段联合起来。每一个参数的每一次调整，其目标都是使得网络的性能更好。下面举个简单的例子：

机器学习
- 输入（Input）：以车的图像为例。
- 特征提取（Feature extraction）：需人工分析并提取车的特征（如车轮形状、车身结构等），依赖人工经验与领域知识。
- 分类（Classification）：利用人工提取的特征，通过模型判断是否为车。整个过程中，特征提取需人工参与，对人的依赖度高。
深度学习
- 输入（Input）：同样以车的图像为例。
- 特征提取与分类（Feature extraction & Classification）：无需人工提取特征，直接将图像输入深度神经网络，模型自动学习并提取特征（如通过多层神经元逐步捕捉车的像素、轮廓、整体结构等特征），同时完成分类判断是否为车。整个过程自动化程度高，减少了人工干预。

实现端到端训练的前提是，模型在输出端能够把误差信号传递到所有要调整的参数上。对于深度卷积神经网络来说，就意味着，能够实现误差函数对每一个参数求偏导数。当特征提取和分类器设计分成两个阶段时，最终的分类错误如何指导特征提取阶段的参数调整？这就是一个难题。

自然语言

NLP 目标： 让你和机器交流，达到像人和人交流一样

自然语言处理是计算科学、人工智能、语言学相互作用的领域，它是让机器不仅能够理解人为说话的内容，也能够根据我们人为说话的内容采取行动，做出反馈。

其中 NLP 主要分为三个部分：

文本、语音识别
自然语言理解
自然语言生成处理

生成式 AI

生成式 AI 与 AIGC

从字面上来看，生成式 AI 和 AIGC 之间的关系很好理解，生成式 AI 所生成的内容就是 AIGC，所以 ChatGPT、GitHub、Copilot、midjourney 等都属于生成式 AI。

由此可见， AIGC 和生成式 AI 的概念都是很简单直白的。但因为 AIGC 这个词在国内比生成式 AI 更加流行，很多语境下 AIGC 也被用于指代生成式 AI。

生成式 AI 与大语言模型

生成式 AI 是深度学习的一种应用，它利用神经网络来识别现有内容的模式和结构，学习生成新的内容，内容形式可以是文本、图片、音频等等，而大语言模型也叫 LLM large language model，也是深度学习的一种应用，专门用于进行自然语言处理任务。

大语言模型里面的大字说明模型的参数量非常大，可能有数十亿甚至到万亿个，而且训练过程中也需要海量文本数据集，所以能更好地理解自然语言以及生成高质量的文本。

大语言模型的例子有非常多，比如国外的 GPT LLAMA，国内的云雀 Chat GLM 等，可以进行文本的理解和生成，以 GPT 3 这个模型为例子，它会根据输入提示以及前面生成过的词，通过概率计算逐步生成下一个词或 token 来输出文本序列。

但不是所有的生成式 AI 都是大语言模型，而所有的大语言模型是否都是生成式 AI，这也存在些许争议。前半句很好理解，生成图像的扩散模型就不是大语言模型，它并不输出文本。

扩散模型定义

扩散模型（Diffusion Model）是一种基于概率扩散原理的生成模型，主要用于生成图像、音频、视频等内容（比如大家熟悉的 Stable Diffusion、DALL-E 2、Midjourney 都用到了扩散模型）。

“ 破坏数据 “ 的正向过程：给真实数据（比如一张猫的图片）逐步添加随机噪声，直到数据变成完全随机的噪声（看不出是猫）。

“ 还原数据 “ 的反向过程：让模型学习如何从完全随机的噪声开始，逐步 “ 去噪 “，最终生成逼真的新数据（比如生成一张新的猫的图片）。