1.技术向
AGI：Artifcial General Intelligence（AGI），通用人工智能，是具备与人类同等智能、或超越人类的人工智能，能表现正常人类所具有的所有智能行为。又名强人工智能。
AI:Artificial Intelligence，即人工智能，1956年于Dartmouth学会上提出，一种旨在以类似人类反应的方式对刺激做出反应并从中学习的技术，其理解和判断水平通常只能在人类的专业技能中找到。AI因具备自主学习和认知能力，可进行自我调整和改进，从而应对更加复杂的任务。
AIGC:全称“AI generated content”，又称为生成式AI，意为人类智能生成内容。例如AI文字续写，文字转像的AI图、AI主持人等，都属于AIGC的应用
ANI:Artificial Narrow Intelligence（ANI），狭义的人工智能，即专注一件事的 AI ，如下围棋的AlphaGo。又名弱人工智能
ASI:尽管存在争议，但ASI通常被定义为超越人类思维能力的人工智能。
Accelerator:一类旨在加速人工智能应用的微处理器
Agentes：无需人工即可独立主动执行某些任务的软件，通常使用计算器或网页浏览等一套工具
Alignment：人工智能对齐（英语：AI alignment）是指引导人工智能系统的行为，使其符合设计者的利益和预期目标。一个已对齐的人工智能的行为会向着预期方向发展；而未对齐的人工智能的行为虽然也具备特定目标，但此目标并非设计者所预期。
Attention：在神经网络的上下文中，注意力机制有助于模型在生成输出时专注于输入的相关部分.
Backpropagation:“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
CLIP:CLIP (Contrastive Language–Image Pretraining)，由OpenAI开发的AI模型，用于连接图像和文本，使其能够理解和生成图像的描述。
CNN：Convolutional Neural Network (CNN)，一种深度学习模型，通过应用一系列过滤器来处理具有网格状拓扑（例如图像）的数据。此类模型通常用于图像识别任务
CV:计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。
COT:思维链提示(CoT，Chain-of-thought) 通过提示 LLM 生成一系列中间步骤来提高 LLM 的推理能力，这些中间步骤会导致多步骤问题的最终答案。该技术由谷歌研究人员于 2022 年首次提出。
Compute:用于训练或运行 AI 模型的计算资源（如 CPU 或 GPU 时间）。
Connectionism:联结主义（连接主义）也被称为神经网络或基于学习的AI。主要观点是，知识是在大量的连接中存储的，这些连接模拟了大脑的神经网络。这种方法依赖于从数据中学习和适应，而不是依赖预定义的规则。连接主义AI的典型例子是深度学习。深度学习是一种人工神经网络，它可以通过学习大量的数据来识别模式。
Cross-modal generalization:跨模态泛化'（cross-modal generalization）是一种机器学习能力，指的是模型能从一种模态（或类型）的数据中学习，并将这些学习应用到另一种模态的数据上。这种泛化能力对于人工智能的发展尤其重要，因为它模仿了人类如何在不同的感知领域（如视觉、听觉、触觉）之间进行信息传递和学习的方式。
Data Augmentation:通过添加现有数据的略微修改的副本来增加用于训练模型的数据量和多样性的过程。
Deep Learning:深度学习是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。深度学习中的形容词“深度”是指在网络中使用多层。
Diffusion Models:机器学习中，扩散模型或扩散概率模型是一类潜变量模型，是用变分估计训练的马尔可夫链。计算机视觉中，这意味着通过学习逆扩散过程训练神经网络，使其能对叠加了高斯噪声的图像进行去噪。它是DALL-E、Stable Diffusion和Midjourney的基础模型。
Double Descent:机器学习中的一种现象，其中模型性能随着复杂性的增加而提高，然后变差，然后再次提高
Embedding:在计算机科学中，'embedding'是一种将对象（如词语、用户或商品）映射到数值向量的技术。这些向量捕捉了对象之间的相似性和关系，就像你在'猜词'游戏中使用相关词描述一个词一样。Embedding 的核心属性是把高维的，可能是非结构化的数据，转化为低维的，结构化的向量。这样做的目的是让机器可以理解和处理这些数据，从而进行有效的学习和预测。以推荐系统为例，如果我们想要推荐相似的商品给用户，我们可以用 embedding 技术把每个商品转化为一个向量。在这个向量空间中，相似的商品会有相似的向量。当一个用户喜欢某个商品时，我们就可以找到向量空间中最接近这个商品的其他商品，推荐给用户。这就是 embedding 在现实生活中的一个应用。
Emergence:涌现（英语：emergence）或称创发、突现、呈展、演生，是一种现象，为许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。涌现在整合层次和复杂系统理论中起着核心作用。例如，生物学中的生命现象是化学的一个涌现
End-to-end learning：一种不需要手动设计功能的机器学习模型。该模型只是提供原始数据，并期望从这些输入中学习。
Expert Systems：人工智能技术的应用，为特定领域的复杂问题提供解决方案
Few-Shot：小样本学习也叫做少样本学习(low-shot learning), 其目标是从少量样本中学习到解决问题的方法. 与小样本学习相关的概念还有零样本学习(zero-shot learning)等. 零样本学习是指在没有训练数据的情况下, 利用类别的属性等信息训练模型, 从而识别新类别。
Fine-Tuning：微调是迁移学习的一种常用技术。目标模型复制了源模型上除掉了输出层外的所有模型设计及其参数，并基于目标数据集微调这些参数。微调在自然语言处理(NLP) 中很常见，尤其是在语言建模领域。像OpenAI的GPT这样的大型语言模型可以在下游 NLP 任务上进行微调，以产生比预训练模型通常可以达到的更好的结果。
Fitting:在机器学习和统计学中，拟合（fitting）是指使用模型来尽可能准确地描述或预测数据的过程。理想的拟合是模型能够很好地捕捉到数据的基本结构和模式，同时也能够处理一些随机的、无法预测的噪声。
Forward Propagation:在神经网络中，前向传播是输入数据被馈送到网络并通过每一层（从输入层到隐藏层，最后到输出层）以产生输出的过程。网络对输入应用权重和偏差，并使用激活函数生成最终输出。
Foundation Model:在广泛数据上训练的大型AI模型，旨在适应特定任务。
GAN:General Adversarial Network (GAN)，一种机器学习模型，用于生成类似于某些现有数据的新数据。它使两个神经网络相互对抗：一个“生成器”，创建新数据，另一个“鉴别器”试图将数据与真实数据区分开来。
Generalize:广义化（英语：Generalize），又称一般化、通常化、普遍化、概念化，与之相对的是特殊化。概括作用[1]是指将事物的定义进行修改或者补充以使其适用于更加大的范围，过程会伴随将该主体的定义或概念抽象化。一个将事物广义化的简单例子是归类。例如：将“大雁”广义化（归类）之后是“鸟类”，将“鸟类”广义化（归类）之后是“动物”。
Generative AI:AI 的一个分支，专注于创建模型，这些模型可以根据现有数据的模式和示例生成新的原创内容，例如图像、音乐或文本。
Gradient Descent:在机器学习中，梯度下降是一种优化方法，它根据模型损失函数的最大改进方向逐渐调整模型的参数。例如，在线性回归中，梯度下降通过反复细化线的斜率和截距来最小化预测误差，从而帮助找到最佳拟合线。
Hallucinate:在人工智能的背景下，幻觉是指模型生成的内容不是基于实际数据或与现实明显不同的现象。
Hidden Layer:神经网络中不直接连接到输入或输出的人工神经元层
Hyperparameter Tuning：为机器学习模型的超参数（不是从数据中学习的参数）选择适当值的过程。
inference：使用经过训练的机器学习模型进行预测的过程。
Instruction Tuning：机器学习中的一种技术，其中模型根据数据集中给出的特定指令进行微调。
Knowledge Distillation：数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型，和在原数据集上训练得到的模型表现相似.数据蒸馏技术在深度学习领域中被广泛应用，特别是在模型压缩和模型部署方面。它可以帮助将复杂的模型转化为更轻量级的模型，并能够促进模型的迁移学习和模型集成，提高模型的鲁棒性和泛化能力。
LLM：large language model (LLM)大语言模型是由具有许多参数（通常为数十亿或更多权重）的神经网络组成的语言模型，使用自监督学习或半监督学习对大量未标记文本进行训练。
LSTM：长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
Latent Space：在机器学习中，该术语是指模型（如神经网络）创建的数据的压缩表示形式。类似的数据点在潜在空间中更接近。
Loss Function：Loss Function (or Cost Function) 也叫成本函数，机器学习模型在训练期间试图最小化的函数。它量化了模型的预测与真实值的距离。
Machine Learning：机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径之一，即以机器学习为手段，解决人工智能中的部分问题。
Mixture of Experts：一种机器学习技术，其中训练多个专门的子模型（“专家”），并以依赖于输入的方式组合它们的预测。
Multimodal：在人工智能中，这是指可以理解和生成多种类型数据（如文本和图像）信息的模型。
NLP：NLP是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。
NeRF：NeRF (Neural Radiance Fields)，一种使用神经网络从 2D 图像创建 3D 场景的方法。它可用于逼真的渲染、视图合成等。
Neural Network：一种受人脑启发的人工智能模型。它由连接单元或节点（称为神经元）组成，这些单元或节点按层组织。神经元接受输入，对它们进行一些计算，并产生输出
Objective Function：机器学习模型在训练期间寻求最大化或最小化的函数
Overfitting：过拟合（overfitting）是拟合过程中的一个常见问题，发生在模型过于复杂，以至于它开始“记住”训练数据中的随机噪声，而不仅仅是捕捉基本模式。过拟合的模型在训练数据上的表现往往非常好，因为它甚至能够准确地预测出训练数据中的噪声。
paradigm：在现代科学史上，该术语是由托马斯·S·库恩 (Thomas S. Kuhn) 率先提出并使其广为人知。它描述了在一个历史时期构成一门科学学科的基本概念的总和。这种“基本世界观”的例子是地心世界观或日心世界观。这些基本观点表明哪些问题在科学上是允许的，哪些可以被视为科学上令人满意的解决方案。根据库恩的说法，自然科学中的科学革命与范式的变化有关。
Parameters：在机器学习中，参数是模型用于进行预测的内部变量。它们是在训练过程中从训练数据中学习的。例如，在神经网络中，权重和偏差是参数。
pre-training：训练机器学习模型的初始阶段，其中模型从数据中学习一般特征、模式和表示，而无需具体了解稍后将应用于的任务。这种无监督或半监督学习过程使模型能够对底层数据分布有基本的了解，并提取有意义的特征，这些特征可用于随后对特定任务进行微调。
prompt engineering：它是人工智能中的一个概念，特别是自然语言处理（NLP）。在提示工程中，任务的描述会被嵌入到输入中。提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集，并通过所谓的“基于提示的学习（prompt-based learning）”来训练语言模型。
RLHF：在机器学习中，人类反馈强化学习( RLHF ) 或人类偏好强化学习 是一种直接根据人类反馈训练“奖励模型”并将该模型用作奖励函数以使用强化学习优化代理策略的技术。
RNN：循环神经网络（Recurrent neural network：RNN）是神经网络的一种。单纯的RNN因为无法处理随着递归，权重指数级爆炸或梯度消失问题，难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。
regularization：在机器学习中，正则化是一种通过向模型的损失函数添加惩罚项来防止过度拟合的技术。这种惩罚不鼓励模型过度依赖训练数据中的复杂模式，从而促进更可推广且更不容易过度拟合的模型。
reinforcement learning：强化学习（Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。
Singularity：在人工智能的背景下，奇点（也称为技术奇点）是指一个假设的未来时间点，当技术增长变得不可控和不可逆转时，导致人类文明发生不可预见的变化。
Supervised learning：监督学习是机器学习的一种方法，可以由训练资料中学到或创建一个模式（函数 / learning model），并依此模式推测新的实例。训练资料是由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。
TPU：谷歌开发的一种微处理器，专门用于加速机器学习工作负载
Tensorflow：由Google开发的开源机器学习平台，用于构建和训练机器学习模型
Token:在与ChatGPT的对话中，'token'是指一种文本输入的单位，它可以是一个单词、一个标点符号、一个字母或者是一个特殊的编码，具体取决于文本的处理方式。在自然语言处理中，我们通常将文本拆分为一个个离散的token，以便于计算机理解和处理%在GPT模型中，token是模型接收的最小单位。模型在训练和生成文本时，将输入的文本序列划分为一系列的token，并通过对这些token进行处理和分析来生成响应。例如，在一个对话中，一句话可以被划分为多个token，包括单词、标点符号等。每个token都有一个对应的编码表示，通常是一个整数。这些编码将文本转换为模型能够处理的数值形式。在使用ChatGPT时，用户通常需要了解自己的输入文本中有多少个token，以确保不超过模型的最大输入限制。需要注意的是，不同的模型和工具可能对token的定义和处理方式有所不同，但总体来说token是指文本处理和分析的最小单位
Training Data：用于训练机器学习模型的数据集
Transfer learing：机器学习中的一种方法，其中对新问题使用预先训练的模型
Transformer：Transformer模型（直译为“变换器”）是一种采用自注意力机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。
Turing test：图灵测试是英国计算机科学家艾伦·图灵于1950年提出的思想实验，目的是测试机器能否表现出与人一样的智力水准。测试时测试者透过计算机键盘输入文本并透过屏幕输出文本。
Underfitting：'欠拟合'（underfitting）。欠拟合是指模型过于简单，不能够捕捉到数据中的基本结构和模式。欠拟合的模型在训练数据和新的、未见过的数据上的表现通常都不好。例如，如果我们试图用一条直线（线性模型）来拟合一组呈现出非线性模式的数据，那么我们可能会得到一个欠拟合的模型。欠拟合和过拟合都是我们在机器学习中需要避免的问题。欠拟合意味着我们的模型过于简单，无法捕捉到数据的复杂性；过拟合意味着我们的模型过于复杂，以至于它开始学习到数据中的随机噪声。理想的模型应该在这两者之间找到平衡，既能够捕捉到数据的基本模式，也能够处理一些随机的噪声。为了防止欠拟合，我们可以尝试使用更复杂的模型，或者添加更多的特征。为了防止过拟合，我们可以使用一系列的技术，例如交叉验证（cross-validation）、正则化（regularization）、早停（early stopping）等。
unsupervised learning：无监督学习是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的资料进行分类或分群。无监督学习的主要运用包含：聚类分析（cluster analysis）、关系规则（association rule）、维度缩减（dimensionality reduce）。它是监督式学习和强化学习等策略之外的一种选择
Validation Data：机器学习中使用的数据集的子集，独立于训练数据集和测试数据集。它用于调整模型的超参数（即架构，而不是权重）。
Vector：向量，物理、工程等也称作矢量 、欧几里得向量（Euclidean vector），是数学、物理学和工程科学等多个自然科学中的基本概念。指一个同时具有大小和方向，且满足平行四边形法则的几何对象。理论数学中向量的定义为任何在称为向量空间的代数结构中的元素。一般地，同时满足具有大小和方向两个性质的几何对象即可认为是向量。向量常常在以符号加箭头标示以区别于其它量。与向量相对的概念称标量、纯量、数量，即只有大小、绝大多数情况下没有方向（电流是特例）、不满足平行四边形法则的量。
Vector Database：向量数据库（Om-ibase)是基于智能算法提取需存储内容的特征，转变成具有大小定义、特征描述、空间位置的多维数值进行向量化存储的数据库，使内容不仅可被存储，同时可被智能检索与分析。
XAI：Explainable AI (XAI) ，人工智能的一个子领域专注于创建透明的模型，为其决策提供清晰易懂的解释。
Zero-Shot：零样本学习(ZSL)是一种机器学习范例，使用预先训练的深度学习模型来泛化新类别的样本。其思路是将训练实例中已经包含的知识迁移到测试实例分类的任务中。简单来讲，零样本学习技术学习中间语义层及其属性，然后在推理时应用它们来预测新数据。需要注意，零样本学习中训练和测试集是不相交的
02.通识
Symbolic AI：符号主义也被称为基于规则的AI或逻辑主义。符号主义的主要观点是，所有的知识和推理都可以用符号和规则来表示。这种方法依赖于明确定义的规则和符号，通过这些规则和符号进行逻辑推理。符号主义AI的典型例子是专家系统。专家系统是一种计算机系统，它通过推理和知识库（由一系列预定义的规则组成）来解决特定领域的问题。
System1/system 2：思考快与慢中提出着名的系统一(System 1)和系统二(System 2)的概念系统一是较快省力频繁使用感性的思考系统由经验既有知识和偏见所累积形成而系统二则是较费费力不常使用和理性的思考模式。
Chatbot:旨在通过文本或语音交互模拟人类对话。聊天机器人通常利用自然语言处理技术来理解用户输入并提供相关响应。
03.公司
DeepMind :DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技，在2014年被谷歌收购。DeepMind于2014年开始开发人工智能围棋软件AlphaGo，2016年3月战胜李世乭（이세돌）9段，震惊世界。
Open AI:OpenAI是美国一个人工智能研究实验室，由非营利组织OpenAI Inc，和其营利组织子公司OpenAI LP所组成。OpenAI 进行 AI 研究的目的是促进和发展友好的人工智能，使人类整体受益。现任CEO为Sam Altman。
03.产品
GPT-4:Generative Pre-trained Transformer 4，简称GPT-4，是由OpenAI公司开发并于2023年3月14日发布的自回归语言模型。GPT-4从各方面来说都优于OpenAI之前发布的GPT-3和GPT-3.5模型。
GPU:GPU (Graphics Processing Unit)，一种特殊类型的微处理器，主要用于快速渲染图像以输出到显示器。GPU 在执行训练和运行神经网络所需的计算方面也非常高效。
ChatGPT:是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5、GPT-4架构的大型语言模型并以强化学习训练。
我的VX
欢迎大家围观朋友圈（朋友圈干货巨多！）