新型生产关系赋能人工智能时代

作者 |：Frank-Zhang.eth，Twitter ：@dvzhangtz

笔者认为，人工智能本身代表新型生产力，是人类的发展方向;Web3与A的结合将使得Web3成为新时代的新型生产关系，成为组织未来人类社会，避免 AI 巨头形成绝对垄断的救赎之路。

作为一名长期奋战在 Web3 一级投资一线，以及曾经的 AI研究者，写一篇赛道 mapping，弟认为自己责无旁贷。

一、本文目标

为了更充分地理解 A，我们需要了解:

1.A的一些基础概念如:什么是机器学习，为何需要大语言模型。

2.AI开发的步骡如:数据获取，模型预训练，模型fine tune，模型使用;都是在做什么。

3.一些新兴方向如:外置知识库，联邦学习，ZKML，FHEML，promptlearning，能力神经元。

4.整个 A链条上对应 Web3 都有哪些项目。

5.对于整个 AI链条 什么环节具有比较大的价值 或者说容易出大项目。

在描述这些概念的时候，笔者会尽量不使用公式、定义，而是用打比方的方式进行描述。

本文尽可能覆盖了较多的新名词，笔者希望在读者心里留下个印象，如果未来遇到，可以回来查其处于知识结构中的什么位置。

二、基础概念

Part 1

当今咱们熟悉的 web3 ai项目，他们的技术是属于人工智能 中的 机器学习 中的 神经网络这一思路。

下面的这段主要界定清楚一些基础概念:人工智能、机器学习、神经网络、训练、损失函数、梯度下降、强化学习、专家系统。

Part 2

人工智能

定义:人工智能是研究开发能够模拟、延申、扩展人类智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能的研究目的是促使智能机器，会:听，看，说，思考，学习，行动

我的定义:机器给的结果和人给的结果一样，真假难辨(图灵测试)

Part 3

专家系统

如果一件事 有明确的步骤、需要用到的知识:专家系统

Part 4

如果一件事 难以描述怎么做到:

1.有标注数据:机器学习，比如分析文本中的情感

例子:需要的训练数据

配钥匙师傅问我:”你配吗”neutral

隔壁很壮的小王问我:”你配吗“-negative

2.几乎无标注数据:强化学习，比如 下棋

Part 5

神经网络是怎么教会机器一个知识的

机器学习现在涉及的知识和范围很广，我们这里仅仅讨论机器学习中最经典的套路，神经网络。

神经网络是怎么教会机器一个知识的呢?我们可以类比为我们:

如果想教会小狗如何在垫子上小便(经典案例，无不良指向)——(如果想教会机器一个知识)

方法1:如果狗狗在垫子小便则奖励块肉，如果不在则打屁股

方法2:如果狗狗在垫子小便则奖励块肉，如果不在则打屁股;而且距离垫子越远，打得越狠(计算损失函数)

方法3:狗狗每走一步，就进行一次判定:

如果是朝向垫子走，则奖励块肉，如果不是朝向垫子走，则打屁股

(每进行一次训练，计算一次损失函数)

方法4: 狗狗每走一步，就进行一次判定

如果是朝向垫子走，则奖励块肉，如果不是朝向垫

子走，则打屁股；

并且给狗狗在指向垫子的方向摆一块肉，吸引狗狗往垫子走

(每进行一次训练，计算一次损失函数，之后向着能最好降低损失函数的方向，进行梯度下降)

Part 6

为什么最近十年神经网络突飞猛进?

因为最近十年人类在 算力、数据、算法上突飞猛进。

算力:神经网络其实上个世纪就被提出了，但是当时的硬件运行神经网络，耗时过长。但随着本世纪芯片技术的发展，计算机芯片运算能力以18个月翻一倍的速度发展。甚至还出现了 GPU这种擅长并行运算的芯片，这使得神经网络在运算时间上变得“可接受”。

数据:社交媒体，互联网上沉淀了大量训练数据大厂们也有相关的自动化需求。

模型:在有算力，有数据的情况下，研究者研究出了一系列更高效，更准确的模型。

“算力”、“数据”、“模型”也被成为 人工智能 三要素。

Part 7

大语言模型(LLM)为什么其很重要

为什么要关注:今天我们欢聚于此，是因为大家对Al web3 很好奇;而A 火是因为 ChatGPT;ChatGPT 就属于 大语言模型。

为什么需要大语言模型:我们上面说了，机器学是需要训练数据的，但是大规模数据标注成本太高;大语言模型以一种巧妙的方式解决了这个问题。

Part8

Bert——第一个 大语言模型

我们没有训练数据怎么办?一句人话本身就是一段标注。我们可以使用完型填空法创造数据。

我们可以在一段话之中挖空，将一些词挖出来，让 transformer架构(不重要)的模型预测这些地方应该填写什么词(让狗狗找垫子);

如果模型预测错了，测一些损失函数，梯度下降(狗狗如果是朝向垫子走，则奖励块肉，如果不是朝向垫子走，则打屁股，并且给狗狗在指向垫子的方向摆一块肉，吸引狗狗往垫子走)

这样所有互联网上的文段，都能成为训练数据。这样的一个训练过程也就叫做“预训练”，所以大语言模型也称为预训练模型。这样的模型可以给他一句话，让他去一个词一个词的猜，下面应该说什么词。这个体验和我们现在使用 chatgpt 是一样的。

我对预训练的理解:预训练让机器从语料中学到了人类通用的知识，并培养了“语感”。

Part 9

大语言模型的后续发展

在 Bert 提出之后，大家发现这玩意真好用!

只需要将模型变得更大，训练数据变得更多，效果就能越来越好。这不是无脑冲就好了。

训练数据暴涨:Bert 使用的是全部 wikipedia、书籍数据训练的，后来的训练数据扩展到全网的英文数据，后扩展到全网全语言

模型参数量飞速上涨

三、AI开发的步骤

Part 1

预训练数据获取

(本步骤一般仅大厂/大研究所会做)预训练一般会需要巨量数据，需要对全网各类网页进行爬取，积累以 TB为单位的数据，然后进行预处理

模型预训练(本步骤一般仅大厂/大研究所会做)在完成数据收集之后，需要调集大量算力，数百张 A100/TPU 级别算力进行预训练

Part 2

模型二次预训练

(option)预训练让机器从语料中学到了人类通用的知识，并培养了“语感”，但如果我们想要让模型有某个领域的更多知识，可以拿这个领域的语料，灌入模型进行二次预训练。

比如美团，作为一个餐饮外卖平台，需要的大模型就应该了解更多的餐饮外卖知识。所以美团拿美团点评业务语料进行二次预训练，开发出MT-Bert.这样得到的模型在相关场景上效果更好。

我对二次预训练的理解:二次预训练让模型成为某个场景下的专家

Part 3

模型 fine tune 训练

(option)预训练模型如果想要成为某个任务上的专家，比如情感分类的专家，主题抽取的专家，说读理解的专家;可以使用该任务上的数据，对模型进行 fine tune。

但这里就需要标注数据，比如如果需要情感分类数据，就需要类似下面的数据:

配钥匙师傅问我:”你配吗”neutral

隔壁很壮的小王问我:”你配吗“negative

我对二次预训练的理解:Fine tune让模型成为某个任务下的专家

需要注意，模型的训练都需要显卡间大量传输数据。当前咱们 Al web3 有一大类项目是 分布式算力--世界各地的人将自己的闲置机器贡献出来做某些事情。但想用这种算力做完整的分布式预训练，是非常非常难的;想做做分布式 Fine tune 训练，也需要很巧妙的设计。因为显卡间传输信息的时间将高于计算的时间。

Part 4

需要注意，模型的训练都需要显卡间大量传输数据。当前咱们 Al web3 有一大类项目是 分布式算力——世界各地的人将自己的闲置机器贡献出来做力某些事情。但想用这种算力做完整的分布式预训练，是非常非常难的;想做做分布式 Fine tune 训练，也需要很巧妙的设计。因为显卡间传输信息的时间将高于计算的时间。

Part 5

模型使用

模型使用，也称为 模型推理(inference)。这指的是模型在完成训练之后进行一次使用的过程。

相比训练，模型推理并不需要显卡大量传输数据，所以 分布式 推理 是个相对容易的事情。

四、大模型的最新应用

Part 1

外置知识库

出现原因:我们希望模型知道一些少量我们领域的知识，但又不希望花大成本再训练模型

方法:将大量 pdf 数据打包到 向量数据库 之中，将其作为背景信息作为输入

案例:百度云一朵、Myshell

Promptlearning

出现原因:我们感觉外置知识库还无法满足 我们对模型的定制化需求，但又不想负担整个模型的调参训练

方法:不对模型进行训练，仅使用训练数据，去学应该写一个什么样的 Prompt

案例:广泛应用于当今

Part 2

联邦学习(Federated Learning,FL)

出现原因:在训练模型的使用，我们需要提供自己的数据，这会泄露我们隐私，这对于一些金融、医疗机构是不可接受的

方法:每一家机构都在本地使用数据训练模型，然后将模型集中到一个地方进行模型融合

案例:Flock

FHEML

出现原因:联邦学习需要每个参与方本地都训练个模型，但这对每个参与方门槛太高了

方法:使用 FHE的手段进行全同态加密，是的模型可以用加密后的数据直接训练

缺点:极慢，极贵

案例:ZAMA，Privasea

Part 3

ZKML

出现原因:我们在使用别人提供的模型服务的时候，希望确认其真的在按我们的要求，提供模型服务，而不是使用一个小模型再瞎搞

方法:让其用ZK的手段生成个证明，证明其确实在做他号称他做了的运算

缺点:很慢，很贵

案例:Modulus

能力神经元(skillneuron)

出现原因:当今模型就像是一个黑箱，我们喂了他很多训练数据，但他到底学到了什么我们不知道;我们希望能有某种方式，让模型在某个特定方向优化，比如具有更强的情感感知能力，具有更高的道德水平

方法:模型就像大脑，有些区域的神经元管理情感，有些区域管理道德，找出这些节点，我们就可以针对性的优化

案例:未来方向

五、A链条上对应 Web3 项目分类方式

Part 1

笔者会分为三大类:

Infra:去中心化A的基础设施

中间件:让Infra 可以更好服务应用层

应用层:一些直接面向 C端/B端的应用

Part 2

Infra 层:AI的基础设施永远是三大类:数据算力算法(模型)

去中心化算法(模型):

@TheBittensorHub 研报:x.com/dvzhangtz/stat..@flock_ io

去中心化算力:

通用算力: @akashnet_, @ionet

专用算力:@rendernetwork(渲染)、@gensynai(AI),@heuris_ai(Al)@exa_bits (A)(AD，

去中心化数据:

数据标注:@PublciAl_,QuestLab

存储:IPFS，FIL

Oracle: Chainlink

索引:The Graph

Part 3

中间件:如何让Infra 可以更好服务应用层

隐私: @zama fhe, @Privasea_ai

验证: EZKL, @ModulusLabs , @gizatechxyz

应用层:应用其实其实很难全部分类，只能列举其中最具代表性的几项

数据分析

@_kaitoai,@DuneAnalytics ,Adot

Agent

Market: @myshell_ai

Web3知识聊天机器人:@qnaweb3

帮人做操作:@autonolas

六、什么样的地方更容易出大项目?

首先，与其他领域类似，Infra 容易出大项目，尤其是去中心化模型、去中心化算力，笔者感觉其边际成本较低。

然后，在与 @owenliang60 哥的启发下，笔者感到应用层 如果能出现一个杀手级应用，其也会成为顶级大项目。

回顾大模型的历史，是 ChatGPT这个杀手级应用将其推向封口浪尖，其不是什么技术上的大迭代，而是针对 Chat 这个任务的优化。也许在A Web3 领域未来也会出现像 Stepn/Friendtech 这样的现象级应用，我们拭目以待