本站没有人访问都是0,没有赚取一分钱
请扫码咨询

新闻动态

NEWS CENTER

大言语模型+Prompting才能通过一个模型实现

2024-11-09

最近一段时间持续在关注两个技能方向:

  1. ChatGPT所代表的大言语模型对NLP领域的推动
  2. Diffusion算法对图画领域的推动

今日这篇会先打开说一说ChatGPT,大致上包含以下方面:

  1. 讲了解ChatGPT的技能原理(放心,是科普向的原理,没有任何公式)
  2. 说了解ChatGPT的技能到底凶猛在哪ChatGPT或许的落地应用方向AI产品司理在这波浪潮中能够做些什么

对技能不感兴趣的能够直接滑动到屏幕将近一半的位置阅览第三部分和第四部分。

前语:一个AI产品司理的触动

2022年11月30日,ChatGPT发布,5天内涌入100W用户。

他具有持续的上下文对话才能,同时支持文章写作、诗词生成、代码生成等才能。

如果用旧技能去了解他,咱们通常会以为他的背面是由复合Agent组合起来支撑的。

复合Agent是什么意思呢?即有若干个术业有专攻的Agent:有一个担任谈天对话的,一个担任诗词生成的,一个担任代码生成的, 一个担任写营销文案的等等等等。

每个Agent只擅长做自己的那部分事情,而在用户运用的过程中,系统会先断定用户的目的是什么,应该是哪个Agent,然后再将用户的指令分发给对应的agent去处理并供给答案。

因而看起来是很猛的机器人,背面其实是若干个术业有专攻的机器人。现实上Siri、小爱、小度,小冰乃至包含各个渠道的客服机器人都是这种模式。这样当你要上线一个新才能(例如写古诗),你只需要新增练习一个Agent,然后将这个Agent接入到总控的分类目的器下就行。

这也是当前时代的一个缩影,不论外行人怎么看待你从事的行业,不论媒体是怎么一次次随声附和地说警惕AI取代人类,你一直都知道,你在做的仅仅练习出一个术业有专攻的机器人而已,离真实的人工智能十万八千里。

但ChatGPT的才能不再是这种模式了,他所选用的模式是大言语模型+Prompting。一切的才能通过一个模型实现,背面只有一个什么都会的机器人(即大言语模型),并支持用户借助文字下达指令(即Prompting,提示/指示)。

尽管这种才能的表现还不算完美,可是他敞开了一条一种通向“通用型人工智能”的道路,从前科幻故事里的Jarvis,moss如同真的有了那么一点或许。而这才是7年前,我踏入这个行业所憧憬的东西啊。

或许你对我的震撼有点无法了解,我接下来会讲了解他的技能原理,带你渐渐感知这项技能的凶猛之处,下面正式进入正文。

第一部分:ChatGPT的技能原理

首先,咱们要弄了解,NLP使命(自然言语处理,AI的一个技能领域,即文本类的AI使命)的核心逻辑是一个“猜概率”的游戏。

比如说,“我今日被我老板___”,经过很多的数据练习后,AI预测空格出会出现的最高概率的词是“CPU了”,那么CPU就会被填到这个空格中,然后答案发生——“我今日被我老板CPU了”。

尽管非常难以想象,但现实便是这样,现阶段一切的NLP使命,都不意味着机器真实了解这个国际,他仅仅在玩文字游戏,进行一次又一次的概率解谜,本质上和咱们玩报纸上的填字游戏是一个逻辑。仅仅咱们靠常识和智慧,AI靠概率计算。

而在目前的“猜概率”游戏环境下,基于大型言语模型(LLM,Large Language Model)演进出了最干流的两个方向,即Bert和GPT。

其中BERT是之前最流行的方向,几乎统治了一切NLP领域,并在自然言语了解类使命中发挥超卓(例如文本分类,情感倾向判别等)。

而GPT方向则较为单薄,最知名的玩家便是OpenAI了,现实上在GPT3.0发布前,GPT方向一直是弱于BERT的(GPT3.0是ChatGPT背面模型GPT3.5的前身)。

接下来咱们具体说说BERT和GPT两者之间的差别。

  • BERT:双向 预练习言语模型+fine-tuning(微调)
  • GPT:自回归 预练习言语模型+Prompting(指示/提示)

每个字都认识,连到一起就不认识了是吗哈哈。不要紧,接下来咱们把这些术语逐一拆解一遍就懂了。

相关推荐