1. 首页
  2. 资讯
  3. 技术
  4. 算力之外的天花板:AI学不会没被人记录过的东西|李飞飞最新播客分享

算力之外的天花板:AI学不会没被人记录过的东西|李飞飞最新播客分享

图片

《Huberman Lab》是斯坦福医学院神经生物学与眼科学教授Andrew Huberman的科学播客,常年霸榜英文播客科学类前列,风格是一期两小时、不追热点、把一个话题从底层往上推。

本期时长2小时08分,是它少见地把整期都给了一位计算机科学家。第一电动编辑部梳理了里面的精彩洞见。

李飞飞,斯坦福大学计算机科学教授,斯坦福「以人为本人工智能研究院」(HAI)联合创始人兼联席院长。她因从2006年起主导做出ImageNet,被称为「AI教母」。

Andrew Huberman,斯坦福医学院教授,视觉神经科学出身,与李飞飞是同一领域的同事。

本期聊什么

两个做视觉的人围绕一个问题展开:AI到底学到了什么,又有什么是它碰不到的。

他们从五亿四千万年前动物第一次看见光聊起,谈到ImageNet那场比赛里人类的成绩、AI生成的猫为什么会跑、毕加索那个念头为什么不在互联网上,中间穿插了两个很私人的医疗故事——一次误诊,和一台手术。

被一路追问到最后,李飞飞没有替AI辩护:凡是没被人类记录下来的,AI就到不了。

01

智能的起点不是语言:五亿四千万年前动物第一次看见光,进化才真正加速。

“大概五亿四千万年前,动物第一次看见光。在那之前几乎没有感知——没有听觉,没有嗅觉,连神经系统都还没有。第一批感光细胞一出现,你和世界的关系就变了。你能看见食物了。同时,你也成了别人眼里的食物。”

—— 李飞飞

化石研究显示,动物第一次见到光之后约一千万年,就是寒武纪大爆发。

她说视觉这条线有两头。

一头是进化。人脑皮层约一半的活动和视觉有关,婴儿也是先会看,才会说。

另一头是算法。1950年代,休伯尔和维泽尔在猫的视觉皮层里记录到,神经细胞是分层堆叠、逐层往上传的。几乎同一时期,计算机科学家开始鼓捣最早的神经网络。

“今天的神经网络跑在几千亿甚至上万亿参数上,早就不是一回事了。但半个多世纪前,这两件事的源头贴得非常近。”

那项在猫脑里做的工作,后来拿了1981年的诺贝尔生理学或医学奖。

02

二十年前所有人都在改算法,她跑去查了一个六岁孩子能认出多少种东西。

“我转头去看认知神经科学的文献。那些数字太惊人了:一个六岁的孩子,已经能认出成千上万类不同的物体。而且婴儿一出生,睁开眼基本就一直在看。所以我们的猜想是:AI进展慢,很大一部分原因是数据不够。”

—— 李飞飞

那是2006年,她在普林斯顿当第一年教授。

当时整个领域几乎都扎在算法上——贝叶斯方法、支持向量机、神经网络,比的是谁的模型更聪明。“我们从所有人身边岔开了,我们说:我们需要数据。”

ImageNet就是这么来的:1500万张图片,人工智能领域第一个互联网规模的数据集。目标朴素得不像话,让机器认出麦克风、杯子、椅子。

这个判断真正改掉的是提问方式:从「什么算法更聪明」,变成「机器见得够不够多」。

03

那场比赛里人类的错误率是4%,而人错在记不住,不是看不清。

“我们让斯坦福一个非常聪明的研究生去测人类的成绩,大概是4%。随机瞎猜是千分之一。我觉得人的错主要不是时间压力,是记忆有限。要把一千个类别都记住,哪怕有些你很熟也不容易。比如不同品种的狗,长得太接近了。”

—— 李飞飞

2010年起,ImageNet做成了公开挑战赛:一千个类别,一百多万张图,看图说出主要物体,猜对得分,猜错不得分。

AI史上最著名的这条人类基准线,是一个研究生一张张手工标出来的。

2012年是拐点。那年夺冠的神经网络把错误率压到15%左右,而前一年的最好成绩还在26%上下。在那之前,这个数字每年只往下挪一两个百分点。

“做研究的人都知道,出现这么剧烈的变化,就意味着拐点。”

又过了三年,2015年的冠军算法降到3.6%,第一次低于人类那条基准线。

她把这一波归成三件事的汇合:GPU、成熟的神经网络算法,以及最迟被承认的大数据。

2017年Transformer论文出来后,同一个配方原封不动换了数据源,接棒的不是视觉,是文字——从2017到2022,又走了五年,才到ChatGPT。

04

机器认出书架后那截猫尾巴,靠的不是推理,是见过太多猫。

“那个学会说kitty cat的小孩,没有机会把整个互联网的猫图下载下来。他大概见过三只猫、最多十只猫。但他就是能认出那是猫尾巴,不是狐狸尾巴。他走的是另一条学习路径。这些谜题我们还没解开。”

—— 李飞飞

Huberman举例说:小孩认得猫之后,只看见书架后露出一截尾巴,也会说猫,而不是狐狸。

她说好几代做机器学习的人都试过这道题。早期算法里真的写过这种规则:先把家具认出来,知道是室内,就不太可能是狐狸;或者干脆限制范围,“别乱猜,就在十种动物里选”。

真正变可靠,是模型见过的数据量大到能激活对的权重。

同样的逻辑往前推一步就是视频。2023年前后视频进了训练数据,2024年初Sora出来,打一行「一只猫朝老鼠跑过去」,就能拿到几秒钟像样的片子。

“你可能会问,算法知道肌肉吗?不知道。它有的是网上多到吓人的猫的视频。”

她紧接着补了一句:人也差不多,我们大多数人不知道猫的肌肉怎么动,只是看惯了。

05

互联网是人类行为迄今最大的一次采集,但毕加索那个念头不在里面。

“毕加索脑子里冒出那个念头,决定要用那种方式画那个年轻女人的肖像——那个念头从来没有被记录下来。而且作为神经科学家,如果我问你它从哪个脑区来,你也答不上来。是布洛卡区?是V1?是运动区?是前额叶?我们不知道。它没被记录,所以不在互联网上,所以AI没见过它。”

—— 李飞飞

她先把「互联网」这个词拆开了。

几十年里全世界的人都在上面打字,“打字本身就是一种传感器”。然后是数码相机和手机带来的图像,是带声音和动作的视频,是语音和音乐。

“所以我们造出了一个庞大的图书馆:人类的知识以文字的形式,人类的行为以视频的形式,人类的表达以声音的形式。”

说到这儿她顺手放下一句:“版权的讨论我们先放一边。”

她还举了手边一个更日常的例子。一只杯子在她这里可能唤起童年的某个瞬间、一次分手、只有她和最好的朋友才懂的东西,“那是一段完全无法访问的信息,从来没上传过”。

所以要判断AI能不能做成一件事,看的不是模型有多大,而是这件事有没有被人写下来、拍下来、录下来过。

猫的视频有几亿条,毕加索那个念头一条都没有。

06

AlphaGo的第37手确实是创造力,但那是一种很特殊的创造力。

“围棋是一个高度数学化的游戏,目标非常清晰,规则非常清晰。AI有更大的算力,能记住更多走法,所以它能做人脑通常做不到的事。这算创造力吗?我觉得算。但我们得承认,那是一种很特殊的创造力。”

—— 李飞飞

那是2016年3月AlphaGo对李世乭的第二局,当时解说和棋手的第一反应几乎都是「这是不是下错了」。

她还转述过一位顶尖数学家的话。今天很多数学难题的解法其实已经存在,只是没人记得住,“哪怕我是菲尔兹奖得主,也不可能知道过去几百年里所有的数学”,这类问题AI能帮上。但另一些问题需要的解法,还没有被发明出来。

这把创造力切成了两半:已经存在但没人记得住的,是AI的主场,它本质上是一个不会遗忘的巨型索引。还不存在的,谁都说不准。

她自己的猜测是混合式的——人和AI一起,去解那些解法尚未被发明的问题。

07

两个医疗故事:一个AI赢了专科医生,一个全人类的数据加起来都不够。

“肝脏是个非常复杂的器官,血管极其丰富,而且每个人的肝都很不一样。哪怕把全世界的肝脏手术都加起来,数据可能都不够训练这类算法。这说明一件很重要的事:AI是从模式里学的。当模式本身就不够多的时候,我们就得小心——得知道该怎么用,以及什么时候不该用。”

—— 李飞飞

这场播客对话改过档期,因为她父亲当时要做一台肝脏手术。手术在斯坦福做,主刀医生开的是达芬奇机器人。术后她问医生:如果把全世界这类手术的数据都汇总起来,能不能训练出一个自动做这台手术的AI?答案是“并不清楚”。

Huberman在几个月前,AI帮他分清了眩晕和低血压,而搞错的人里有一位专门研究前庭系统的耳鼻喉科医生。

他提供给AI的只有自己一两天的主观感受——“一站起来整个世界往下掉,然后开始转”。后来查明是某种药把血压压得太低。全程零成本,花了一个上午。

两个故事的分界很清楚:眩晕和低血压的混淆在病历里被记录过无数次,而肝脏手术,全人类加起来都不够。

她还点了一个容易被忽略的对称问题:样本不够不只是AI的困境,“一个外科医生这辈子能练多少台手术?”

她父亲那台手术很成功,失血量是常规手术的十分之一。

08

机器说「真替你难受」,和你朋友说这句话,是两回事。

“我们容易想象机器有感觉,它没有。它没有那份数据,也没有那个数学上的目标函数。机器这么说,是因为它从模式里学到:有人说自己生病了,你应该说真替你难受,而不是我真高兴你病了。而你的朋友是真的在乎你好不好,他不想看你受苦。他有共情。”

—— 李飞飞

聊到直觉,她把它切成了两层。

浅的那层她讲得几乎像在拆台。你在提示词里说「我是斯坦福教授」,和说「我是一个14岁、喜欢赛车的青少年」,同一个问题会得到不同答案,“这已经叫上下文了,在计算机科学里不算多深的东西”。

动机和紧迫感也一样。「深度思考」和「快速回答」不过是不同的目标函数——一个有时间或算力上限,一个可以调用模型里更耗时的部分,“从数学上看它其实很干”。

深的那层是够不着的。“是因为我闻到了什么?是激素?是心情加上今天的早饭?目前没有任何传感器能采集到那个数据。”

她举的例子是两个人在一起久了互相看着别扭,你能感觉到但说不出来,只好安静地走开。“你自己都拿不到它,那不管是另一个人还是一台机器,都做不了什么。”

09

她担心的不是孩子,是老师和家长。

“我看孩子,他们是好奇的。他们当然会被这个技术娱乐到,但他们也开始在用它。我担心的是老师,还有一部分家长。因为我觉得今天的社会,尤其是硅谷,对他们是不够意思的。我们把他们忘了。”

—— 李飞飞

这段话出现在整期开头,但更像整场对话的落点。

她反复回到三个词:动机、能动性、尊严。“AI不该拿走我们的能动性。今天做AI的那些领头人,也不该那样说话。”

她拿90年代的基因检测做类比:当年也有过一模一样的争论,你愿不愿意做这个血检?万一查出点吓人的东西呢?今天这套讨论换到了自费全身核磁上。她承认有人就是不想知道,“但他们应该有这个选择”。

对现在的舆论场,她措辞不客气。懂这件事的人倾向于居高临下,“那套话术都是:你们不懂这是什么,我来替你决定。这既不健康,也没有帮助”。

她给普通人的建议不是去学写代码,是去弄明白这个技术到底是什么、自己能拿它做什么。艺术家、老师、医生都不必写代码,但都该知道它怎么用在自己的学习、工作和表达上。

Huberman中途畅想过一顶能读脑波的帽子。她没泼冷水,回答却朴素得意外:“这件事根本不用搞得那么科幻。AI光是学会你的写作习惯,就已经能让你成为一个更好的沟通者。”

编者按

从五亿四千万年前的第一缕光,聊到手边的一只杯子,这期节目反复出现的是关于「记录」的讨论——这件事有没有被记录,以及记录得够不够。

被记录过的,AI迟早学得会。从未被记录的,它到不了。

这是一条会移动的线,推着这条线往外走的,从来不是模型,是我们自己。

所以两位科学家真正在谈的,可能是这样一件事:AI的边界不由AI决定,而由人类决定记录什么、以及还愿意留下多少不被记录。

来源:第一电动网

作者: 第一电动编辑部

本文地址:https://www.d1ev.com/news/jishu/310322

返回第一电动网首页 >

收藏
6
  • 分享到:
发表评论
新闻推荐
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!
-->