硅谷101 视频播客「对话盛颖:xAI, Infra 的浪漫, SGLang, 开源, 平权与「甄嬛传」完整字幕记录
posts posts 2026-08-04T02:39:32+08:00硅谷101 视频播客「对话盛颖」完整字幕记录(3,381 行 / 70.5 KB / 107.6 分钟 ASR 中文),包含 8 个章节按主题自然切分(开场 → 数学家 → 斯坦福 → SGLang → xAI → RadixArk → 哲学 → 下一代 AI)。字幕来源为 YouTube 自动语音识别(ASR),非视频逐句转录,精确措辞以原视频原声为准。视频精读硅谷101, 盛颖, SGLang, RadixArk, xAI, Grok, AI Infra, 视频播客, 字幕记录目录
硅谷101 视频播客 — 对话盛颖:xAI, Infra 的浪漫, SGLang, 开源, 平权与「甄嬛传」完整字幕记录
字幕声明:本字幕来自 **YouTube ASR(自动语音识别)**自动生成,中英混合,可能有少量识别误差,并非视频逐句转录。所有
[mm:ss]时间戳与文本已尽量从/tmp/yt_caption_59237_2705.txt原始 JSON3 校对。精确措辞请以原视频原声为准。
文档元数据
| 维度 | 数据 |
|---|---|
| 标题 | 对话盛颖:xAI,Infra 的浪漫,SGLang,开源,平权与「甄嬛传」 |
| 来源 | YouTube svNElhOYajQ + bilibili BV1GaM968E6T |
| 时长 | 107 分钟 30 秒 |
| 主播 | 陈茜(硅谷101) |
| 嘉宾 | 盛颖 |
| 发布时间 | 2026-08-03 16:20 CST(双平台同步) |
| 字幕来源 | YouTube ASR 自动生成(caps=asr) |
| 字幕提取时间 | 2026-08-04 |
| 总行数 | 3382 行 |
| 总字符 | 70507 中文字符 |
| 章节数 | 8 章(按对话自然主题切分) |
章节导览
| 章节 | 标题 | 时间范围 | 时长 |
|---|---|---|---|
| 1 | 开场介绍与嘉宾履历 | [00:00] – [01:30] | 约 1.5 分钟 |
| 2 | 「想成为数学家」到哥伦比亚大学 | [01:30] – [08:00] | 约 6.5 分钟 |
| 3 | 斯坦福博士 + 形式化验证 | [08:00] – [15:00] | 约 7 分钟 |
| 4 | LMSYS + 大模型浪潮 + SGLang 创办 | [15:00] – [25:00] | 约 10 分钟 |
| 5 | xAI 早期 + Grok 推理 | [25:00] – [45:00] | 约 20 分钟 |
| 6 | 离开 xAI 创立 RadixArk + 1 亿美元种子轮 | [45:00] – [70:00] | 约 25 分钟 |
| 7 | 「AI Infra 是产品本身」+ 哲学 | [70:00] – [95:00] | 约 25 分钟 |
| 8 | 「下一代 AI」+ 收尾 | [95:00] – [107:30] | 约 12.5 分钟 |
第 1 章 · 开场介绍与嘉宾履历
时间范围:[00:00] – [01:30]
时长:约 1.5 分钟
字幕行数:35 行
完整对话记录
[000:00] Hello各位 欢迎来到硅谷101 我是陈茜
[000:02] 这期视频播客 我们的嘉宾是
[000:04] xAI前推理系统负责人
[000:06] 开源推理引擎SGLang的发起人盛颖
[000:10] 盛颖本科毕业于上海交通大学ACM班
[000:13] 之后在哥大获得计算机科学硕士学位
[000:16] 并在斯坦福大学获得计算机科学博士学位
[000:19] 她的研究经历横跨算法、形式化验证和大模型系统
[000:23] 大模型浪潮兴起之后
[000:25] 她成为LMSYS开源社区的核心成员
[000:28] 参与推动了一系列具有行业影响力的项目
[000:31] 并创办了推理引擎SGLang
[000:34] 之后 盛颖加入xAI
[000:36] 并共同领导Grok的推理团队
[000:38] 将开源研究带入全球最前沿的大模型工程实践
[000:43] 如今 她从SGLang开源生态中孵化出创业公司RadixArk
[000:47] 希望把只有少数科技巨头才能拥有的前沿AI基础设施
[000:52] 变成整个行业都可以使用的开放技术底座
[000:55] RadixArk创立之初便完成1亿美元种子轮融资
[000:59] 投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物
[001:04] RadixArk最终使命是要做下一代AI
[001:07] 我想要build(构建)的那个未来
[001:08] 就是一个跟强力AI共存的未来
[001:10] 以模型为目标的这些公司
[001:12] infra的美感上有所妥协
[001:14] 以我跟Infra的之间的浪漫的关系
[001:16] 我觉得Infra它不是一个辅助的角色
[001:18] Infra本身在我眼中就是产品
[001:19] 你本身是一个喜欢intense(高强度)的人吗
[001:22] 我是个必须intense(高强度)的人
[001:24] 你是ADHD吗
[001:26] 但它不是一个疾病
[001:27] 它是一个特点
[001:28] 它是一个手册
[001:29] 我突然知道了 我应该顺着我的天性去做事情第 2 章 · 「想成为数学家」到哥伦比亚大学
时间范围:[01:30] – [08:00]
时长:约 6.5 分钟
字幕行数:200 行
完整对话记录
[001:31] 然后你一旦悟到了这个之后
[001:33] 就很多事情就迎刃而解
[001:34] 你这个电视剧看到那一半
[001:35] 你突然诶
[001:36] 我怎么突然开始知道怎么解决这个问题了
[001:38] 暂停 去写证明
[001:40] 你还记得是什么电视剧吗
[001:42] 《甄嬛传》
[001:44] 世界上存在那么纯粹 那么好的导师
[001:47] 存在那么好的投资人
[001:48] 存在那么好的采访者
[001:51] 那些好东西都存在 但是你要非常相信它
[001:53] 你要相信到
[001:55] 你身边没有这样的人 你还相信它
[001:56] 然后有一天那个跟你一样相信的人
[001:59] 他有一天会跟你相遇
[002:01] 这期视频播客
[002:02] 我建议大家配合我们上一期的解释性视频一起看
[002:05] 上个视频我们从SGLang的技术入手
[002:08] 解释了AI infra的作用
[002:10] 以及软件层怎么能把“硅”的极限榨出来
[002:14] 相信对AI Infra的技术比较了解之后
[002:17] 再来看这期我和盛颖的对话
[002:19] 可能会有不一样的感受
[002:20] 还有就是嘉宾在美国多年
[002:23] 谈到技术的时候有些词汇用英文表达
[002:25] 我们也在字幕上给出了翻译
[002:28] 请大家多担待
[002:29] 那么以下就是我与盛颖的视频播客
[002:32] 非常感谢盛颖 欢迎做客《硅谷101》
[002:35] 感谢你们的采访
[002:37] 我看你们是刚刚搬来这个新的办公室是吗
[002:40] 对 6月1号刚搬过来
[002:42] 你们现在大概多少人
[002:43] 现在有40多人
[002:44] 扩张会非常的迅速吗
[002:46] 其实比我预期的快
[002:48] 因为事实上我们扩张规模增长得
[002:51] 也比想象的快
[002:53] 各个地方都需要人
[002:55] 我们能招进来的人也比我想象的要更
[002:59] 有更多合格候选人
[003:00] 所以我们也稍微有点压力
[003:02] 但是我们已经在控制
[003:03] 今天会讲一讲你整个的学生时代
[003:06] 到你之后的研究时代
[003:07] 再到就是你出来在xAI
[003:09] 还有你自己现在初创公司
[003:11] 我们可以按照这个顺序来讲
[003:13] 首先你其实是大学在上海交大
[003:17] 上了ACM的荣誉班
[003:18] 2017年就来到了美国哥伦比亚大学
[003:21] 读硕士学位了
[003:22] 你当时出国是因为大家都要出国吗
[003:25] 为什么选这条路呢
[003:26] 确实也是因为大家当时很多人是要出国
[003:28] 但是我其实对出国的概念知道得很晚
[003:31] 我觉得我从江西到本科的时候
[003:34] 是经历了很强的文化冲击的一种感觉
[003:37] 我觉得我身边的人
[003:38] 更理解职业发展、人生发展
[003:40] 他们有更多的规划
[003:40] 其实我是处在一个无知状态
[003:42] 我记得我本科刚毕业的时候
[003:44] 一开始其实我甚至没有申到什么
[003:46] 就是我申请了美国的大学
[003:47] 但我其实没有拿到录取通知 一开始
[003:49] 当时有一个港中文大学的PhD的录取通知
[003:52] 我接了甚至都已经
[003:53] 申请的时候我记得有个君子协议
[003:55] 4月15号
[003:55] 君子协议都已经过了的第二天
[003:57] 我突然收到了哥大给我发了一个
[004:00] 很普通的研究生 就硕士学位录取通知
[004:02] 它其实是个很普通的录取通知
[004:03] 就是很多人都能拿到
[004:04] 但是我当时就觉得
[004:05] 我想接触一些新的东西
[004:08] 因为那个时候的学术中心还是在美国
[004:09] 我觉得我想出去看到
[004:10] 哪怕哥大的这个硕士项目
[004:12] 它不是一个特别顶尖的项目
[004:14] 但我希望我想看到
[004:15] 当时还给我爸打电话说
[004:18] 我们前面PhD录用通知能不能毁
[004:20] 我还需要交一笔违约金
[004:21] 但是我想出去看看
[004:23] 我还犹豫了一下 给我爸打了一通电话
[004:25] 但我爸非常快
[004:26] 就是一分钟就说好 你去
[004:28] 就交了违约金
[004:30] 你说你从江西到上海
[004:33] 其实是有一段文化冲击的
[004:34] 你从上海到美国
[004:36] 也是不是经历了文化冲击
[004:38] 也有吧
[004:38] 我觉得我确实是每一段都是舒适圈打破
[004:41] 在早期的经历里
[004:43] 但是我在纽约的感受要
[004:44] 纽约是很包容的一个城市
[004:46] 这个冲击其实不太冲击
[004:47] 就是我感到不一样
[004:48] 但我觉得极大地被包容了
[004:50] 具体体现在什么方面
[004:52] 就是我觉得在纽约当时的文化
[004:54] 让我觉得没有人盯着我看
[004:56] 没有人在乎
[004:57] 我穿什么、想什么、做什么
[004:59] 我想要什么
[005:00] 我在纽约感受到的那个冲击更多的是一个
[005:03] 不需要被评判
[005:03] 也不需要评判别人的冲击
[005:05] 这个冲击是从一个被限制状态
[005:07] 到一个完全自由状态的一个(冲击)
[005:09] 对 它是个冲击
[005:10] 但它其实是个更放松的过程
[005:12] 挺好的 我看你在哥大硕士阶段
[005:15] 发表的论文还是比较偏理论的
[005:17] 主要是测试函数、线性回归的数学性质
[005:20] 后来到了斯坦福读PhD的时候
[005:22] 你选择了形式化验证方向
[005:24] 能不能先跟我们说一下在哥大
[005:26] 你从事的这些研究
[005:28] 其实对你后来的研究有产生任何的影响吗
[005:32] 我刚上研究生的时候是没有想要做研究的
[005:36] 但是我第一学期时候上了计算复杂性的课
[005:39] 当时觉得很有趣
[005:40] 我又碰巧交了一些当时的博士生朋友
[005:45] 他们都是做理论的
[005:47] 我就觉得这个领域非常有意思
[005:49] 我就找老师和这些同学们说
[005:51] 能不能有一些问题可以研究
[005:53] 研究了一段时间觉得很有趣 也有成果
[005:56] 所以自然而然地就到了斯坦福
[005:58] 就是你研究生毕业的时候
[006:00] 有考虑过 我要工作
[006:02] 还是说我要申请博士吗
[006:05] 我一开始是没有想要申请博士
[006:06] 或者说我也没有觉得我不会申请博士
[006:08] 但是我没有盯着这个目标去
[006:09] 我没有对着这个目标去
[006:10] 我觉得它是开放的
[006:11] 所以我也保留了这个选项 探索了一下
[006:14] 但我后来发现这个理论的问题非常有意思
[006:17] 我自己也非常享受
[006:18] 我当时就是觉得我甚至
[006:19] 也不需要赚很多钱
[006:20] 我觉得我想stay poor(保持清贫)
[006:22] 我想找一个没有人的地方
[006:24] 我当时有一次去普林斯顿
[006:26] 我去参加一个workshop
[006:27] 我当时被那个环境就直接包围了
[006:29] 进到普林斯顿校园那个环境里面
[006:31] 我就突然觉得与世无争
[006:33] 非常的学术
[006:34] 跟哥大(不一样)
[006:35] 它也不是学术
[006:36] 它就是与世无争
[006:37] 进到那里的感觉就是没有
[006:39] 就是会觉得你人世间的很多这种
[006:42] 大家所在乎的东西
[006:43] 你平时去挣扎沉浮的东西都非常没有意义
[006:46] 是学校的环境给你这样的感觉
[006:49] 还是说那边的人他的氛围是那样的
[006:52] 应该也还是那个workshop给我带来的
[006:54] 那个环境加上那个workshop里的人
[006:56] 大家讨论的这个氛围感
[006:57] 那个氛围感让我觉得
[006:58] 所有事情都是不重要的
[006:59] 我觉得人的想法 七情六欲都是不重要的
[007:02] 都是甚至看上去有点荒诞的
[007:04] 那什么是重要的
[007:05] 就是什么都不重要是重要的
[007:07] 就是一种虚无
[007:08] 你觉得虚无才是它真实的东西
[007:10] 就只有真实是重要的
[007:13] 真实是重要的
[007:14] 数学在那个环境下
[007:16] 就会显得特别的美好 特别的优美
[007:19] 因为它是确定性
[007:21] 而且是绝对化的
[007:23] 你在跟它打交道的时候
[007:26] 没有什么其他东西需要思考
[007:28] 它可以让你非常地沉浸和专注
[007:30] 或者说你可以在这个环境里面
[007:32] 进入心流状态
[007:33] 思考问题的时候进入心流状态
[007:35] 这个心流状态是与人无关
[007:38] 与其他所有事情都无关
[007:39] 大脑被完全地调转起来的时候
[007:41] 进入了一种生理性愉悦
[007:42] 我有点描述不出那个感觉
[007:43] 我能理解到你的意思
[007:45] 但是这个状态我觉得非常的纯粹
[007:47] 就是很纯粹
[007:48] 很像会成为一个数学家的人的状态
[007:52] 但是你后来为什么没有成为一个数学家呢
[007:54] 对 我当时就是很想成为一个数学家
[007:56] 我当时觉得我就要成为一个数学家
[007:58] 我觉得我只想做数学第 3 章 · 斯坦福博士 + 形式化验证
时间范围:[08:00] – [15:00]
时长:约 7 分钟
字幕行数:221 行
完整对话记录
[008:00] 但是
[008:02] 事情的发展总是
[008:03] 不是那么简单嘛
[008:04] 毕竟我还是有生活上的各种干扰
[008:06] 到了斯坦福之后第一年也确实没有再
[008:10] 我觉得到了斯坦福我就没有那个感觉了
[008:11] 所以斯坦福不如普林斯顿纯粹吗
[008:15] 普林斯顿那个只是一场旅行
[008:17] 我人在哥大
[008:18] 但是我在哥大的时候也能感受到这个氛围
[008:20] 我甚至现在觉得
[008:20] 是不是西海岸和东海岸
[008:21] 其实有点这种文化的差异性在
[008:24] 西海岸就是慢慢你会感觉到更多的这种
[008:26] 关于成功与否的这种noise(噪音)
[008:27] 就是你想要参与世界的推动
[008:29] 我又开始觉得我跟世界有关
[008:31] 我又觉得我不想跟世界无关
[008:33] 但我在东海岸的时候
[008:34] 我觉得我希望我跟世界无关
[008:35] 我希望我被世人遗忘
[008:37] 很不一样的一种感受
[008:39] 但我在斯坦福第一年的时候想做理论
[008:42] 那个时候
[008:43] 斯坦福是有PhD rotation program(博士轮转制度)
[008:44] 要配导师
[008:45] 配到了之后才决定你后面5年
[008:47] PhD的旅程怎么走
[008:48] 前面几期我觉得是因为各种各样的原因
[008:50] 比较复杂 各种各样的原因
[008:51] 没有再遇到很
[008:53] 很让我觉得能够进入心流状态的问题
[008:56] 也没有跟哪个老师能够双向的
[008:58] 都觉得很兴奋
[009:01] 可能老师们也觉得我对他的问题
[009:02] 不是特别感兴趣
[009:03] 有一些情况有时候我可能也觉得
[009:05] 那个老师我们没有完全匹配上
[009:07] 最后到了第四轮
[009:09] 跟我后来导师Clark匹配上的时候
[009:12] 就已经进入到一个新的课题了
[009:14] 是Clark Barrett教授 对吧
[009:17] 他其实是做形式化验证的一个方向
[009:21] 能不能跟我们的观众来解释一下
[009:23] 什么是形式化验证
[009:24] 这个领域也很大
[009:25] 但我可以简单讲我当时做的一部分的课题
[009:29] 我们当时一部分的课题是
[009:30] 我们要把我们人写出来的代码
[009:33] 进行拆解和映射
[009:35] 把它映射到底层的数学逻辑上
[009:38] 你可以把这个代码映射到一阶逻辑
[009:41] 你在这个逻辑出来之后
[009:42] 你就可以从数学角度去证明
[009:44] 你写的这份代码它是不是具备某一个性质
[009:47] 我更具体地来说的话
[009:49] 我一份代码
[009:51] 你隐藏地来说
[009:51] 我们是有一个东西
[009:52] 叫做specification(规范)
[009:54] Spec其实是说明了这个代码
[009:56] 它应满足什么前驱条件
[009:58] 它会有什么样的invariant(不变量)
[010:00] 你代码执行完之后要满足什么样的条件
[010:03] 你可以有这样一套语言去描述这个程序
[010:05] 你要证明的就是
[010:06] 如果你在有这个spec的情况下
[010:07] 你的代码是不是真的符合了这样一套逻辑
[010:10] 从代码映射到这个逻辑公式之后
[010:13] 公式之间的这个证明和推理
[010:14] 就是我做的那个研究领域
[010:17] SMT solver(SMT求解器)做的事情
[010:19] 我的研究大部分是在SMT求解器的
[010:21] 那个求解器本身的优化
[010:24] 优化一方面跟效率有关
[010:26] 一方面跟正确性有关
[010:27] 但是它更多的是跟你怎么定义语义有关
[010:31] 就是你定义什么样的语义空间
[010:33] 可以去表达你一份代码所做的事情
[010:35] 在斯坦福其实你开始深入形式化验证之后
[010:39] 我们看到就是开始哐哐出论文
[010:41] 2020年是拿到了
[010:43] IJCAR(自动推理国际联合会议)的
[010:44] 最佳论文奖
[010:45] 2022年是拿到了
[010:46] IJCAR(自动推理国际联合会议)的提名
[010:47] 后来又是cvc5的贡献者之一
[010:49] 是拿到TACAS的最佳工具论文奖
[010:52] 太高产了 对
[010:53] 你觉得这段时间
[010:54] 你的一个研究状态是什么样子的
[010:57] 其实这个真实的过程
[010:59] 比外面看到的这个简历上的内容要
[011:03] 要干瘪很多
[011:04] 其实是要无聊很多
[011:05] 我其实在斯坦福前几年的经历并不顺利
[011:08] 一个是我首先刚进来第一年的时候
[011:10] 找导师其实就不是很顺利
[011:12] 被动地进入了形式化方向的领域
[011:14] 因为我要读PhD
[011:15] 所以我才需要把这个地方不停地去做研究
[011:18] 产出论文
[011:19] 我其实是比较被动的状态
[011:20] 当然我在做的过程中
[011:21] 慢慢地也欣赏到了它的美感
[011:23] 后来我慢慢理解这件事情它为什么有意思
[011:25] 以及我后来有些更多的思考
[011:27] 我觉得它其实还有个很有意思的未来
[011:28] 但是最开始做politeness
[011:30] 那篇论文的时候
[011:31] 就是我第一次拿
[011:32] IJCAR Best Paper(最佳论文)那一篇
[011:33] 非常非常的意外
[011:35] 因为我当时是一个完全小白的状态
[011:37] 我对这个领域不知道
[011:38] 导师给了我一个问题我去解决它而已
[011:41] 我做完它的时候我也没有任何的认知说
[011:45] 什么样是这个领域里最好的论文
[011:47] 因为我看的论文还不够多
[011:48] 所以这个奖出来的时候
[011:50] 我完全没有想到
[011:51] 被别人祝贺的时候得知拿到了这个奖
[011:54] 那个是我进这个领域发的第一篇论文
[011:57] 但是发完这篇论文之后
[011:58] 其实我就又重新进入一个很低落的状态
[012:01] 就是我还是没有找到
[012:03] 我想要做的下一个问题在哪
[012:04] 就是令人兴奋的问题在哪
[012:06] 在那篇文章做完之后
[012:08] 我记得就进入疫情了吧
[012:10] 进入疫情我其实有长达一年的时间
[012:12] 是没有做任何事情的
[012:13] 接近一年的时间
[012:14] 在一个depression(低落的)状态里
[012:17] 但我遇到了非常好的导师
[012:18] Clark非常地支持
[012:20] 他完全理解说我要调整好这个状态
[012:22] 他只关心我是不是有一个好的精神状态
[012:25] 只关心我是不是
[012:26] 能够走出来
[012:27] 他没有给我施加任何
[012:30] 我需要继续产出论文或者做研究的压力
[012:32] 他说那我可以去上一些课
[012:35] 做一下TA(助教)
[012:35] 做一些这种很轻量级的事情
[012:37] 那段时间还回国待了半年 一个疗愈期
[012:41] 我其实没有产出论文
[012:41] 但是Clark从来没有断过我的经费
[012:44] 确实是非常好的导师
[012:45] 非常好的一个导师
[012:46] 我一年之后才慢慢走出来之后
[012:48] 才又做了Sequence那篇论文
[012:49] 我们前面也有过很多挣扎
[012:51] 证明应该是写了20多页吧
[012:53] 来来回回改了四五次
[012:55] 而且有两次
[012:56] 我几乎是全部推翻重写的那个证明
[012:58] 已经花了一两个星期推出来的证明
[013:00] 十几页的证明
[013:01] 全部推翻
[013:01] 因为你从一开始地方发现有个基点错了
[013:04] 那个错了之后
[013:04] 后面所有的后续推理全部是错的
[013:07] 所以那个证明从前面要一直修正
[013:08] 到全部重新推翻重来
[013:10] 但是这个过程走完之后
[013:12] 很有成就感
[013:13] 最后这个证明完全写完之后
[013:15] 比一开始设想得要复杂得多很多
[013:17] 我们都觉得这段证明写出来
[013:19] 和这段经历非常的
[013:20] accomplished 很有满足感
[013:22] 我记得那个时候Clark自己也说
[013:24] 那篇论文里的证明是他
[013:25] 过去一年的高光时刻
[013:27] 当时也是最佳论文提名
[013:29] 但是没有被公开
[013:30] 就是大家讨论过
[013:31] 最后没有被选上 但是很接近
[013:32] 如果说我在形式化工作的话
[013:34] 这篇论文可能是我觉得最愉悦的一段时间
[013:36] 从这篇论文开始我看见了形式化理论
[013:40] 这个里面的一些深刻含义和它的优美之处
[013:44] 它的优美之处在哪里呢
[013:45] 它让我理解了程序语言设计的
[013:48] 几个不同角度吧
[013:51] 形式化的这个方法去设计语言
[013:53] 它是从数学的角度去理解程序语言的
[013:57] 程序语言我打了很久的交道
[013:58] 我打了20年的交道了
[013:59] 但是我从来没有以这样的角度去看待过它
[014:02] 它给了我一个全新的视角
[014:04] 但是你会发现程序语言里面
[014:05] 它也有很多的trade-off(权衡) 不同角度上
[014:07] 有一些语言
[014:08] 更接近数学
[014:09] 有一些语言更接近硬件
[014:11] 你其实很难有一个支点让你
[014:12] 一个语言它离数学和硬件都很近
[014:15] 接近数学的语言它会更容易被验证
[014:17] 更容易被形式化
[014:18] 接近硬件的语言会更灵活、更高效
[014:22] 更接近人的思维习惯
[014:24] 当你需要编程硬件里面的具体运算的时候
[014:26] 那样的mapping(映射)又更直接
[014:27] 最后没有再往这个领域继续地走下去
[014:30] 是因为什么呢
[014:31] 我看到了它有意思的地方
[014:34] 但是我也看见了它这个领域的局限性吧
[014:37] 它能够在现实中
[014:39] 实际被应用的场景太少了
[014:42] 你要验证一个程序太贵了
[014:44] 但是它能验证的又很少
[014:45] 不能产生足够大的影响
[014:47] 但是我觉得我想离世界更近一点
[014:50] 我还是想要做
[014:52] 更接近真实生活的东西
[014:54] 当时觉得
[014:55] 所以我那个时候就开始探索AI
[014:56] 我开始寻求双向转化
[014:58] 开始探索AI这个过程其实也不太顺利第 4 章 · LMSYS + 大模型浪潮 + SGLang 创办
时间范围:[15:00] – [25:00]
时长:约 10 分钟
字幕行数:341 行
完整对话记录
[015:01] 可能我又有一年时间的空窗期
[015:03] 就是你看上去我的发表论文没有停
[015:05] 但其实我中间有很多的空窗期
[015:07] 外界的空窗期
[015:08] 跟你自己定义的空窗期是不一样的
[015:10] 对 我自己定义的空窗期就是
[015:11] 那段时间我没有做任何
[015:13] 我其实没有取得进展
[015:14] 在我转AI的时候又有大概一年的时间
[015:16] 我其实没有任何新的想法
[015:18] 我实际上没有做成任何事情
[015:20] 可能长达一年之后
[015:21] 我突然某个时间找到事情可做了之后
[015:23] 我三个月产出了一件事情
[015:24] 但是外人看来
[015:25] 你会觉得那个作品是我过去一年的成果
[015:28] 实际上它是我过去一年里
[015:29] 最后三个月的成果
[015:30] 前面九个月我都在这个零状态
[015:32] 完全不知道自己在干什么的状态里
[015:34] 我非常理解这个过程
[015:36] 就像我们记者写稿子也是一样的
[015:38] 对 你给我一个月的时间
[015:40] 前面29天的时间我都在做调研
[015:42] 或者是放空 或者是采访
[015:44] 我其实这个稿子就是用一天时间写出来的
[015:47] 对
[015:48] 所以你看上去 比如我形式化
[015:49] 我可能发了3篇论文
[015:50] 分布在3年时间里面
[015:52] 但每篇论文真正推动
[015:53] 其实它都只花了什么三个月的时间
[015:55] 我这三年里面
[015:56] 每年都有九个月不知道在做什么
[015:58] 其实也不叫在做什么 你可能是在
[016:01] 在迷茫
[016:02] 想要去找到你想解决的问题
[016:04] 因为我听下来是说
[016:06] 要去找到一个你真正感兴趣的问题
[016:08] 并且解决它
[016:09] 真的是你的一个驱动力
[016:12] 是的 这个是的
[016:14] 我确实有一些特点
[016:16] 就是我没有办法妥协
[016:18] 我后来服从了我的这个特点
[016:20] 就是我原来在不理解我自己的时候
[016:22] 我尝试努力去适应过一些规则
[016:24] 但是我后来发现我自己是不能被勉强的
[016:27] 就是我没有办法做我不感兴趣的事情
[016:29] 没有办法做好
[016:30] 我能做 但其实我没有办法做好
[016:32] 我只有这个事情它让我觉得非常兴奋
[016:35] 我才有可能把那件事情做好
[016:37] 这是一个特别纯粹的性格
[016:40] 你当时什么时候发现说
[016:45] 这个性格就是这样了
[016:46] 我必须要去服从我这个性格呢
[016:48] 这是一个缓慢发展的过程
[016:50] 倒也没有某一个时间点突然顿悟了
[016:52] 它是一个我慢慢意识到
[016:54] 以及终于有一天我完全接受它的一个状态
[016:58] 我完全接受它可能是在
[017:00] 博士的最后一两年吧
[017:03] 你本身是一个喜欢intense(高强度)的人吗
[017:06] 我是个必须高强度的人
[017:08] 从小就是这样的
[017:09] 对
[017:10] 我觉得从你发论文的那个数量跟节奏
[017:12] 就能看出来
[017:13] 对 我没有办法
[017:14] 就是我哪怕睡觉的时候也会一直做梦
[017:17] 就是我没有办法停下来
[017:18] 你做梦也会梦到跟你研究
[017:19] 或者工作相关的事
[017:20] 那肯定会
[017:21] 肯定会
[017:22] 会 大家都会吧
[017:23] 有时候的梦是完全无关的
[017:26] 我都还是挺有关的
[017:28] 就说明你在睡觉的时候
[017:29] 你的潜思维其实
[017:30] 还是在工作
[017:31] 也可能是生活 就工作生活
[017:33] 但它一般来说都不是
[017:35] 不是没有任何关系的东西
[017:36] 但肯定会有虚假的成分 会有想象的空间
[017:39] 但是它不会是毫无关联的
[017:40] 我觉得我PhD经历的那段
[017:43] 低落的时期
[017:44] 就是因为那段时间太无聊了
[017:46] 因为疫情的时候大家都放慢了
[017:48] 我根本没有办法在一个慢速的环境里面
[017:50] 保持我精神的健康
[017:51] 所以就是一定要忙起来
[017:53] 才能让你健康地运作
[017:55] 我不一定要忙起来
[017:56] 我硕士做那个理论研究
[017:59] 做数学研究的时候是不忙的
[018:00] 那个时候你是很沉浸的
[018:01] 因为那个问题它就是
[018:03] 你除了看着一张纸在那想
[018:04] 其实没什么能做的
[018:05] 就我看上去很闲
[018:06] 我每天可能也就想4个小时
[018:08] 工作4个小时我就去打游戏了
[018:11] 其实我硕士期间打了好多游戏
[018:13] 因为那个问题都太难了
[018:14] 你没什么事可做 你只能空想
[018:17] 打游戏的时候也很高强度 对吧
[018:19] 其实也没有
[018:20] 我觉得做理论非常不一样
[018:22] 做理论就是有很多灵感 你只能等它来
[018:25] 其实你没什么事情可做
[018:26] 你只能在那等 你等着那一刻来临
[018:28] 所以我有大量的时间去打游戏
[018:30] 在游戏中
[018:31] 灵感来了 然后去写一写 是吗
[018:33] 其实我当时那个题目解出来
[018:35] 就是在我看电视的时候想到的主意
[018:37] 对 我也不知道为什么
[018:38] 但确实那个情境是
[018:39] 我看电视之前看了一篇论文
[018:41] 然后我就开始看电视去了
[018:42] 看到中段的时候
[018:43] 不知道为什么那个论文里的东西突然回响
[018:45] 回声出来
[018:46] 然后突然又想到了论文的那个点
[018:48] 突然意识到这个地方
[018:49] 可能是一个解法突破点
[018:50] 那个就是关键点
[018:51] 就是你那个问题被解决了
[018:54] 就发生的那个瞬间
[018:54] 那个真的是有一个phase transition(状态转变)
[018:57] 那个是一瞬间的事情
[018:58] 就是那个时刻
[018:59] 好神奇
[019:00] 那个问题被解掉了
[019:02] 你那个电视剧看到那一半 你突然
[019:04] 我怎么突然开始知道怎么解决这个问题了
[019:06] 暂停 去写证明
[019:08] 你还记得是什么电视剧吗
[019:10] 《甄嬛传》
[019:12] 我是真的记得
[019:14] 太神了
[019:15] 我一般是在洗澡的时候会有灵感突然击中
[019:18] 这种也会有 对
[019:19] 但是电视剧我觉得我很少
[019:21] 因为看电视剧你还是要很沉浸的
[019:24] 看起来你看电视剧的时候
[019:26] 你的潜思维感觉还是在
[019:29] 一直在思考一些
[019:30] 我会
[019:30] 就前面说到我跟我自己和解
[019:32] 我是怎么和解的
[019:33] 就是我以前不知道
[019:34] ADHD(注意力缺陷多动障碍) 这个东西
[019:35] 有一天我就慢慢地了解到
[019:37] 有个东西叫做ADHD
[019:38] 然后我看完各种症状
[019:40] 深入理解之后我发现
[019:41] 好多东西都可以被解释
[019:42] 就你觉得你是ADHD吗
[019:44] 我确实是
[019:44] 我定期要看心理医生
[019:46] 但它不是一个疾病
[019:47] 它是一个特点
[019:47] 学习之后我发现
[019:49] 好多事情被解释了
[019:51] 它给我带来最大的帮助是
[019:52] 我通过理解它而理解了我自己
[019:54] 像是我找到了怎么使用我自己的一把钥匙
[019:57] 我突然知道了就是
[019:59] 手册有了
[020:00] 对 它是一个手册
[020:01] 我突然知道了
[020:01] 我不应该逆着我的短处去
[020:04] 我不应该逆着我的天性去做事情
[020:05] 我应该顺着我的天性去做事情
[020:07] 它告诉我这件事情
[020:08] 你一旦悟到了这个之后
[020:10] 很多事情就迎刃而解
[020:12] 其实很多事情你是不要勉强的
[020:14] 是没有必要勉强的
[020:15] 对
[020:15] 所以我前面说的 我只能做我喜欢做的事情
[020:17] 当你把这个当成真理的时候
[020:19] 你就不再跟它对抗了
[020:20] 特别棒 对
[020:22] 然后我们聊
[020:23] 我刚刚说这个是因为
[020:25] 可能我已经开始有点这个症状显现
[020:29] 它的这个特点之一
[020:31] 就是我看电视的时候也是不专注的
[020:33] 你是不专注的
[020:34] 对
[020:35] 就我看电视时候
[020:36] 我也会跟不上那个电视的内容
[020:39] 我经常要回退
[020:40] 好
[020:40] 我经常要往回拉
[020:41] 刚刚讲了什么
[020:42] 30分钟视频
[020:43] 我经常看四五十分钟才把它看完
[020:44] 比如说你自己在做研究
[020:47] 或者你在工作的时候
[020:48] 就是什么样的时候你会非常专注
[020:51] 什么样的时候你其实是没有办法专注的
[020:53] 就是我自己特别被它吸引的时候
[020:55] 我非常专注
[020:56] 它这个是两极化的
[020:57] 我专注的时候非常专注
[020:59] 专注的时候我会听不见别人叫我的名字
[021:01] 不记得时间 不知道外面发生的事情
[021:04] 会错过很多个会议
[021:05] 不专注就是根本没办法专注
[021:07] 就是哪怕这事情很重要我也无法专注
[021:09] 看《甄嬛传》都没有办法专注 是吧
[021:12] 说明《甄嬛传》不够吸引人
[021:15] 它如果够吸引人 我就会非常专注
[021:17] 打游戏会非常专注
[021:18] 打游戏非常专注
[021:19] 有些竞技性运动也会
[021:21] 它需要非常地高强度
[021:22] 对 它要非常高强度
[021:23] 它要非常激烈 它要竞争
[021:25] 游戏的话你是对打 有输赢
[021:27] 球类运动也是 你有输赢
[021:28] 这个时候我就会非常专注
[021:30] 所以你是一个好胜心很强的人
[021:32] 我觉得我不是真的很在乎输赢
[021:35] 但是我在乎那个高强度的感觉
[021:37] 我喜欢那个感觉
[021:38] 我其实不在乎输赢
[021:40] 我游戏可以输
[021:41] 打比赛也可以输
[021:42] 没关系
[021:42] 我也不会觉得我非要赢
[021:44] 但是你这个机制设计进去了之后
[021:46] 我会很享受那个心流状态
[021:48] 就是还是那个 我喜欢心流状态
[021:50] 你的大脑被抓住
[021:52] 就是心流吧
[021:53] 人非常专注的时候那个应该就叫心流状态
[021:55] 是很享受的
[021:56] 所以打游戏、研究、学习
[022:00] 这个上面你都可以获得你的心流状态
[022:03] 对 学我喜欢的东西可以
[022:04] 再提一个你大学的问题
[022:06] 我们(聊)到这个公司上面来
[022:08] 就竞赛圈 它其实是一个很有那种
[022:11] 天才标签的这样的一个圈子
[022:13] 对 你觉得天才这个词在你身上安得多吗
[022:19] 很多人会跟你说 你从小是个天才
[022:23] 不多
[022:23] 甚至你拿了这个竞赛的金牌之后都没有吗
[022:27] 我没有拿金牌 首先
[022:29] 对 你是拿了全国信息学奥林匹克的银牌
[022:34] 但是我记得你好像是在纽约的一个
[022:38] 纽约那个区域赛冠军
[022:39] 区域赛冠军 好
[022:40] 区域赛冠军也是组队
[022:42] 就是三个人一个小队
[022:43] 也没有说是我个人成就
[022:45] 我的队友其实非常强
[022:46] 非常运气好
[022:47] 有非常强的队友把我带飞了
[022:48] 不是经常 肯定有
[022:50] 但是小时候更多一点 后来不是经常
[022:52] 因为 虽然有拿了这些奖项
[022:56] 但好像其实都不是
[022:57] 就比方说那银牌不算啥
[022:59] 还有很多金牌选手
[023:02] 所以 对啊
[023:03] 就看你跟谁比嘛
[023:05] 但是我在的那个环境里面
[023:06] 他们总是有比我更强的
[023:08] 比如说我在ACM班
[023:09] ACM班里面有比我更强
[023:10] 有很多比我更强的
[023:11] 所以你觉得
[023:12] 努力这件事情更重要
[023:13] 还是天分这件事情更重要
[023:15] 我赞同天分
[023:16] 你觉得在研究上面
[023:18] 天分它主要表现在什么样的方向
[023:20] 天分是指当外界人不把研究当回事
[023:24] 不觉得研究是件伟大的事情的时候
[023:27] 你还想做它 那就是你的天分
[023:29] 那叫兴趣
[023:31] 我觉得大部分时候
[023:32] 天分和兴趣相关性还是蛮强的
[023:34] 那这么说吧
[023:35] 可能很多人想当研究员
[023:36] 但不是很多人都能研究出来
[023:39] 或者解决这个问题
[023:40] 就你能解决这个问题肯定是有你的天分在
[023:43] 对 是有天分的
[023:45] 但我其实首先不觉得
[023:46] 大多数人真的想成为研究员
[023:49] 我见过太多的人他们想做研究
[023:51] 想成为研究员
[023:51] 是因为他们觉得这件事情酷
[023:53] 是因为外界的环境
[023:54] 让他们觉得这件事情很酷
[023:56] 或者当教授是一个铁饭碗
[023:58] 类似吧 反正就一些原因
[023:59] 但这个并不是
[024:00] 如果说当所有人都开始觉得
[024:03] 当教授是一个被人唾弃的职业时候
[024:04] 他们马上就不会想做了
[024:06] 这你能识别出来
[024:08] 但是在我当时想要做这件事情的时候
[024:10] 其实我是
[024:11] 就是比方说我在的环境里面
[024:13] 其实大家也没有觉得
[024:16] 做理论是件多么伟大的事情
[024:19] 你赚的钱也很少
[024:22] 但是你还是想
[024:22] 你还是觉得它有意思
[024:23] 我想做一件事情
[024:24] 是因为我希望跟别人无关
[024:27] 是因为我享受无关
[024:29] 那个时候才是你真正的
[024:30] 所谓的兴趣和天分所在的时候
[024:32] 我也不敢说我有天分
[024:33] 我毕竟也没有发明过什么
[024:35] 也没有什么巨大的数学成就
[024:36] 我也不能算有天分
[024:38] 你肯定是算有天分的
[024:39] 不然的话你论文怎么能发那么多
[024:41] 有很多人论文发得很多
[024:43] 比我发论文多的人还有很多
[024:44] 那可能就是更有天分的
[024:46] 发论文只是一个
[024:47] 发论文是有套路的
[024:50] 什么套路
[024:51] 就是发论文其实你如果掌握了发论文
[024:54] 发论文本身是一个技能
[024:56] 发论文跟做研究是两件事情
[024:58] 发论文跟人们定义的做研究
[024:59] 和真正意义上的科学家是三件事情第 5 章 · xAI 早期 + Grok 推理
时间范围:[25:00] – [45:00]
时长:约 20 分钟
字幕行数:644 行
完整对话记录
[025:02] 好
[025:02] 发论文是有套路的
[025:03] 你完全可以一个人
[025:04] 根本就不怎么懂研究他也能发很多论文
[025:07] 就像是一个什么
[025:09] 命题作文一样 是不是
[025:11] 你套着它那个框去写就可以了
[025:13] 对 就是你只要掌握了这个规则
[025:16] 你掌握这个体系的规律
[025:17] 在同样的规律里面不停地产出
[025:19] 你就可以一直发很多的论文
[025:20] 但是顶刊也很少
[025:23] 不少了 现在顶刊一年都几千篇、上万篇
[025:26] 这么多人去投稿的话
[025:28] 顶刊还是算少的
[025:29] 对 那肯定是有范围的
[025:31] 那我可能还是比平均要有天分一些
[025:34] 对 掌握这个套路本身
[025:35] 就是一件有天分的事情
[025:37] 所以你说发论文跟做研究
[025:40] 跟当科学家是三件事情
[025:43] 发论文跟打工人是一样的
[025:44] 跟打工人是一样的
[025:45] 是一个非常平凡的事情
[025:46] OK
[025:47] 做研究跟当科学家
[025:49] 这两者有什么区别吗
[025:50] 做研究的话就是
[025:51] 有很多研究它们其实是不突破的
[025:56] 也是不关键的
[025:57] 但是不是没有价值
[025:58] 所以做研究它仍然是个职业
[026:00] 它只不过是件职业
[026:00] 只不过是我作为一个研究员
[026:03] 我喜欢享受做研究
[026:04] 所以我在这里做研究
[026:06] 而并不是我比别人更有天分
[026:07] 我没有天分我也可以是个研究员
[026:09] 所以研究员只是一个职业
[026:10] 但我所说的科学家
[026:12] 这个名词我可能也用错了
[026:13] 但我就说还有另一类
[026:14] 就真正在推动
[026:15] 人类知识边界的人是非常少的
[026:18] 这批人一般来说
[026:19] 但我的标准也很高
[026:20] 就是在我眼中真的在推动
[026:22] 这个推动就是指如果不是他
[026:24] 这个事情会晚很长时间发生
[026:27] 这个是被我定义的
[026:28] 所谓真正的科学推动者
[026:29] 就是推动人类边界的这批人
[026:31] 这批人就非常少了
[026:32] 绝大多数的教授可能都不是
[026:34] 绝大多数教授还是在第二类 是研究员
[026:36] 所以Geoffrey Hinton、Yann LeCun
[026:40] 还有Yoshua Bengio
[026:41] 就是图灵奖的这三个人
[026:43] 你觉得他们是科学家吗
[026:45] 或者是你定义的第三类人吗
[026:46] 应该是吧
[026:47] 不过我没跟他们直接接触过
[026:49] 所以还是不给我的直接定论
[026:51] 我非常在乎一手信息的
[026:53] 我非常在乎求真
[026:54] 我不想评价我没接触过的人
[026:55] 但既然他们世俗成就这么高
[026:57] 他们应该是的
[026:58] 你在谷歌实习是什么时候
[027:01] 2022年的暑假吧 应该是
[027:03] 在谷歌实习了之后
[027:05] 你想要转去做AI的
[027:07] 还是在谷歌实习之前
[027:09] 你就看到了这个方面有非常大的一个前景
[027:13] 发展很快了
[027:14] 我是在去谷歌之前就想要转AI
[027:16] 我是因为想转AI所以找了那份实习
[027:19] 那份实习是AI for code(编程)
[027:21] 我之前也尝试了一些其他的纯AI岗
[027:23] 他们都不收我
[027:24] 我都没有拿到机会
[027:25] 这一个岗位跟程序分析有一点关系
[027:28] 我因为这个背景被招进去了
[027:29] 所以我接触到了AI
[027:30] 但我其实是因为想接触AI进去的
[027:33] 但是我进去之后发现
[027:34] 当时的人们做
[027:35] AI for coding(编程)的时候
[027:36] 还企图利用一些原来的程序分析里面的
[027:41] 技术或者工具什么的
[027:43] 非常的无力
[027:44] 其实什么忙都帮不上
[027:46] AI人的幻想说
[027:47] 我是不是可以利用一些
[027:48] 另外一个领域的工具
[027:49] 交叉学科的这种希望
[027:52] 利用另外一个领域的工具
[027:53] 来帮助更好地解决这个问题
[027:55] 但是我作为从另个领域过来的人
[027:57] 我其实发现这个工具非常地无力
[027:59] 当时就是看到了那个大模型
[028:01] 已经是编程直出
[028:02] 相反 我反而看到的大模型
[028:04] 其实已经把传统这个领域里的技术
[028:06] 都完全覆盖了
[028:07] 那个时候其实还挺早的 2022年
[028:09] 应该ChatGPT它还没有出来
[028:11] 但是在谷歌内部
[028:12] 大家其实已经看到了这个方向了 是吗
[028:15] 我估计其他的公司肯定也是有的
[028:17] 但是确实ChatGPT还没有出来
[028:18] 那个时候是谷歌刚出PaLM
[028:20] 内部有那个LaMDA
[028:21] 就大家其实已经有所感觉了
[028:22] 只是没有到全民爆发的阶段
[028:24] 当时好像有个谷歌的程序员
[028:26] 他号称LaMDA是有意识的
[028:29] 对 就是那个时候
[028:30] 那个时候我们还做了个报道
[028:31] 还讨论了一下AI是不是有意识的
[028:34] 对 就是那个时候的事情
[028:35] 我相信很多程序员
[028:36] 他们可能也是第一次或者是
[028:38] 很新鲜的一个感觉去接触AI
[028:41] 才会有它到底是不是有意识的这种讨论
[028:43] 在那个时候
[028:44] 对 其实确实已经很多人
[028:46] 是已经看见了那个很大的潜力
[028:48] 但是当时的模型潜力离真的生产代码
[028:51] 还有挺大距离的
[028:52] 我记得当时都是做一些
[028:54] 生成一两百行的代码
[028:56] 当时你们那个小组有多少人
[028:58] AI for code(编程)那个小组
[028:59] 那个也是谷歌内部孵化的创业项目
[029:02] 就Google X里面
[029:03] 全职应该
[029:04] 我其实有点不记得
[029:05] 但好像一二十个人吧
[029:06] 那个暑假他们非常激进
[029:08] 他们想要尝试很多方向
[029:10] 所以他们招了跟全职等量的实习生
[029:13] 让这些实习生全都去疯狂尝试不同的方向
[029:16] 他们希望能从中看到一点东西
[029:17] 后来这个实习结束的时候
[029:19] 大家看到了什么东西
[029:21] 我觉得当时那批人其实很多人后面还是
[029:24] 很多人就还在做编程
[029:25] 那段经历对我的影响很大
[029:26] 它让我看见了
[029:28] 因为我原来是不知道
[029:29] AI是什么事情的一个人
[029:31] 我进来之后看见了AI原来这么的强大
[029:33] 我发现原来根本就不需要什么显式的推理
[029:36] 我是被震惊到的那个人
[029:37] 它让我非常坚定地进入了这个新的课题
[029:40] 我就要做大模型
[029:41] 但大模型其实有很多分支
[029:43] 跟不同的垂直领域
[029:45] 但是你选择了做infra(基础设施)的那个赛道
[029:48] 为什么呢
[029:49] 其实也不是我选择
[029:50] 我其实也尝试了不是infra赛道的
[029:53] 就是分析一下算法上的事情
[029:55] 但我发现我更适合infra
[029:56] 我那边可能没有太成功 infra成功了
[029:58] 所以最后发现
[029:59] 就是我爆发都在infra这一侧
[030:01] 做infra跟我的思维习惯更接近
[030:03] 它是co-reason(协同推理)的、确定性的
[030:05] 基于数学的
[030:06] 基于代码的
[030:07] 数学和代码这两件事情我都很熟悉
[030:09] 能不能说一下
[030:10] 你最开始做SGLang是什么样的一个契机
[030:14] 我转了AI之后
[030:15] 最后PhD的两年就是在做
[030:17] LLM(大模型)推理相关的很多研究
[030:19] FlexGen是我的第一个研究
[030:21] 连续的一系列研究到SGLang
[030:23] 它类似于成为了一个收官之作
[030:25] 我那个时候就是PhD 我可以毕业了
[030:26] 我也觉得我已经做了很多不同角度的研究
[030:29] 但他们都比较局部
[030:30] SGLang是我希望把它们都集大成
[030:33] 一体的一个作品
[030:35] 所以SGLang时候
[030:37] 我们就开始把它做成开源
[030:39] 希望走向的是product-ready(部署就绪状态)
[030:41] 这个从一开始就想好了
[030:42] 从做SGLang之初
[030:43] 就希望它是做成一个部署就绪
[030:44] 可以被广泛使用的推理引擎
[030:46] 被大规模使用的推理引擎
[030:48] 其实你在做SGLang之前
[030:50] vLLM已经推出了半年多了
[030:52] 你之前其实在vLLM
[030:53] 也是做了一些项目的 对吧
[030:55] 为什么已经有这样的一个东西
[030:57] 你自己还是想要做SGLang呢
[030:59] 这个历史也比较长
[031:01] 我在vLLM的研究论文上
[031:04] 这个其实也是我本来自己在做研究
[031:06] 其实当时我听到有这个vLLM项目的时候
[031:10] vLLM当时的想法跟我们在思考的
[031:12] 另一个想法是类似的
[031:15] 所以其实当时我是被说
[031:16] 那既然我们想法类似
[031:17] 那我要不合并进那个项目吧
[031:19] 在我的视角里
[031:19] 我是被合并进了vLLM那个项目
[031:21] 因为我觉得这个项目
[031:22] 已经在做了我想做的事情
[031:23] vLLM做开源
[031:24] 其实是论文之后的另一个节点
[031:26] 并不是在论文的时候就是一个开源项目
[031:28] 真的把它推成开源了之后
[031:30] 你就要做很多除了研究之外的
[031:31] 不仅仅是创新的事情
[031:33] 你要做项目的维护、社区的维护
[031:36] 还有很多工程细节的琐事
[031:39] 那段其实我就没有太参与
[031:41] 但我还在继续做我自己的其他研究
[031:44] 包括S-LoRA、SGLang、Fairness
[031:45] 这些事情
[031:46] 就是Serving(在线推理/模型部署)里面其他的问题
[031:47] 我继续在做研究
[031:48] SGLang是一个想要把我的思想
[031:51] 能够在一个地方继续往上推的地方
[031:53] 本来它也是以某一个创新为起点
[031:55] 去做成一个general engine(通用引擎)
[031:57] 在我看来是
[031:58] 当时有很多这样的Serving Engine(服务引擎)
[031:59] SGLang是其中一个
[032:02] 并不是存在我在vLLM的这个引擎里面
[032:05] 做到SGLang引擎里
[032:06] 那比如说SGLang跟vLLM的核心差异性有吗
[032:10] 还是说其实大家都差不多
[032:13] 不同的团队做出来的肯定不一样
[032:14] 但是差异性它随着
[032:17] 就如果你不把时间维度放进去的话
[032:19] 他们是会类似的
[032:20] 因为相互会学习
[032:22] 如果你有好东西
[032:22] 一定会相互学习 会趋同
[032:24] 但是
[032:25] 你如果把时间放进去的话
[032:26] 每个时刻可能大家会有不同的侧重点
[032:28] 比方说
[032:29] SGLang在更早地
[032:31] 进军了scale up(规模化)的方向
[032:33] 就是把大规模的Serving(模型/推理服务)、生产
[032:35] 这种千卡级别、万卡级别的Serving
[032:37] 甚至千万卡级别、百万卡级别做好了
[032:40] vLLM可能在社区的覆盖
[032:43] 长尾模型的支持上做得更早
[032:45] 所以大家的专注是有所不一样
[032:46] 但是你现在去看的话
[032:48] 可能两方又在互相学习 在补齐短板
[032:51] (2024年)你在Databricks
[032:52] 不是也做过五个月的时间吗
[032:54] 当时公司的联合创始人之一Ion Stoica
[032:57] 也是之前伯克利的教授
[032:58] 他跟你有什么样的合作吗
[033:00] 他是我在伯克利访问的时候的教授
[033:03] 所以我们在伯克利的时候
[033:04] 就一起做了很多的研究
[033:06] 他对你有什么样的影响吗
[033:08] 在专业水平上给我带来了很多启发
[033:11] 其实我跟Ion Stoica
[033:13] 我们还一直保持联系
[033:15] 除了是我那个时候的
[033:16] 研究的一个导师之外
[033:19] 他也是我可能终身的一个导师
[033:22] 整个终身的一个导师
[033:23] Ion Stoica还是个很特别的人
[033:25] 当然他这么成功
[033:26] 那肯定是很特别的一个人
[033:27] 你觉得他特别之处在哪里
[033:29] 他其实是个很立体的人
[033:31] 他做很多事情
[033:32] 他同时开很多公司 然后是一个教授
[033:35] 但如果你真的靠近他的话
[033:38] 他的骨子里
[033:39] 他最自我认同感高的还是教授这个身份
[033:42] 就是教授和学生
[033:44] 这个是他所有身份自我认同感的
[033:47] 如果你追溯到根源 这是他的根源所在
[033:49] 他很在乎making impact(产生影响力)
[033:52] Impact(影响力)可能是他做所有事情的动力之源
[033:56] 他也把这个精神传递给了他的学生
[034:00] 他底下的学生
[034:01] 和跟他一起共事的人
[034:02] 可能都受到了这个影响
[034:04] 就是making impact(产生影响力)
[034:05] 但我其实不一样
[034:06] 我其实在另一个价值观里面
[034:08] 但是我能理解到了这套价值观
[034:11] 所以making impact(产生影响力)
[034:12] 不是你的价值观吗
[034:13] 对 不是同一类价值观
[034:15] 那你的价值观是什么
[034:18] 我在乎的不是making impact本身
[034:21] 我会在乎一些我想要make的impact
[034:25] 如果我觉得有一种impact
[034:26] 我有一种价值观
[034:27] 我希望它被执行和被推向这个世界
[034:30] 我就会非常努力地去推动它和希望它发生
[034:33] 我会尽一切努力
[034:34] 但其实我不是完全在意
[034:36] 这件事情是不是我推动的
[034:38] 别人推动也可以
[034:39] 如果有人愿意帮我把这个事情推动
[034:42] 太好了
[034:43] 但一般来说不会有这样一个人
[034:45] 但是我慢慢学会的是
[034:47] 我真正自己想做的事情没有人会代劳
[034:49] 因为他有他想做的事情
[034:50] 别人有别人想做的事情
[034:52] 最后你自己真正想做的事情
[034:53] 你其实只有自己去坚持不断
[034:56] 你只有自己能够长时间地去
[035:00] 为那一件事情所奋斗 让它发生
[035:03] 所以在这个逻辑上
[035:04] 我觉得是有一些微妙的不同的
[035:06] 就我在乎的是impact 不是making
[035:08] 所以在另外一个价值观说
[035:10] making impact有可能是非常地说
[035:12] 我希望我个人有impact
[035:14] 但是你更在乎的是这件事情
[035:17] 对 我更在乎有一些
[035:19] 我觉得正确的事情发生
[035:21] 这个有时候会让我
[035:22] 显得很opinionated(有强烈主张的)
[035:24] 因为我会有一些事情我有观点
[035:25] 会非常希望我的观点发生
[035:27] 但我其实不是在乎它是不是我的观点
[035:29] 而是就是这个观点
[035:30] 我不知怎地被它intrigued(产生兴趣)了
[035:32] 被它给吸引了
[035:33] 我们说一下你在xAI的一些经历
[035:36] 2024年10月份你是当时加入了xAI
[035:39] 当时为什么选择xAI呢
[035:41] 我当时PhD刚毕业的时候
[035:42] 想要推广SGLang这个项目
[035:44] 对 我到目前为止
[035:45] 从我开始做SGLang之后
[035:47] 我的整个规划都跟SGLang紧密相关
[035:50] 我当时刚去Databricks的时候想要
[035:52] 在Databricks里面推广它
[035:55] 推广SGLang
[035:56] 推广SGLang 对
[035:57] 或者说我至少找到一个地方
[035:59] 可以好好地开发它
[036:00] 我也不一定说它能够取代所有的技术栈
[036:02] 但是我希望它是给我一块地方
[036:04] 可以让好好开发的
[036:05] 我在刚加入的时候
[036:06] 我觉得Databricks跟我说有这样的自由
[036:08] 但是实际上Databricks里面的
[036:11] 业务模式还是不那么一样嘛
[036:12] 而且Databricks毕竟是一个
[036:14] 已经很成熟的公司
[036:15] 它不是你可以随便说我想做什么就做什么
[036:17] 它做每件事情都需要理由
[036:19] 或者充分的理由
[036:20] 我作为一个研究员
[036:23] 新毕业的研究员进去
[036:24] 其实也没有太大的权力
[036:25] 我自己也不够成熟
[036:27] 就是你怎么在一个成熟的企业里面
[036:29] 去推动一个比较大的项目
[036:30] 我还不会这件事情
[036:31] 所以我觉得当时那几个月
[036:32] 尝试没有特别成功
[036:33] 可能也造成了一些影响
[036:35] 但不算特别成功
[036:36] xAI给的这个机会就是它
[036:39] 愿意去支持我
[036:42] 和Lianmin 是我的丈夫
[036:44] 他已经在xAI那个时候
[036:45] 那个时候在xAI之前还是在做训练
[036:47] 但是正好xAI到了一个节点
[036:48] 就是需要去做product inference(生产推理)
[036:51] 就有了这样一个机会
[036:52] 我和Lianmin可以去xAI
[036:54] 共同建立整个推理技术栈
[036:56] 整个推理的解决方案和团队
[036:58] 所以它可以给我两样东西
[037:00] 一个叫做Support(支持)
[037:02] 一个叫做Freedom(自由)
[037:03] 同时有support和freedom的时候
[037:04] 我就能做这件事情了
[037:05] 所以我就选择加入xAI
[037:06] 而且当时应该只有xAI才真正给我这两个
[037:09] 我有些其他的机会
[037:10] 有些是只给support 有些只给freedom
[037:13] 确实我觉得能这两个支持你去做这个事情
[037:17] 跟又让你自由地去做这个事情
[037:20] 这个机会其实是蛮罕见的
[037:22] 是不是也是因为xAI
[037:23] 那个时候比较早期
[037:24] 所以才有这样的机会
[037:26] 是的
[037:26] 那个时候的xAI是什么样子的呢
[037:29] 就在你能说的范围内给我们描述一下
[037:32] 我觉得xAI是我生命中非常重要的一部分
[037:35] 就虽然我没有工作特别特别多年
[037:37] 但是我在很多地方工作过
[037:39] xAI时光是我回忆最美好的
[037:43] xAI的时光是我回忆最美好的一段时光
[037:45] 评价这么高
[037:48] 而且我离开xAI的时候其实也非常不舍
[037:50] 我离开xAI的时候
[037:51] 是因为SGLang开源的一些需求
[037:54] 到了一个节点
[037:55] 我觉得我不得不去出来
[037:57] 把RadixArk新的公司扶起来
[037:59] 让我们社区能够很好地继续发展
[038:01] 如果不是因为这个原因的话
[038:03] 我是不可能选择离开xAI的
[038:06] 也不是说完全不可能
[038:07] 但我说就是非常非常不希望
[038:09] 也不舍得离开xAI
[038:10] 而且我觉得这个想法不是我一个人有的
[038:12] 其实我知道在我们早期的那一批员工里面
[038:14] 大家都有很多人有类似的想法
[038:16] 甚至有些人可能在xAI的工作
[038:18] 已经有点承受不住了
[038:20] 因为压力强度都很大
[038:22] 但他们还是一直在里面坚持
[038:24] 就是因为他们不想离开这群人
[038:25] 我的想法是类似的
[038:27] 所以是这群人
[038:28] 你们形成了一个非常好的团队的感觉
[038:31] 对 我觉得是
[038:32] 我觉得早期的xAI
[038:35] 就我在之前的xAI
[038:36] 我所体验到xAI是一个
[038:39] 就是
[038:40] 个个都是人才
[038:42] 里面个个都是人才
[038:44] 大家互相之间也都
[038:46] 很支持、很友善
[038:47] 很懂感恩、很谦逊
[038:49] 这是当时xAI给我的印象
[038:51] 跟你的价值观很像
[038:53] 对 我觉得非常的
[038:55] 就是我觉得当时在xAI
[038:56] 我能够非常专心地做事情
[038:58] 没有太多的杂念
[039:01] 而且大家都是这样的
[039:03] 大家都能够非常直白地做事情
[039:05] 都知道把事情做成最重要
[039:07] 我经历过那么多公司
[039:08] RadixArk之前
[039:09] 那(xAI)是我第一次经历到一个团队
[039:11] 一个公司里面完全没有任何人际博弈
[039:13] 没有任何办公室政治
[039:14] 当然后面可能慢慢地也会有
[039:15] 公司大了就肯定会有
[039:16] 那个时候多少人xAI
[039:18] 不到100人吧 我加入的时候
[039:20] 100人没有办公室政治还是挺难得
[039:23] 可能也有 我没有看见
[039:24] 但是至少我看见的范围里面
[039:25] 我没有看见办公室政治
[039:27] 我很幸运地在一个我能够非常
[039:30] 就是好的思考问题的那个环境氛围里面
[039:34] 我只要思考怎么做事情
[039:35] 我身边的人他们也在思考怎么做事情
[039:37] 大家也会有一些摩擦 那很正常
[039:39] 但是是一些
[039:41] 就说不影响团结的摩擦
[039:44] 这些摩擦是不影响
[039:45] 我们始终在一起
[039:46] 我觉得现在我们在RadixArk
[039:48] 是带过来了这个氛围的
[039:50] 那好棒
[039:51] 你把你在xAI的时候描述是V1.0(版本)
[039:56] 没加入之前是V0.0(版本)
[039:58] 可能现在是多少
[039:59] V3.0、V4.0(版本)
[040:00] 我也不知道大家怎么定义的
[040:01] 因为后面我也不在了
[040:02] 我只能听大家的说法 对
[040:04] 但是我能够感觉出有那么几个阶段
[040:06] 所以V0.0跟V1.0的时候是非常美好的
[040:10] 对
[040:10] 那个时候Elon的重心也不在你们身上
[040:12] 就V0.0的时候应该是Elon不怎么在
[040:15] V0.0是我听说的 我不在V0.0里
[040:17] V0.0的时候Elon对大家都非常好
[040:19] V0.0应该是非常非常美好
[040:21] 像一个家庭一样
[040:22] V1.0的时候其实已经开始生长了
[040:25] 已经开始一有这个生长痛
[040:27] V1.0的中途Elon回来了
[040:29] 但是我觉得就算在那个时候
[040:31] V1.0里面产生的阵痛
[040:32] 大家也还是共同克服难关的
[040:35] 我没有感觉到军心有什么动摇
[040:37] 我觉得大家都非常团结 也彼此照顾
[040:39] 我觉得那个时候是彼此照顾的状态
[040:41] 构建了一段战友情的这种感觉
[040:44] 这段故事特别珍贵
[040:45] 是因为它跟现在
[040:47] 大众对xAI的一个认知
[040:49] 差距是非常大的
[040:51] 因为现在大家的认知说
[040:52] 就前段时间xAI的联合创始人
[040:54] 全部都离开了
[040:56] 要么被解雇或者被裁员
[040:57] 或者自己辞职的
[040:59] 就感觉这两个叙事
[041:00] 就好像在说两个不同的公司一样
[041:03] 确实很不一样
[041:04] 因为后面公司大的
[041:06] 我觉得xAI是没有过那个阵痛期的
[041:08] 是没有过那个从很小的、很团结的
[041:13] 一个创业公司变成一个
[041:14] 需要靠体制来运转
[041:16] 而不是靠人来运转大公司的状态
[041:17] 它这个过渡期的阵痛是没有很好地抚平掉
[041:20] 所以产生了这些巨大的变化
[041:23] 但有天它可能又会找到一个新的解决方案
[041:25] 因为xAI还在那里
[041:27] 新的人员在新的组织架构
[041:28] 有天它可能会找到一个新的解决方案
[041:30] 但是就是可能是一个另一家公司
[041:33] 从人员上来看的话
[041:34] 反正Elon还在
[041:36] 对 这是最重要的
[041:37] 又被SpaceX收了 上市了
[041:41] 这段我觉得就是对组织架构的一些震动期
[041:44] 因为你肯定有你的观察
[041:46] 你觉得对你之后做初创公司
[041:48] 因为你们现在也是几十个人 对吧
[041:50] 可能很快你们会上百个人
[041:52] 几百个人的一个规模
[041:53] 会对你有什么样的经验教训吗
[041:56] 有的有的
[041:57] 我觉得我们现在就在一个很美好的时期
[041:58] 其实我知道
[041:59] 我们现在在一个很美好的时期
[042:01] 这段时间一定会成为我们所有人以后
[042:05] 人生中非常珍贵的一段回忆
[042:07] 但是我们也一定会面临那个挑战
[042:09] 扩大规模的挑战
[042:10] 对
[042:10] 就是你在人少的时候你是可以通过文化
[042:13] 通过人的管理去实现运转的
[042:16] 但你规模化上去了之后
[042:18] 其实文化就很脆弱了 人也很脆弱了
[042:21] 个人能力都会变得很脆弱
[042:23] 那个时候你能不能把公司做大
[042:24] 能不能把一件事情推动好
[042:26] 更多的就是看你的系统搭建得怎么样
[042:28] 体系构建得怎么样
[042:29] 最后是靠体系去支撑的
[042:32] 而不是靠人去支撑的
[042:33] 这个转变可能
[042:34] 我其实不知道正确答案
[042:35] 因为我没有经历过
[042:37] 但是我能学到的经验就是
[042:38] 这个过程要非常的intentionally thinking(有意识地思考)
[042:42] 它不是一个会自然发生的事情
[042:44] 它不是一个你只要公司这个计划有
[042:47] 然后往前推进
[042:48] 有scope(业务范围) 有事可做
[042:50] 你就理所当然会得到的东西 它不会
[042:52] 如果你不上心 它是会破裂
[042:54] 它就会破裂
[042:55] 你当时主要任务是什么
[042:57] 当时你在xAI
[042:59] 比如说给Grok构建推理系统的时候
[043:01] 我们是负责引擎那一块
[043:04] 我们要同时服务其他很多组
[043:06] 包括product serving(产品服务)
[043:07] 产品服务是他们会部署
[043:08] 做deployment
[043:09] 我们需要跟他们对接
[043:10] 他们遇到问题回来会报给我们说
[043:12] 引擎里面可能有什么事 有什么问题
[043:14] 我们也要帮忙部署上的一些协调
[043:16] configuration(配置)什么的
[043:17] 也要跟研究团队合作
[043:18] 研究团队做评估
[043:20] 跑RL rollout(强化学习试验)
[043:21] 用的也是我们的inference engine(推理引擎)
[043:23] 所以我们也要去支持
[043:25] 他们这个workload(业务)里面的各种适配
[043:27] 当时在xAI的时候
[043:29] 因为它整个算力系统也是非常庞大 对吧
[043:34] 它后来又买了非常多这样的卡
[043:36] 你觉得在整个的过程当中
[043:38] 比如说你是不是在里面
[043:40] 受到了全栈的训练
[043:43] 这对你来说产生了什么样的影响
[043:46] 对 我觉得在xAI的是
[043:49] 机会就是能看到所有
[043:51] 因为当时团队小
[043:52] 所以能看到
[043:53] 而且xAI
[043:54] 我觉得Elon还是设置了一个
[043:55] 我很喜欢的文化
[043:57] Elon有一些他的问题
[043:58] 但是他有一些很突出的地方
[044:01] 而且我很喜欢的地方
[044:02] 就是Elon能设置一个没有边界的文化
[044:05] 一个没有边界的文化
[044:06] 没有边界的文化 对
[044:07] 就是在xAI里面
[044:08] 至少我还在的时候
[044:09] 我觉得任何事情我都是可以接触到的
[044:12] 我不会说
[044:12] 当然组与组之间是被隔开的
[044:15] 你必须限制在一个很小的范围里面
[044:17] 只能做这一件事情
[044:18] 你不知道外面发生了什么
[044:19] xAI里面是不会这样
[044:20] 也没有特别多的人员管理
[044:22] xAI里面都是技术性的
[044:23] 而且它非常重工程师文化
[044:25] 所以你做事情可以非常直接
[044:28] 这样一个文化就使得我能够看见
[044:30] 很多很多个层面和
[044:32] 很多个模块之间
[044:33] 大家是怎么合作的
[044:34] 事情是怎么发生的
[044:35] 它作为一个整体是怎么发生的
[044:36] 这个给我带来非常大的成长
[044:39] 因为原来我确实没有办法
[044:40] 看到这么多的东西
[044:41] 并且在xAI因为强度很大 压力很大
[044:44] 人都是被训练出来的
[044:45] 你一定要高强度
[044:48] 你只有经历过那个高强度
[044:51] 你的成长撕裂
[044:51] 就像你健身
[044:52] 你一定要很累了 你感觉到痛了你才
[044:54] 对 开始长肌肉
[044:55] xAI这个高强度它给我们带来的成长就是
[044:59] 可能你在那里待了一年第 6 章 · 离开 xAI 创立 RadixArk + 1 亿美元种子轮
时间范围:[45:00] – [70:00]
时长:约 25 分钟
字幕行数:798 行
完整对话记录
[045:00] 可能在外面是好几年才能拿到的成长
[045:03] 你当时是决定说
[045:05] SGLang想要把它商业化
[045:07] 去成立RadixArk
[045:09] 是一个什么样的时机点
[045:11] 对 这个是因为当时在2025年的时候
[045:14] 前面有几波浪潮把SGLang推到了一个
[045:18] 还不错的被关注点
[045:20] 有很多的需求向我们涌过来
[045:22] 想要使用
[045:24] 和让我们参与一起开发之类的
[045:27] 但是我们社区
[045:28] SGLang社区是一个
[045:30] 虽然最早我们也是大学里面做了一些研究
[045:32] 但从很早的时候开始
[045:33] SGLang就已经变成了一个纯社区项目
[045:35] 我们的核心开发者都是网上认识的
[045:37] 我们都是网友
[045:38] 就跟我小时候在网上学习
[045:40] 大家可能都没见过面
[045:41] 没见过面
[045:42] 就现在还是核心开发者
[045:43] 我们已经共同工作了两年了
[045:44] 我还不知道他们长什么样子
[045:45] 有好几个是这样
[045:46] 可能也没有好多 有那么几个吧
[045:48] 我不知道他们长什么样
[045:48] 下次年会的时候可以把他们请过来
[045:50] 对 我们已经开了很多次会
[045:52] 但是从来没有开过摄像头
[045:53] 好
[045:54] 我们也从来没有要求过对方开摄像头
[045:58] 大家就有一个默契
[045:59] 这个默契就是我只要看到你的代码
[046:01] 我就知道你是谁
[046:03] 我也只想只看到这个部分
[046:05] 所以开摄像头
[046:06] 或者是真正地认识对方这件事情不重要
[046:09] 还是说大家都是i人
[046:10] 所以不想开摄像头
[046:12] 我觉得大家没有i到完全不想开摄像头
[046:14] 没有这么夸张
[046:15] 我觉得是他自然到你
[046:18] 根本没有想起来这件事情
[046:19] 没有说大家拒绝开
[046:20] 但是自然到你根本没有想起来这件事情
[046:22] 对 SGLang是个这样的社区
[046:24] 但是这样的社区也会导致
[046:26] 我们大家其实没有那么的有组织纪律性
[046:29] 虽然大家都很有热情
[046:30] 也非常在乎这个项目
[046:32] 但是你还是很难说让大家
[046:34] 有时间去把项目
[046:36] 非常严肃地给它做好
[046:38] 做成一个成熟的
[046:39] 高质量水准的一个项目水平
[046:41] 除非我们有自己的公司
[046:43] 变成我们的全职工作
[046:44] 大家其实有自己的全职工作
[046:47] 也只是说其他空闲的时间
[046:49] 来为这个社区做贡献的
[046:51] 对 就是晚上熬一下夜 通个宵
[046:53] 周末再工作一下
[046:54] 放假的时候过来写代码
[046:56] 这样子去维持
[046:57] 但是我们当时的增长是快到
[046:59] 你不可能用这样的方式去维持
[047:00] 那个时候接到的很多需求
[047:02] 我们想要去抓住这些机会
[047:03] 想要跟对方合作
[047:04] 想要交付一些东西
[047:06] 但是我们还是强撑了一段时间
[047:08] 但我觉得强撑的那几个月
[047:10] 之后发现的就是没有办法交付
[047:11] 就其实大家都是很想交付的
[047:12] 你觉得我们已经不能再透支了
[047:14] 你知道这个团队已经不能再透支了
[047:15] 它就是被团队的带宽限制住了
[047:17] 我们没有办法很好交付
[047:19] 都是勉强低空飞过
[047:20] 或者甚至没有成功交付
[047:22] 所以到了大概七月份那个时候就已经
[047:27] 我觉得我自己的焦虑已经到了一个
[047:29] 我觉得如果我们再不出来做这件事情
[047:31] 我再不把这个背后实际上的空白
[047:33] 就是这个是个中空的状态
[047:35] 我再不把这个空白填充的话
[047:37] 我们就快要让外界失望了
[047:39] 所以我自己焦虑到了一个
[047:40] 我觉得我没有办法再拖的这个状态里
[047:42] 所以我从xAI出来
[047:44] 从xAI出来应该放弃了很多金钱上
[047:48] 那倒也没有
[047:49] 还好吧
[047:50] 而且Lianmin他在xAI 他比我多
[047:54] 但我确实是没满一年
[047:56] 就是我是有一年的cliff(悬崖期)的
[047:57] 我出来的时候是10个月
[047:58] 对
[047:59] 其实我只要再待两个月
[048:00] 我就可以拿到我的第一年的vesting(股权激励)
[048:02] 所以两个月都不能待
[048:04] 对 因为
[048:04] 等不了了
[048:05] 等到7月份已经是等了很久了
[048:08] 其实我可能5月份就已经有点受不了了
[048:11] 到7月份时候已经实在是受不了了
[048:13] 如果不出来的话
[048:13] 可能这个社区就
[048:15] 两个月都等不了了 是吗
[048:17] 对 大概是那样的结论
[048:19] 我的心理状态到了一个
[048:20] 我没有办法专注做xAI的事情
[048:23] 我已经没有办法高效地生产
[048:24] 我对xAI的价值
[048:26] 但是我不能忍受自己在一个
[048:28] 就是如果我是在xAI上班的
[048:29] 我就觉得我要对它有用
[048:31] 不然我就会觉得我不配在这个地方
[048:34] 所以我当时已经到了一个
[048:35] 我觉得我不配再继续待下去的
[048:36] 一个心理状态了
[048:38] 它不是我能控制的
[048:39] 刚才忘了问一个问题
[048:40] 你觉得金钱对你有任何的重要性吗
[048:44] 有必须性 没有重要性
[048:45] 它的必须性来自于
[048:48] 有金钱可以让我
[048:50] 解决很多事情更容易
[048:51] 这个我承认
[048:53] 就我没有追逐过它
[048:54] 但是你真的说它不重要吧
[048:55] 我也没有到那个程度
[048:57] 它能够给你带来的底气就是
[048:58] 比如说我想创立这个公司
[049:00] 如果有一天我融不到钱 我自己还有钱
[049:01] 这是它对我的意义
[049:03] 忘了提一段经历
[049:04] 你在哥大毕业之后
[049:06] 其实是到了华尔街的一个对冲基金
[049:09] 叫Two Sigma
[049:10] 里面是工作了有几个月吧
[049:12] 是不是 没有到一年
[049:14] 有半年 6个月
[049:15] 好 就那段经历是什么样子的
[049:18] 就是在华尔街
[049:20] 大家觉得说
[049:21] 纽约华尔街上纸醉金迷
[049:23] 在一个对冲基金里面
[049:25] 好像跟你之前做研究的这个氛围
[049:27] 是不是会完全不一样
[049:29] 但我们那个对冲基金是一个tech(技术)的对冲基金
[049:31] 对 我知道 量化
[049:32] 对 技术的
[049:34] 但是我当时确实是想要接触金融
[049:36] 觉得挺有意思的
[049:39] 我有一任前男友是学金融的
[049:42] 这个剪掉
[049:44] 我一定会放出来的
[049:46] 所以当时我确实对那个
[049:48] 就觉得金融挺有意思的 有点好奇
[049:51] 当时量化大家的说法就是
[049:53] 那里面的人很聪明
[049:54] 是
[049:54] 都是那个
[049:55] 好多PhD 什么学物理的
[049:57] 就好多PhD后来我们学校的都去量化了
[050:01] 就是我不知道为什么
[050:01] 我就是喜欢聪明的
[050:03] 跟聪明的人说话
[050:04] 我喜欢做有挑战的
[050:05] 跟智商挑战的事情
[050:06] 所以它这个特点当时吸引我
[050:08] 当然这个也是吸引很多其他人的原因
[050:10] 那个时候我也就21岁吧 22岁
[050:14] 单纯地被这东西吸引
[050:14] 我觉得我要去体验一把
[050:16] 我觉得这个事情我要是不体验的话
[050:17] 以后我会一直想着它
[050:18] 但是我又觉得金融不是我的人生追求
[050:20] 我又觉得天天在那玩钱没啥意思
[050:22] 对
[050:23] 所以刚好PhD中间隔了
[050:25] 有个半年的gap(间隔期)
[050:26] 然后完成一个体验 挺好的
[050:28] 我就去那里做了半年
[050:29] 那半年的回忆也非常好
[050:30] 如果要我排序的话
[050:31] 我工作过的所有公司
[050:33] 排第一的是xAI
[050:33] 排第二是Two Sigma
[050:35] 评价这么高
[050:36] 但是我听说Two Sigma
[050:37] 就我在的时候又是它最好的时候
[050:39] 我很幸运
[050:40] 我每次在都是它最好的时候
[050:41] 后来可能就有些变化了
[050:43] 但是我在的时候
[050:44] 是Two Sigma最蓬勃发展
[050:46] 甚至拥抱开源他们那段时间
[050:47] Two Sigma那段时间是做开源项目的
[050:49] 非常拥抱科技
[050:50] 也拥抱新技术、AI、大数据什么的
[050:53] 里面的人也是非常地互相帮助
[050:55] 我没有感受到任何多余的东西
[050:58] 所有人都只是在做事情
[051:00] 所有人都非常地开放
[051:03] 非常开放
[051:04] 非常喜欢分享
[051:06] 质量也很高
[051:07] 里面当时交到的很多朋友
[051:10] 到现在也还是我的朋友
[051:11] 大部分人还继续在华尔街量化里面
[051:14] 还是也都会出来开始做AI
[051:16] 都有 有些出来的 有些还在里面
[051:18] Two Sigma让我看到一个
[051:19] 非常有组织的公司的样子
[051:21] 至少在当时
[051:22] 所以它是非常有组织
[051:23] 我当时觉得Two Sigma非常有组织
[051:24] 我当时不觉得
[051:25] 但我后来去了其他公司之后
[051:26] 我再回想我就觉得
[051:27] 原来其他地方这么乱是吗
[051:28] 对 原来其他地方这么乱
[051:30] Two Sigma它都不是一个技术公司
[051:31] 但是Two Sigma的基础设施
[051:33] 跟其他的比起来是最稳定的一个地方
[051:35] 有意思
[051:36] 你觉得原因是什么
[051:38] 公司文化就是这样的吗
[051:39] 就让它非常地干净
[051:40] 我觉得是它的聚变不多
[051:43] 它的业务模式比较稳定
[051:45] 所以大家可以在那里一直做维护
[051:46] 大量的维护
[051:47] 所以对于做一个金融
[051:52] 追逐那个回报的数字
[051:56] 赚钱这个事情
[051:57] 在你这边就不是优先事项
[051:59] 你只是想体验一下
[052:00] 对 我只想体验一下
[052:01] 对 我一开始就知道那不是我的优先事项
[052:03] 体验还不错
[052:04] 对 体验不错 挺好的
[052:06] 这个技术稍微给大家去科普一下
[052:09] LLM infra(大模型基础设施)
[052:10] 你们在做什么样的事情
[052:11] 你们在解决什么样的问题
[052:13] Infra分好几个模块
[052:14] 我们长远的目标是
[052:16] 我们希望整个infra
[052:18] 我非常模糊地说
[052:19] 我们的这个结构性思考
[052:20] 是我们希望RadixArk在一个地方它可以
[052:23] 给你提供很好的基础知识
[052:25] 让大家根据你不同的使用场景
[052:28] 不同的数据的形式 不同的产品目标
[052:31] 和不同的survey(探索)目标
[052:33] 你有可能希望模型
[052:35] 它可能解决个很简单问题
[052:36] 但是你希望它很快
[052:37] 又或者是它要解决一个很难的问题
[052:39] 但它可以比较慢
[052:40] 你都可以用这套工具源源不断地产生
[052:43] 适应你不同目标的最好的模型
[052:45] 我们希望把这个foundation(基础)做出来
[052:47] 这个基础我统称为infra(基础设施)
[052:49] 它会包括传统意义上
[052:50] 大家所理解的推理引擎
[052:52] 推理和训练 后训练
[052:53] 这些都是大家传统的脑中的关键词
[052:55] 我还想在这里其实加一个组件
[052:57] 就是基座模型也是infra 在我看来
[053:01] 整个这个基础里面是包括了
[053:02] 所有你需要的ingredients(要素)
[053:03] 包括了这些codebase(代码库)
[053:05] Tool(工具)、Toolbox(工具箱)
[053:06] Sandbox(沙盒)、Environment(环境)
[053:07] 和一些中间状态的模型检查点
[053:09] 它们在一起变成个工具箱
[053:11] 你可以在这里进行组合 去不断地产生
[053:14] 更适用于你的场景和目标的特异化模型
[053:17] 整个这个工具箱 这个基础
[053:19] 是我们要做的infra的部分
[053:22] 现在我们 因为要聚焦 一步一步来
[053:25] 所以我们现在是聚焦在
[053:26] Inference(推理)和RL(强化学习)
[053:28] 它们处在你这个生产模型整个流程的末端
[053:33] 假设说我前面已经走完了
[053:34] 我的基础模型预训练已经做完了
[053:37] 我有基本的checkpoint(检查点)
[053:38] 现在我开始要适应不同的任务
[053:40] 我需要过后训练的时候大家开始用RL
[053:42] 这个地方已经开始开枝散叶
[053:44] 因为AI进入人的生活的各个方面
[053:46] 有不同的场景需求
[053:48] 这个时候你开始需要有
[053:49] 不是一个模型解决所有问题
[053:50] 你可以开始有多次训练产生多个模型
[053:52] 解决各种各样的问题
[053:53] 并且多个企业他们可能都想有自己的模型
[053:55] 所以post-train RL(后训练的强化学习)
[053:57] 在这个地方是一个fan-out(散开)的状态
[054:00] 所以它是比较适合做我们想要的这种
[054:04] 给所有人分享技术
[054:06] 然后做一套基础设施
[054:07] 让所有人都使用的这样一个模式里的
[054:09] 后训练完之后的模型推理
[054:11] 那就更加fan-out(散开)了
[054:12] 推理就是真的到了末端
[054:14] 模型都已经完成了
[054:15] 推理 我需要让你模型的
[054:17] 架构和weights(权重)都已经有了
[054:19] 我需要让你模型在硬件上跑起来
[054:21] 跑起来之后可以被
[054:23] 你有个end point(接口)可以被cover(包含到)
[054:24] 别人可以来 别人可以使用这个模型
[054:26] 推理就是在那个更末端贴近用户的部分
[054:29] 整个的Infra LLM Serving这个版图
[054:31] 其实中间涵盖蛮多领域的
[054:34] 比如说vLLM是解决内存管理
[054:37] H2O是做KV cache的压缩
[054:39] S-LoRA是解决多适配器的并发
[054:43] Chatbot Arena做测评
[054:44] SGLang做结构化生成
[054:46] 非常多不同的方向
[054:48] 对这部分的研究
[054:50] 你是有一个什么样的方法论
[054:52] 在解决这些问题
[054:54] 还是说你有一个很完整的路线图
[054:59] 说这些东西都是我要一起去解决的
[055:01] 还是这些东西是你一步一步地
[055:03] 去慢慢地解决这些问题的
[055:05] 我觉得是一次性看见
[055:06] 短时间内一下看见了很多问题
[055:08] 但你做的时候得一件一件做
[055:10] 想法肯定是跑得比手要快
[055:12] 也不是我一个人看见 很多人都看见了
[055:14] 上来一下看见很多问题
[055:15] 然后大家慢慢地把每件事情都解决掉
[055:17] 在解决这些问题的时候
[055:19] 你觉得有哪个点是最难的
[055:21] 我觉得没有哪个点是难的
[055:25] 就是去做掉就可以了
[055:26] 对
[055:27] 那你的优先级是怎么排序的
[055:29] 哪一个能给你带来最大的margin(边际收益)
[055:31] 哪一个是最大的瓶颈
[055:32] 先解决最大的瓶颈
[055:33] 也有些是dependent(依赖的)
[055:35] 比方说你要先解决内存的
[055:36] KV cache的碎片化问题、管理问题
[055:40] 然后你才能解决prefix cache(前缀缓存)的问题
[055:42] 所以你觉得现在这些问题完全被解决了吗
[055:44] 还是有继续优化的潜力
[055:48] 肯定总是有优化的潜力
[055:49] Attention(注意力机制)现在有这么多的变种
[055:51] Sparse Attention(稀疏注意力)还可以做得更激进
[055:52] 然后新的创新 不会停止的
[055:55] 这一块其实应该是一个很大的市场
[055:57] 但这个市场为什么
[055:58] 最开始从开源的生态里面跑出来的呢
[056:01] 也不能说是开源跑出来的
[056:03] 因为推理已经很长时间了
[056:05] Inference provider(推理服务提供商)
[056:06] 你看从Fireworks、Together这些公司
[056:08] 已经存在好几年了
[056:09] 这些公司都很不错 有很大的使用量
[056:11] 而且你看推理的领域有这么多的竞争者
[056:14] 对
[056:15] 这么多跟推理有关的公司
[056:16] 层出不穷 每年都在不停地出
[056:17] 但是你会发现这个游戏里面没有输家
[056:20] 没有输家
[056:20] 没有输家
[056:22] 所有的inference player
[056:23] Inference provider player(推理服务提供商)
[056:25] 不停地出来 有这么多
[056:26] 但是没有任何一个
[056:27] 因为有竞争的存在而消减下去了
[056:29] 所有人都是同步增长的
[056:31] 我之前其实跟你联合创始人邦华聊的时候
[056:33] 他就说
[056:34] 做infra的人 他需要的taste(品味)
[056:36] 跟做比如说
[056:38] 预训练的研究者
[056:39] 他的taste(品味)是不一样的
[056:41] 比如说做infra的人
[056:42] 他的taste(品味)是表现在什么样的方面
[056:46] 我其实不确定是不是真的不一样
[056:48] 是吗
[056:48] 我觉得本质可能是相通的
[056:50] 那你觉得taste(品味)表现在什么样的方向
[056:52] 不论是在做预训练算法
[056:55] 还是在做infra
[056:57] 你做一件事情时候是不是喜欢精益求精
[056:59] 它是一个很细节的活
[057:00] 就因为它这个效率要做到非常极致
[057:03] 不光是效率
[057:05] 如果你是追求一个目标的话
[057:06] 可能就不在taste(品味)这个维度上
[057:08] 你如果要的是一个最终目标
[057:10] Taste(品味)其实就是你关注的
[057:12] 不仅仅是最终目标
[057:13] 并且还有这个最终目标的组成
[057:15] 就是我的系统不仅能跑
[057:16] 我并且知道它是怎么跑起来的
[057:18] 它是以一个设计过的
[057:20] 设计良好的形式形态跑起来的
[057:22] 还是它是一个豆腐渣工程跑起来的
[057:25] 他们有可能有同样的最终目标
[057:27] 有taste(品味)就是说我更在乎它
[057:28] 是一个很优美的形式跑起来的
[057:31] 而不是很
[057:32] 豆腐渣的
[057:33] 对 很hacky(粗糙的)方式跑起来的
[057:35] 那你在乎吗
[057:36] 我非常在乎 这是RadixArk的文化之一
[057:39] 我们非常强调这一点
[057:40] 我们想要成立RadixArk
[057:41] 想要好好地做一家infra-first(基础设施优先)公司
[057:44] 因为我觉得在很多其他的
[057:47] 我之前工作过的其他地方
[057:48] 或者是听大家讨论
[057:50] 以产品、以模型为目标的这些公司
[057:52] 在基础设施的美感上有所妥协
[057:54] 他们在基础设施的功能上还是很追求的
[057:56] 但是在美感上是有所妥协的
[057:58] 然后基础设施的人在整个这个全栈里面
[058:02] 可能长期处于一个被低估的状态
[058:07] 就他们需要被迫去不停地支持其他的组件
[058:11] 他们需要去支持研究者
[058:13] 去很好地使用基础设施工具
[058:15] 然后把实验跑起来去迭代
[058:16] 他们也需要支持产品端的人
[058:18] 能够把自己的产品运行得又稳又快
[058:21] 但是基础设施自己
[058:23] 以我跟基础设施之间这个浪漫的关系
[058:25] 我觉得基础设施它不是一个支持的角色
[058:27] 基础设施本身在我眼中就是产品
[058:29] 你在推一个产品的时候
[058:30] 因为产品面向用户 你会去想
[058:32] 我这个产品不是只有功能
[058:34] 我会想这个产品美
[058:35] 我希望它好看、好用
[058:36] 被人所喜欢
[058:37] 我希望它击中用户心里的痛点 击中人性
[058:41] 我希望产品击中人性
[058:43] 但是没有人会说我希望基础设施击中人性
[058:45] 但是从我的视角里看
[058:46] 我觉得基础设施也是击中人性的
[058:48] 它只是没有直接到用户
[058:50] 没有那么直接的联系而已
[058:51] 但实际上它产生的这个深远影响
[058:53] 是从底层就开始往上传递的
[058:56] 我觉得刚才你说的两个词非常有意思
[058:58] 第一 你是说基础设施的美
[059:01] 第二 你是说你跟基础设施的关系
[059:03] 是浪漫的
[059:04] 这两个词其实我很少听到
[059:06] 我倒是没有仔细想过为什么是这个词
[059:08] 但是它自然而然存在于我的脑中
[059:13] 其实我觉得写基础设施的人
[059:14] 他们都是能理解的
[059:15] 你写基础设施的时候 你追求
[059:17] 你会去觉得我这个代码写得
[059:20] 我其实不知道怎么更细地拆解了
[059:22] 但是 我不是特例 我只是其中之一
[059:24] 其实有很多 有一批这样的人
[059:27] 他们都很在乎你的基础设施构建的时候
[059:29] 这个系统它优不优美 稳不稳定
[059:31] 然后他们总是被迫
[059:32] 去做一些hacky(粗糙的)事情来达成目标
[059:34] 其实他们都是会在一个被拉扯的状态里
[059:36] 我明白你的意思
[059:38] 比如说
[059:38] 其实如果你看一些大厂
[059:40] OpenAI有自己的基础设施团队
[059:42] 之前你在xAI
[059:43] xAI也有自己的基础设施团队
[059:45] 是不是在这种大厂的时候
[059:46] 基础设施团队它总是一个支持者的角色
[059:50] 所以也就是说
[059:51] 它有很多你需要去妥协的地方
[059:53] 但是如果你自己出来做一个infra native(原生基础设施)
[059:56] 就可以达到你所说的
[059:58] Infra-first(基础设施优先)这种美感
[060:00] 对 比如说在RadixArk
[060:01] 其实我们是反过来的
[060:02] 比方说我们也有训练任务
[060:04] 但是我们并不是说
[060:05] 我需要一个基础设施团队
[060:06] 去一直支持这个训练任务
[060:08] 跑得非常的on track(按计划进行)
[060:09] 我们其实是反过来的
[060:10] 我们希望这个训练任务它可以没有压力
[060:14] 它只需要跑
[060:15] 然后一旦你训练任务被卡住了
[060:17] 遇到问题的时候
[060:18] 我们希望大家的注意点是
[060:19] 把这个问题系统化地解决
[060:22] 而不是打一个补丁上去
[060:23] 让这个训练任务必须跑
[060:24] 任务是可以跳过的
[060:25] 我们刷分也不着急刷
[060:26] 我们也不是非要刷一个
[060:27] 非常好的基准测试分数
[060:28] 这个在我们这里不是第一优先级
[060:29] 但是我们如果能刷高当然是好的
[060:31] 我们不会说这事情不重要
[060:33] 但是在时间线上
[060:34] 它不是source of urgency(紧迫感的来源)
[060:36] 我们的紧迫感的来源是
[060:38] 你的任务不能被迭代的时候
[060:40] 这个问题本身它应该怎么样
[060:42] 从深层次地解决它
[060:43] 我们先再回去一点点
[060:45] 让我们的观众更加了解一下
[060:47] 基础设施的这个赛道
[060:49] 比如说我们在技术的细节上面
[060:51] 看到这个RadixAttention
[060:53] 它其实是SGLang的核心技术之一
[060:56] 是用Radix(基数)树来做这个前缀的缓存
[060:59] 避免重复地计算KV cache
[061:01] 能不能用比较通俗的语言
[061:02] 给我们的观众来解释一下这个技术
[061:05] 这个技术其实也比较简单
[061:08] 就是当你有很多的请求
[061:10] 发到引擎这边需要处理的时候
[061:12] 如果你的请求有一个公共前缀
[061:15] 那我们就不需要重新计算
[061:16] 这个公共前缀所对应的KV cache
[061:19] 而是可以复用你第一次
[061:21] 一个请求进来 我已经计算过KV cache
[061:23] 第二个请求进来
[061:24] 如果他们共享的话
[061:25] 我可以复用已经计算出来的KV cache
[061:28] 所以这套内存管理系统
[061:30] 就是对前缀的共享结构做了indexing(索引)和存储
[061:35] 首先一个是你对进来的请求之间的
[061:37] 前缀的关系
[061:38] 要建立前缀树来做indexing(索引)
[061:40] 做完indexing(索引)之后
[061:41] 你需要把已经计算的KV cache
[061:43] 存在KV memory pool(KV内存池)里面
[061:45] 然后把这个indexing(索引)
[061:46] 跟这个KV memory pool(KV内存池)
[061:47] 给mapping(映射)起来
[061:48] 既然它的核心是用重复的前缀
[061:50] 但是如果我们假设
[061:52] 用户每次发的问题都是全新的
[061:54] 没有什么共同的前缀
[061:55] 比如说长文档摘要或者创意写作
[061:58] 是不是这套机制就有一定它的局限性
[062:00] 因为agentic(智能体)场景出现 复杂场景的出现
[062:04] 大部分都是会有前缀共享的
[062:06] 因为你只要进入多轮对话
[062:07] 你后面的对话都会要复用
[062:09] 前面已经对话的历史
[062:10] 所以前缀复用
[062:11] 是大量存在在几乎所有的场景里
[062:15] 是不是说agent(智能体)来了之后
[062:17] 这个问题是更需要被解决的
[062:19] 或者更需要被优化的
[062:21] 它一直都是需要被解决的
[062:22] Agent(智能体)来了之后
[062:23] 它确实可能变得更被大家所关注到了
[062:27] 其实SGLang在论文刚出来的时候
[062:30] 如果现在还回去看那个两三年前的论文
[062:33] 我们确实是以agent(智能体)为入口进来
[062:37] 说我们为什么要新设计SGLang这套体系
[062:39] 当时还设计了一个前端语言
[062:41] 都是为了agentic(智能体)的用例所设计的
[062:43] 因为我们觉得LLM(大语言模型)AI它会将来成为
[062:47] 变得非常强大之后
[062:48] 你需要构建一套
[062:49] 人与AI之间交互的interface(界面)
[062:51] SGLang的创作之初的动机
[062:53] 其实是想要去定义和构建这套界面
[062:56] 让人和AI可以更好地交互
[062:58] 但发展到今天 因为你挑战的重点
[063:04] 可能推理就是后端
[063:05] 推理挑战重点更为突出
[063:07] 所以大量的开发精力是移到了
[063:10] 后端的运行时的优化
[063:12] 但我觉得有一天 在某个时刻
[063:14] 其实我们还是应该回顾一下
[063:15] 最初的这个想法
[063:16] 就是为什么要设计SGLang
[063:18] 这个SGLang 它structure general(原初化结构)是语言
[063:21] SGLang原初设计的时候
[063:22] 是希望它是一个语言
[063:23] 我觉得有一天我们会重新审视这个部分
[063:26] 我觉得最终它还是应该是一个语言的形式
[063:28] 这个语言 它是人与AI之间交互的窗口
[063:31] 在看你们社交媒体的时候
[063:32] 你们经常就是说 这个模型发了之后
[063:34] 我们是Day-0
[063:35] 就是从0天开始兼容的
[063:38] 能不能跟我们解释一下
[063:39] 为什么这件事情很重要
[063:41] 这件事情很重要是市场觉得它很重要
[063:44] 我们做事情还是很务实的
[063:45] 我们做开源
[063:47] 哪些事情重要和不重要
[063:48] 还是被市场所决定的
[063:49] 不是完全我们自己定义的
[063:51] 我觉得市场上
[063:52] 人性好像大家就是很希望
[063:53] 东西刚出来时候我就能用上
[063:55] 这个愿望从用户端一直传递到了
[063:58] 我刚提到那些
[063:59] Inference provider(推理服务商)
[064:00] Inference provider进而又传递到了我们
[064:02] 也进而再传递到了模型厂商
[064:04] 所以这个链条式的传递
[064:06] 它其实满足的就是一个人你想要
[064:08] 就跟你发布了产品我要去
[064:10] 第一天就去抢购一样的这样一个心态
[064:13] 比如说前段时间发这个DeepSeek v4
[064:16] 发布之后你们马上就是
[064:17] Day-0兼容
[064:19] 达到这个Day-0兼容
[064:20] 你们要去做什么样的事情
[064:21] 这个跟模型的复杂度很相关
[064:24] DeepSeek v4他们是在architect(架构)上做了很多创新
[064:27] 所以我们其实花了特别大的精力
[064:29] 团队花了特别大的精力
[064:30] 去做这个模型的支持和各种优化
[064:32] 但是我们DeepSeek的Day-0兼容
[064:34] 支持这一次featureure set(功能集)
[064:35] 做得也非常全
[064:36] 因为花了很多的时间
[064:37] 非常多的功能都是第一天就兼容了
[064:39] 并且也是我们第一次
[064:40] 有这个RL(强化学习)的Day-0
[064:42] Miles是我们的RL框架
[064:44] 很多的算子层 一些实现都要重写
[064:47] 大部分的代码基本上是重写的
[064:49] 因为DeepSeek v4的架构设计
[064:52] 跟之前已经存在的模型有太多的不一样
[064:54] 是不是每一代新的模型出来
[064:57] 其实都是需要有个
[064:58] 重新适配的这样一个过程
[065:00] 只是说它的模型架构如果变得非常大的话
[065:02] 可能你的这个工作量就会更大一些
[065:04] 但如果它就是一个非常小的调整
[065:09] 或者是一个升级的话
[065:11] 你这边其实就没有必要
[065:12] 去做非常大的一些适配
[065:14] 对 如果它的架构完全不变的话
[065:16] 其实甚至都不用适配
[065:17] 如果它只是更新weights(权重)的话
[065:19] 那甚至几乎不用适配
[065:20] 最近有一些研究都是探索模型
[065:23] 直接在latent space(潜空间)里面推理
[065:26] 而不是逐字地去生成token
[065:28] 比如说我们看到之前Meta的Coconut
[065:30] 还有字节的Cola DLM等等
[065:32] 如果这个方向成熟
[065:33] 你觉得在推理引擎的很多优化假设
[065:37] 是不是可能会发生一些变化或者重写呢
[065:40] 如果这个成熟的话
[065:41] 那确实很多事情是会变的
[065:42] 因为它推理的过程形态不一样了
[065:44] 但是我觉得这个也
[065:46] 本来就是你写推理引擎的一环
[065:49] 世界在变 结构在变
[065:50] 然后你的事情又一直在变
[065:52] 这是一个本来就持续存在的过程
[065:55] 我觉得这个不是真正的变革本身
[065:58] 不同的团队
[066:00] 或者是不同的AI infra的玩家
[066:02] 适应变化的能力 这个东西重要吗
[066:05] 重要 我觉得团队更重要
[066:07] 再提一句 尤其是现在有AI了
[066:09] AI写代码写得这么快
[066:12] 实际上变一点 其实
[066:13] 就技术上来说
[066:14] 不是真正产生巨大变革的地方
[066:16] 技术上总是能做的
[066:17] 我觉得真正的难点
[066:18] 从来都还是在回归人和团队本身
[066:21] 那为什么你们的人 你们的团队就更好呢
[066:24] 我觉得我们的人和团队团结
[066:26] 谦逊 又聪明 又努力
[066:28] 那可能其他团队也会这么跟我说
[066:31] 我觉得其他团队也挺好的
[066:32] 我觉得大家都挺好
[066:33] 但是你每个群体都会有一个自己的
[066:35] 最终会形成一个自己的文化
[066:36] 大家各有所长
[066:37] 你强调的公司内部的企业文化
[066:39] 是什么样子的
[066:40] 我希望大家是专注
[066:42] 专注
[066:42] 谦逊 专注且谦逊
[066:44] 精益求精
[066:45] 这个是我们追求极高的审美
[066:48] 我们追求把事情做扎实
[066:50] 我们希望RadixArk的人
[066:51] 都是对自己特别挑剔的人
[066:53] 都是自己本身特别挑剔的人
[066:55] 对自己 对自己的作品特别挑剔的人
[066:58] 在今年年初的时候
[066:59] 我们看到这个vLLM的核心团队
[067:01] 也是商业化了
[067:02] 成立了Inferact公司
[067:03] 也是融资了1.5亿美元 估值8亿美元
[067:06] 这个产业之后会有更多的竞争对手吗
[067:09] 更多的公司会商业化来做这个事情吗
[067:12] 我觉得完全有可能
[067:13] 而且其实它就是持续不断在发生的
[067:16] Inferact和RadixArk这两家之后
[067:18] 还有新的推理的公司在不断地涌现
[067:22] 谁会变成赢家呢
[067:24] 核心的竞争点
[067:25] 团队的竞争点会在什么样的方向呢
[067:28] 我其实不觉得我们在这个赛道
[067:29] 虽然我们有SGLang
[067:30] SGLang是推理引擎
[067:31] 但我觉得RadixArk的那个长远使命
[067:33] 其实是不属于这个赛道的
[067:36] 能不能详细来说一下
[067:38] 我如果按照前面说法
[067:38] 我觉得RadixArk
[067:39] 我说的目的是我们想把最好的AI带给大家
[067:42] 这是我们非常朦胧的一个目标
[067:43] RadixArk接下来一年要做的事情
[067:45] 三年要做的事情 五年和十年
[067:47] 其实讲出来都会非常的不一样
[067:50] 我们最终想要
[067:51] 我不想透露 我不想披露
[067:53] 但是我可以大概地说
[067:54] 我认为RadixArk最终使命是要做下一代AI
[067:56] 下一代AI是什么意思
[067:57] 下一代 Next Generation AI
[067:59] 我们的本质还是不是
[068:01] 单纯的Infra implementation(基础设施实施)
[068:03] 意思是你们想要做模型吗
[068:05] 也不一定是模型 它是下一个形式
[068:07] 我现在我不讲它是什么
[068:08] 但我可以说我们并不是停在这个地方
[068:11] 只是说这个推理
[068:13] 或者是基础设施只是一个起点
[068:16] 对 它是一个前提条件
[068:17] 但我们想我们要做的也不是模型
[068:19] 我们将来想做的事情
[068:20] 不是一个现在世界上已经存在的东西
[068:23] 有意思
[068:25] 所以我其实不觉得我们跟
[068:26] 现有的这些推理公司是一个类别里面的
[068:30] 它还不存在 但是你觉得它一定会发生的
[068:33] 我觉得它会发生
[068:34] 然后你想把它造出来
[068:35] 或者是我希望它发生 我想看到它发生
[068:38] 我就很好奇 你能跟我说一下
[068:40] 我们后期把它哔掉吗
[068:42] 不能
[068:43] 好
[068:45] 对 但我可以说
[068:46] 推理不是我们的
[068:48] 它是一个起点
[068:49] 它不是RadixArk的长远核心
[068:52] 所以我们其实跟其他的推理公司
[068:54] 都是保持良好的关系
[068:56] 我们的engine(引擎)是全开源的
[068:57] SGLang也不是RadixArk的所有物了
[068:59] SGLang是LMSYS下面
[069:00] 它是属于社区的
[069:02] 但是我们公司的所有贡献
[069:04] 在SGLang都是开源的
[069:05] 我们是没有private fork(私有派生仓库)
[069:06] 我们的愿望也很简单
[069:08] 我们其实只是希望这些东西被所有人使用
[069:11] 我们并没有想要通过这个地方
[069:14] 制造一个差异 然后去获取利益
[069:16] 所以公司的命脉是不在这里的 其实
[069:19] 我们看到其实有不少的
[069:20] 做推理引擎的创业公司
[069:22] 虽然有些公司他们自己不做引擎
[069:24] 但是也是在这个引擎上面去做服务的
[069:27] 而且现在体量也不小了
[069:28] 比如说Baseten
[069:29] 是最近完成了3亿美元的融资
[069:31] 估值50亿美元
[069:32] Fireworks AI现在估值有40亿美元
[069:35] Together AI
[069:36] 现在也是在寻求10亿美元的新融资
[069:38] 同时我们看到AWS、Google
[069:40] 这些大的云厂商也是在提供托管推理服务
[069:44] 整个的AI infra的生态链
[069:47] 最近在发生什么样的事情
[069:48] 能不能给我们梳理一下
[069:50] 我觉得推理这件事情
[069:51] 其实很早就存在 也发展了很久
[069:54] 但是今年AI可能在变得更加成熟第 7 章 · 「AI Infra 是产品本身」+ 哲学
时间范围:[70:00] – [95:00]
时长:约 25 分钟
字幕行数:772 行
完整对话记录
[070:00] 尤其是Anthropic这个爆点大家都看到了
[070:02] AI变得更有用之后
[070:04] 整个市场的投入可能会有更多的
[070:06] 从训练转向推理
[070:08] 开始需要让它盈利和兑现的时候
[070:12] 这个转化就会使得推理市场进一步地
[070:15] 本来就已经很爆发
[070:16] 现在更大的爆发
[070:17] 所以你会看到很多这种
[070:19] 雨后春笋般冒出来的各种各样的推理公司
[070:21] 但同时所谓的AI native(原生)的公司
[070:23] 它们也开始感受到了这个
[070:25] 你继续使用现有模型
[070:27] 去做prompt engineering(提示词工程)的局限性
[070:29] 与此同时 也有更多的公司
[070:31] 开始需要利用好自己的数据
[070:33] 去做定制化的需求
[070:35] 这个需求它从另一方面也在推动
[070:37] RL(强化学习)这一块的市场化
[070:39] 一方面你看到有很多新的推理公司出来
[070:41] 另一方面你发现
[070:42] 你会看到一个已建立的推理公司
[070:44] 在往RL(强化学习)那边移动
[070:45] 在往RL(强化学习)那边扩张
[070:46] 我觉得这可能是这一批公司里面
[070:48] 最大的两个趋势 最明显的两个趋势
[070:50] Baseten还有Fireworks也是你们的客户
[070:54] 我们的用户
[070:55] 你觉得以后会发展成竞争对手吗
[070:57] 我不知道
[070:58] 他们有可能觉得
[070:59] 我们是某种意义上的竞争对手
[071:01] 但是我们不把他们当成竞争对手
[071:03] 我们是更想和谐相处的
[071:04] 一个是我们其实重点、重心
[071:06] 并不在这个地方
[071:07] 不然我们就不会把我们的推理
[071:08] 给大家随意使用
[071:10] 对
[071:10] 我还去支持他们使用
[071:11] 第二点是我们
[071:12] 因为我们这个开源的意愿
[071:13] 我们希望
[071:14] 被大家都使用
[071:14] 所以我们也不想跟他们成为竞争对手
[071:17] 我们希望这些都是我们的盟友
[071:19] 我们更希望的是聚焦在
[071:21] AI本身的一些技术迭代上
[071:24] 我们希望把这些技术
[071:25] 可以跟他们所共同发展
[071:28] 促成他们的业务模式的增长
[071:30] 现在你们服务的客户
[071:32] 大概是什么样类型的企业
[071:34] 或者是他们有没有一个什么
[071:35] 比较典型的使用场景可以分享的
[071:37] 我们各个类型的客户都有
[071:39] 从data center(数据中心)
[071:41] Neocloud(新云)
[071:42] 就是hyper scaler(超大规模云服务商)
[071:43] 就这些是cloud provide(云服务提供商)
[071:44] 就他们有GPU
[071:45] 我们想跟他们一起 或者帮他们销售GPU
[071:48] 到这些inference provider(推理服务提供商)
[071:50] 我们其实也想跟他们合作
[071:51] 也是希望他们成为我们客户
[071:52] 但现在还是一个用户的关系
[071:54] 再往上到AI这些公司
[071:56] 它们想要使用AI infra
[071:58] 去不管是train(训练)它们的模型
[071:59] 或者是serve(服务)模型也好
[072:01] 他们也是我们的客户
[072:02] 还有一些传统的大公司
[072:04] 它不是完全的AI公司
[072:06] 但是它想要用AI来助力它原来的业务
[072:10] 那我们也希望在这里可以提供一些价值
[072:13] SGLang之后
[072:13] 还开发了Miles
[072:15] 这个主要是用在RL(强化学习)上面的
[072:17] 你们为什么同时要做推理跟强化学习训练
[072:21] 因为我们做的是整个AI infra
[072:22] 推理和强化学习是
[072:24] 就我刚刚说
[072:24] 它是在最靠近用户的两个末端的步骤
[072:27] 所以我们从末端步骤开始布局
[072:29] 但是我们要做的
[072:30] 是整个能够把AI制造出来的能力
[072:33] 这两个东西同时做难度大吗
[072:35] 还好 因为它俩其实非常相关
[072:37] RL(强化学习)里面很大一部分的挑战
[072:38] 是来自于reward engine(奖励引擎)
[072:40] Reward engine(奖励引擎)它也是跟
[072:41] 它就是inference engine(推理引擎)
[072:43] 如果RL(强化学习)的话
[072:43] 你更多的是要做一些调配上的工作
[072:46] 和可能weights transfer(权重转移)之类的 胶水性的工作
[072:49] Scheduling(调度)算法也有一些新的东西
[072:51] 但是系统层面
[072:52] 它们有非常大的重叠
[072:54] 对
[072:55] 你刚刚跟我讲了两个很好的教授
[072:58] 非常教科书级版级别的教授
[073:00] 有没有哪个管理者
[073:01] 你是觉得你遇到过是最好的管理者
[073:05] 他们的特质是什么样子的
[073:07] 其实“管理”这个词也很宽泛
[073:09] 不同位置的管理者
[073:10] 他们的功能也是不一样的
[073:12] 管理与被管理
[073:13] 它其实也不是一个单纯的
[073:17] 管理与被管理的关系
[073:18] 它其实也是一个职能分工的关系
[073:20] 一件大事要做成
[073:21] 它背后一定要有一个人
[073:24] 他非常的跟这件事情绑定
[073:27] 他是不遗余力地要推动事情发生
[073:29] 这个人不管是创始人也好
[073:31] 是CEO也好
[073:32] 就他可以是任何一个人
[073:33] 但一定是有这么一个人的
[073:34] 他以某种形式
[073:35] 他跟这件事情被绑定了
[073:37] 这个角色 这个人
[073:38] 他需要有很清晰的想法
[073:40] 知道我们从哪里来 我们要去哪里
[073:42] 我为什么要做这件事情
[073:43] 团队为什么要做这件事情
[073:45] 他需要能够有这个坚持
[073:46] 并且他要能够看见未来
[073:48] 看见一个他想推动的未来 不一定
[073:50] 也许没有他就不会发生
[073:51] 但是一定是一个他能看见的未来
[073:53] 有远见
[073:55] 这些东西是最重要的
[073:56] 但是你
[073:57] 有远见的这个人
[073:58] 他并不一定需要具备
[074:00] 管理者需要的所有特质
[074:01] 你与此同时
[074:02] 公司里面还需要的其他的管理者
[074:04] 他们又需要执行不同的职能
[074:06] 比方说能够真的把一个远见变成真实
[074:10] 变得可执行
[074:11] 能够把人与人之间的合作关系调度得很好
[074:16] 这可能都是不同人的功能
[074:17] 管理者非常重要
[074:18] 它的架构制度非常的重要
[074:20] 对 但我觉得我现在的想法都很初级
[074:23] 我其实现在确切地说
[074:24] 就处在一个思考这个问题的阶段
[074:26] 我觉得我们刚好就在一个
[074:29] 从我还能一个人看清所有事情
[074:31] 到我现在看不清的这个阶段了
[074:33] 所以我其实最近就是在想这个问题
[074:34] 我们还没有找到答案
[074:36] 我现在看到的都是挑战
[074:40] 那现在这个挑战
[074:41] 跟你当时刚加入xAI的时候面临的挑战
[074:44] 是相似的吗
[074:45] 因为你也说
[074:46] 不一样
[074:46] 你也说xAI你也是把它看成你的宝宝
[074:49] 看成一个很重要的事情
[074:51] 那你在孵化它的时候
[074:52] 因为你加入xAI的时候
[074:54] 它应该还没有推理团队
[074:56] 你其实是把它给建立起来的
[074:58] 这样的一个很重要的核心的人
[075:00] 你觉得在回顾当时
[075:03] 你面对的一个局面跟挑战的时候
[075:05] 跟现在有什么样不一样吗
[075:07] 还是完全不一样的
[075:08] 因为毕竟在xAI
[075:08] 我不是xAI的所有者
[075:10] 就算我想 虽然我把它当成宝宝
[075:12] 但其实其他人并不觉得它是我的宝宝
[075:15] 所以我其实并没有被赋能
[075:17] 我并没有被赋权
[075:19] 我有想法 我有观察
[075:20] 但是我很多事情是改变不了的
[075:22] 我是没有办法去做很多决定
[075:24] 或者是告诉其他人一些影响他人的决定的
[075:27] 我的责任其实也没有办法
[075:29] 扩展到那么大的边界上
[075:30] 但是我在xAI确实学到了一句话
[075:32] xAI的两个leader(联创)
[075:35] 当时Tony Wu和Guodong Zhang分别跟我说过
[075:37] 我不知道他们是不是串通过
[075:38] 他们都跟我说过同一句话
[075:39] 就是说你的authority(权力)
[075:42] 和responsibility(责任)要匹配
[075:44] 就我在xAI是没有authority(权力)的
[075:46] 我只是一个小团队负责人而已
[075:48] 我其实没有权力做很多事情
[075:49] 所以我就没有责任
[075:52] 所以你觉得你自己有责任 但是
[075:55] 我其实没有
[075:56] 实际上没有
[075:56] 我其实没有
[075:57] 因为我负不了责
[075:58] 我不能决定事情 我就负不了责
[076:01] 这个事情如果我不能决定该怎么做
[076:02] 做错的话我也担不了责
[076:05] 做对了 就不是我能控制的事情
[076:07] 但是现在的话
[076:09] 这个公司 我要做决定 我必须要做决定
[076:12] 它变成了我的义务 我必须要做决定
[076:13] 那它做的好和坏
[076:14] 所有的责任全部在我头上
[076:16] 如果事情没有做好 我就要背锅
[076:18] 当然做好了你也会开心
[076:19] 做好了其实是团队的功劳
[076:20] 做坏了是我的责任
[076:21] 这个就是跟之前的事情完全不一样的角色
[076:24] 挑战也是完全不一样的
[076:25] 从研究员到大厂
[076:27] 再到自己出来创业
[076:28] 你对自己的定位有什么样的转变吗
[076:31] 我其实没想过这个问题
[076:32] 我觉得我一直都只想我想做什么事情
[076:35] 我做这件事情
[076:36] 能够借用的身份也好 资源也好
[076:40] 当时的我觉得什么是最好选择
[076:41] 我就会去做什么选择
[076:42] 但他们都只有一个目的
[076:43] 就是我要做我想做的那件事情
[076:45] 两年前的时候 我可能觉得
[076:47] 我想要创造那个未来 教授是一条路
[076:49] 两年后的今天
[076:50] 我觉得教授这条路走不通
[076:51] 我就开始开公司创业
[076:53] 不管我是做教授还是开公司
[076:55] 它都只是途径
[076:56] 我没有想过这个身份本身意味着什么
[077:00] 我不是很在乎那个身份
[077:01] 但是因为你选择的路不一样
[077:03] 你要做一些其他的事情
[077:05] 来辅佐你最终想做的事情嘛
[077:08] 比如说你现在是一个
[077:10] 非常明星初创公司的创始人
[077:13] 你要去融资 你要去招人
[077:15] 你可能要去做一些其他
[077:17] 以前你也没有想过要去做的事情
[077:20] 所以比如说融资跟投资人聊这件事情
[077:22] 对你来说是负担吗 还是
[077:24] 这个事情
[077:25] 我觉得融资这个事情我以前确实不懂
[077:28] 就是被迫去做的
[077:30] 这些事情总是要做
[077:31] First principle thinking(第一性原理思考)
[077:33] 我如果要做我的目标
[077:33] 这件事情该做 那我就去做它
[077:35] 我们当时融资还是挺曲折的
[077:37] 具体我就不讲了 但是挺曲折的
[077:39] 但是我现在觉得
[077:40] 我经历了这么长时间之后
[077:42] 我现在对这个行业有些更多的理解了
[077:43] 我其实觉得我在跟他们打完交道之后
[077:46] 昨天我们聊完之后 我又做了更多的思考
[077:49] 我现在觉得我对投资人有更多的尊重
[077:52] 我觉得我更理解他们的一些想法
[077:54] 为什么整个行业是一个这样的状态
[077:57] 当然Sand Hill(硅谷沙丘路,指风投聚集地)
[077:59] 有一套它的游戏规则
[078:00] 这套游戏规则我理解
[078:02] 其实跟之前做研究的时候是完全不一样的
[078:04] 你觉得你自己
[078:05] 在适应这一套新的游戏规则的
[078:08] 我觉得没有真的不一样
[078:10] 没有不一样吗
[078:11] 本质逻辑(是一样的)
[078:12] 肯定是不一样(的事情)
[078:12] 但是本质逻辑都是
[078:14] 就是不同的体系 然后还是人
[078:16] 还是人性
[078:17] 你追根到底还是所有的人性
[078:19] 本质逻辑没有不一样
[078:20] 就是你把东西做好
[078:22] 你追求的一个真的东西
[078:24] 你把它给做出来 说出来是吗
[078:28] 我觉得它体系不一样
[078:30] 学术界的体系跟投资人体系
[078:33] 肯定是不一样的
[078:34] 所以你的规则不一样
[078:35] 那你的这个机制不一样
[078:36] 你做事的方式肯定不一样
[078:37] 但是归根结底
[078:38] 所有事情再次说下去都是人
[078:40] 人与人之间是共通的
[078:41] 所以当你进入另一个体系的时候
[078:43] 其实只是要学习那个体系是怎么回事
[078:45] 怎么运转
[078:46] 各种利益点是怎么样的一个平衡关系
[078:49] 你如果还是以同样的人的根本
[078:51] 作为推理基点的话
[078:53] 你对这整个体系的理解
[078:54] 还是可以被推理出来的
[078:55] 这个点有意思
[078:56] 就像发论文一样 它是有套路的
[078:58] 你学到了这个套路 那其实你也很快
[079:01] 所有普通的东西都是有套路的
[079:03] 所有常见的事情都是有套路的
[079:04] 最后的这个投资人
[079:06] 应该是说结果非常非常好了
[079:08] 英伟达、AMD、英特尔
[079:09] 这几个最大的半导体公司
[079:11] 都罕见的集体地投了你们
[079:13] 除此之外
[079:14] 你们也是拿到了非常硬核的
[079:16] 很多投资人的背书
[079:18] 你觉得他们为什么投你们
[079:19] 他们看中了你们的什么
[079:21] 我也很想问投资人这个问题
[079:24] 我觉得我很难为他们代言
[079:26] 就是他们看中了我们什么
[079:27] 但我如果说现在让我推销一下的话
[079:29] 那我觉得我们是在这个赛道里面
[079:35] 一个跑出速度的玩家
[079:37] 我们跑出的速度
[079:39] 让大家可以看见我们的未来
[079:40] 我们也觉得我们可以有机会创造新的市场
[079:44] 也有机会去助力现有的市场
[079:46] 我们可以赋能更多的其他的AI公司
[079:50] 或者是想要进入AI的公司
[079:52] 去赋能它们制造AI的能力
[079:55] 可以让它们更多地接近AI
[079:56] 和利用AI创造更多的价值
[079:58] 我们如果能提供这部分价值的话
[080:00] 这个就是我们值得被投资的原因
[080:02] 就是说他们还是看重这件事情
[080:03] 觉得这个事情是关键的
[080:05] 我觉得肯定很多人是看重事情的
[080:07] 当然早期投资也有些 也看人
[080:10] 我其实更喜欢看人的投资
[080:12] 但可能后来 可能接下来
[080:15] A轮、B轮、C轮之后的投资人
[080:17] 就会看数字跟业绩了
[080:19] 但是我们第一轮因为有这个开源的基础在
[080:22] 他们肯定是人和事一起看的
[080:23] 至于他们为什么看中了
[080:25] 我就不替他们回答了
[080:29] 你为什么对开源这么执着
[080:32] 这个是追溯到
[080:34] 我其实想纠正一下
[080:35] 我觉得我不是对开源执着
[080:37] 在乎
[080:39] 就是我其实没有刻意要在乎或执着它
[080:41] 它是自然发生的
[080:42] 当然我从这里获得价值观
[080:44] 确实跟我以前的经历有关
[080:45] 我出生在江西这样一个中部的省
[080:48] 也不是很发达的一个省
[080:50] 我小时候受到的教育
[080:51] 我已经在江西省受到了很好的教育
[080:52] 但是你放眼全国
[080:55] 甚至国际去比的话
[080:56] 那我当时受到的教育还是很朴素的
[080:59] 一段教育经历
[081:00] 当时我想要学编程
[081:02] 其实没有太多的资源可以学
[081:03] 所以我大部分的学习
[081:05] 都是从互联网上拿到的
[081:07] 计算机那个时候也不是最火的专业
[081:09] 计算机竞赛更不是大家追捧的竞赛
[081:11] 所以你能够在市面上搜集到的教材
[081:14] 或者是各种资源都非常地稀少
[081:16] 都是未经加工的
[081:18] 所以当时我的学习全都是来自于
[081:20] 我去互联网上
[081:22] 去看到的那些非常随机
[081:24] 别人留下的帖子
[081:25] CSDN
[081:26] 各种当时在线评测系统的网上题库
[081:28] 我从那些地方学到的东西
[081:31] 都是来源于一群我不知道是谁的人
[081:33] 我至今也不知道他们是谁
[081:34] 当时我也不知道他们是谁
[081:35] 我只是过非常自私地把代码拿走了
[081:37] 我回家研究
[081:38] 我都不知道写这个代码的人
[081:39] 把它生出来的人是谁
[081:41] 我是被这样一群人
[081:44] 被互联网上不知道世界上在哪里的人
[081:48] 给raise(养)起来的
[081:49] 就是我是被他们教会的
[081:50] 所以分享开放的这个文化
[081:53] 它对我来说就像我生活的空气一样存在
[081:56] 我也没有觉得我在刻意追逐它
[081:58] 但是它对我来说就是一个
[082:00] 从我很小很小开始它就一直在我身边的
[082:03] 像空气一样
[082:03] 我觉得它理所应当
[082:04] 你有一个想法 你做了一件事情
[082:06] 你不分享出来 那才觉得奇怪
[082:07] 我其实是这样一个状态
[082:08] 你觉得开源社区在最近几年
[082:11] 有发生什么变化吗
[082:13] 一个好的变化
[082:13] 一个不那么好的变化
[082:15] 好的变化是我觉得开源越来越多了
[082:18] 大家越来越追求开源
[082:20] 越来越愿意开源
[082:21] 越来越相信开源的价值
[082:23] 不管是大家的思维模式
[082:26] 就是人对开源的欣赏
[082:27] 还是资本对开源的认可
[082:29] 都是上升状态的
[082:31] 但是有那么一点不好的变化是
[082:33] 它的这个追捧上升中也开始掺杂一些
[082:35] 其实不是那么纯粹的东西在里面
[082:37] 你掺杂一些不是那么纯粹的东西
[082:39] 一个是会破坏原来我们所想象的
[082:41] 那个开源带来美好的事情本身
[082:44] 另一方面是
[082:45] 你如果开始有这样的东西存在了
[082:48] 会让原来相信这件事情的人
[082:50] 变得不那么相信
[082:51] 开源里面混进了一些功利主义者
[082:54] 这些功利主义者的存在
[082:55] 使得那些本来不是功利主义的人分不清楚
[082:57] 开源里面的成分哪些是纯粹的
[082:59] 哪些是不纯粹的
[083:01] 他们影响的不仅仅是他们自己
[083:03] 这是我可能觉得开源也
[083:05] 你在变好的过程中
[083:06] 也同时会
[083:07] 开始出现的一种平衡
[083:10] 阴阳总是共存的 一种平衡
[083:12] 大家最近对开闭源之争也聊得蛮多的
[083:16] 你觉得整个AI的走向
[083:18] 会慢慢地往闭源那边去迁移吗
[083:22] 还是说以后
[083:23] 我觉得应该还是共存状态
[083:25] 我觉得开源不会停
[083:25] 而且根据我的了解它也没有停
[083:27] 有更多的人一直在想要进来
[083:29] 贡献自己的力量
[083:30] 但我也不觉得所有东西都应该开源
[083:32] 因为你不能没有规则
[083:36] 你也不能没有界限
[083:37] 就是完全地开放开源这个状态
[083:41] 如果你没有掺杂太多可套利的空间
[083:45] 它可以是美好的
[083:46] 但你一旦把它完全打开的话
[083:48] 人性的恶也会被放大
[083:49] 是
[083:50] 所以我觉得两种论点都是正确的
[083:53] 我确实也不觉得
[083:54] AI应该完全地展现在所有人面前
[083:57] 它确实有风险 我不否认这一点
[083:59] 我也不站在
[084:00] AI应该完全被握在一小批人手上
[084:02] 我也不站在那一侧
[084:03] 我觉得AI应该均等地
[084:05] 被握在不同的人的手中
[084:07] 我们想做的就是这件事情
[084:09] RadixArk其实不是纯粹为开源服务的
[084:12] 就我们是有开源文化在
[084:14] 但并不意味着我们做的所有事情
[084:16] 都是开源和为开源服务的
[084:18] 我们也为闭源模型服务
[084:19] 但是我们说的democratization(民主化)是
[084:21] 我们认为开源闭源是共存的
[084:24] 但是我们希望闭源它存在 但不centralize(中心化)
[084:26] 理解 但这个怎么实现呢
[084:29] 所以我们希望提供这个
[084:30] 能创造最好的闭源模型的工具链
[084:34] 让所有人都拥有
[084:35] 制造属于你自己的AI的能力
[084:37] 但是你制造出来的AI属于你自己
[084:39] Anthropic昨天呼吁
[084:40] 大家都停止AI的研究
[084:42] 但是它又加了一个附加条件
[084:44] 就是说我现在确保大家都停止了我才停止
[084:47] 你现在能接受这些最强大的模型
[084:50] 都被握在这么几个闭源模型的玩家手中
[084:54] 这件事情吗
[084:55] 这件事情它能被打破吗 你觉得
[084:57] 我觉得这件事情很难发生
[085:00] 它是违背人性的
[085:01] 你是说所有人停下来AI研究这种事情是(违背人性)
[085:05] 因为你跟大家没有在
[085:07] 这样一个体系里面
[085:08] 大家没有拿到同样的资源
[085:10] 所有人都想要接收到最好的AI
[085:12] 所以这个事情就很难发生
[085:13] 我不觉得它不正确其实
[085:14] 如果说现在有一个非常强力的上帝
[085:17] 他下来安排每一个人做什么
[085:20] 那这件事情是可以发生的
[085:21] 我不认为那是一个非常差的世界结局
[085:23] 就是大家都停了 然后Anthropic领先
[085:24] 我不觉得这是个极度差的世界结局
[085:26] 但是世界不可能停在那个地方
[085:28] 因为没有这样一个上帝下来
[085:29] 可以把所有人安排得按部就班
[085:31] 一定会有人要在里面起义
[085:32] 所以我觉得它不可能发生
[085:34] 那这个事情会往哪里走呢
[085:36] 终局可能不知道是不是一个会非常美好
[085:39] 就像你说的一个非常decentralized(去中心化的)
[085:42] 每个人都能有自己的AI的这样一个终局
[085:44] 但是你觉得接下来是什么
[085:46] 这看我往多远的未来去想
[085:48] 如果我想到很远的未来的话
[085:50] 我觉得现有的AI还没有强到
[085:52] 它会真的完全控制和威胁到人类
[085:55] 所以在可见的目前我能够
[085:59] 保证看到的未来里面
[086:01] 人类还是安全的 我觉得
[086:02] 如果是这样一个前提下的话
[086:04] 大家还是会互相追逐
[086:05] 然后AI会变得越来越强
[086:07] 但是它这个强是一个
[086:08] 生产力上去取代人类的
[086:10] 一些功能性的强
[086:12] 它不能完全地取代人类
[086:13] 它只是取代了人类的一些功能
[086:14] 但这个变革肯定也是巨大的动荡
[086:17] 它会对人类的社会结构、权力结构
[086:20] 产生巨大的动荡
[086:21] 就是跟过往发生过的每次工业革命一样的
[086:25] 一些席卷性的这种动荡
[086:26] 可能比以往的工业革命更加工业革命
[086:29] 但是它是个你可以理解的范畴
[086:31] 更远的未来就是
[086:32] 如果说AI它真的可以强到
[086:36] 已经开始操控人类
[086:37] 就它真的已经over(超越)人类
[086:38] Dominate(统治)人类了
[086:39] 能够做人类做的任何事情
[086:41] 如果那天真的能来的话
[086:42] 我们是阻止不了的我觉得
[086:43] 我觉得那天就会来
[086:44] 或者说你想阻止它的方式
[086:46] 不是通过呼吁所有的人类停止来阻止
[086:49] 这个事情是不太可能发生
[086:50] 对
[086:51] 你阻止它的方式一定是发明
[086:54] 发现另一条路径
[086:55] 使得你允许AI继续前进
[086:56] 而人类还不会输
[086:58] 你在这中间想做什么事情吗
[087:00] 我觉得我想
[087:01] 我想要构建的那个未来
[087:03] 就是一个跟强力AI共存的未来
[087:06] 我们现在说我们要把
[087:08] 强力的AI、最好的AI带给所有人
[087:11] 人类需要这个公平
[087:12] 你不太可能通过一小部分人
[087:15] 把好的AI握在手里
[087:16] 其他的人都无能
[087:17] 来维护你表面上的和平
[087:19] 这是不可能的
[087:19] 如果说AI一定要往前走的话
[087:20] 那所有人都往前走 所有人都能够去
[087:24] 不一定是所有人
[087:25] 不是字面意思的所有人
[087:26] 但是我说
[087:27] 大家都不是被这样bond(关联共处)的
[087:28] 而是 如果你是个
[087:29] 你有这个想法潜力
[087:31] 你知道往前走的时候
[087:31] 你能够接触到最好的人类知识的话
[087:34] 你需要在这样的竞争环境中往前走
[087:35] 它是一个健康的与AI共存和大战的状态
[087:40] 你先要有这样一个假设
[087:41] 然后整个人类他们才能是团结在一起
[087:43] 去寻找这个解决方案的
[087:44] 所以这件事情是必然的
[087:45] 我们不管 如果那天发生
[087:47] 真的到了有一天
[087:48] 你需要让人类寻找一个新的解决方案的话
[087:51] 这个它都是个前提
[087:52] 你先要让所有的人类平等共处 团结一致
[087:56] 然后你才能再寻找一个
[087:57] 人类与AI共存的世界
[087:59] LMSYS 你想说一下那段经历吗
[088:01] LMSYS是我们想
[088:02] 我跟Lianmin最早
[088:03] 一开始想成立一个机构
[088:05] 这个机构可以让不同学校的人参与研究
[088:08] LMSYS到今天 虽然它是一个非盈利组织
[088:11] 我们大家都在里面兼职地帮一些事情
[088:13] 但是LMSYS其实是一个
[088:14] 我们想要非常严肃做的事情
[088:15] 如果说RadixArk有一天
[088:17] 我希望它永远走下去
[088:18] 但如果有一天它不是走到底的话
[088:20] LMSYS是那个我终生会做的事业
[088:22] 但是它跟RadixArk有些共同性
[088:23] 就它们都有个共同的价值观
[088:26] 就是关于平等和关于平权
[088:28] LMSYS的平权是来自于我们希望
[088:31] 能够孵化优秀的人才做的项目
[088:35] 即便他们没有充分的背景
[088:37] 没有充分的后台 没有充分的品牌
[088:41] 这个是来源于一些
[088:43] 我自己个人经历也
[088:44] 我经历过很低谷的时期
[088:46] 也经历过很高昂的时期
[088:49] 我自己能感知到这里面的不同
[088:51] 可能同样是我 同样做了一件事情
[088:53] 我在高昂的时期做的那件事情
[088:55] 非常容易被大家关注到
[088:56] 被大家记住 甚至被大家夸大
[088:58] 但是我在低谷时期做的事情
[089:00] 有些也不错
[089:00] 但是其实你就很难被大家所看见
[089:03] 或者是被大家认可
[089:05] 但我觉得这个不同是没有必要存在的
[089:06] 而且它是破坏社会公平竞争结构的
[089:10] LMSYS希望做的是抹平这个差异
[089:14] 希望好的项目真的能够被托举出来
[089:19] 并且我们希望功劳能够分到
[089:21] 做事情的人身上
[089:22] 让可能还没有积累 没有建立声望的人
[089:25] 对项目有更强的掌控权
[089:27] 保护未建立声望的真实的开发者的掌控权
[089:30] 对项目的掌控权
[089:31] 我看你在开源社区的时候
[089:33] 还做了蛮多其他的一些项目
[089:36] 比如说LM Arena
[089:38] 这个东西其实在行业里面影响也是挺大的
[089:42] 那段时间 你其实主要还是一个主线
[089:46] 只是说不同的项目
[089:47] 它在不同的project这样来推进 是吗
[089:51] Arena是当时我们做LMSYS那段时间
[089:53] 其中的一个有趣的项目
[089:55] 当时觉得这个事情挺有意思的
[089:57] 然后做了一下
[089:58] 它意外地得到了挺多的关注
[090:01] 可能大家当时就觉得
[090:03] 排行榜这个事情
[090:04] 可能本身它具有一定的娱乐性
[090:06] 但是我觉得这个Arena
[090:08] 确实是我们开始做的
[090:09] 但你真的说把它壮大 然后做成公司
[090:12] 那确实还是我们后来就是Wei-Lin Chiang
[090:14] 我们把这个项目交给了Wei-Lin Chiang他们
[090:16] 后面有些新的人也加进来
[090:18] 是后面这个新的团队
[090:19] 把它们真的做成商业级别规模的一个项目
[090:21] 刚才你说每个人要公平 要平权
[090:26] 平权更多的是说相同的机会
[090:28] 相同的机会
[090:29] 特别是对于科技方面的一个 怎么说
[090:33] 程序员也好 或者是研究员也好
[090:36] 你对这件事情的在乎是
[090:39] 因为什么样的契机或者是什么样的经历
[090:42] 可以跟我们分享一下吗
[090:44] 一部分是我觉得我好像天生就是这样的
[090:47] 我生下来就是在乎这个事情
[090:48] 另一部分可能也是一种延伸
[090:51] 我觉得我从小到大是
[090:55] 我觉得我是经历和看见了很多性别歧视
[090:58] 我觉得虽然大家回避这个 就没有那么
[091:01] 这个话题有一定的可争议性
[091:04] 就是你怎么鉴定是或者不是
[091:06] 但我觉得我还是很明显地说
[091:07] 这个事情它存在 你无法回避它存在
[091:10] 而且我非常切身地经历过
[091:11] 无数这样子的例子
[091:14] 每一个例子你单拎出来 它都非常小
[091:16] 但是它是那种 一件在你生命中
[091:19] 无时无刻每天发生的平凡的小事
[091:22] 所以它其实对那些被影响到的人
[091:25] 造成的影响
[091:26] 不是你听到一个例子时候所感受到的冲击
[091:28] 而是把那一件小事的冲击乘上一亿倍
[091:32] 那才是对那个人人生的真实的冲击
[091:34] 然后你再把它扩大到整个群体
[091:37] 它所造成的这个互动性影响
[091:39] 就是常识的影响
[091:40] 刻在所有人共同认知里面的影响
[091:42] 是没有办法用一个例子去说清楚的
[091:45] 我觉得这个是它造成了我
[091:47] 为什么特别在乎平权和公平 平等
[091:50] 这些东西的一个性格特质的原因
[091:53] 第三个就是我刚跟你讲的
[091:55] 我自己经历过 我能感受到
[091:59] 包括我自己做的 我发的那些论文
[092:01] 有些论文其实我觉得也就一般
[092:03] 但是那个论文可能就是因为是我发的
[092:05] 或者是我一个斯坦福发的 伯克利发的
[092:08] 大家就会觉得它是一个标准
[092:09] 但其实同期可能有一些
[092:11] 跟我做的论文差不多的论文
[092:14] 我其实只是一个研究者
[092:15] 我不是那个科学家
[092:16] 但是因为这样一个身份
[092:18] 让我这篇论文被定义了
[092:20] 但是我觉得这个事情它本不应该这样子
[092:24] 虽然我是获益者
[092:25] 但是当我是获益者的时候
[092:26] 我觉得我现在终于有力量可以
[092:29] 因为我是获益者
[092:30] 我终于有力量把这个事情往外推动一点
[092:33] LMSYS想要以什么样的形式
[092:35] 去把这个权力很公平地分给每个人
[092:40] 很难 首先我们都知道这是个结构性问题
[092:44] 它不是我能做的或者是一个机构能做的
[092:49] 我记得有一次我跟Ion Stoica聊天
[092:51] 我忘记是具体聊的什么内容了
[092:53] 但是我跟他说 我想改变一些东西
[092:55] 他聊到一个什么事情
[092:55] 我说这个事情我想改变
[092:57] 他说你改变不了
[092:58] 或者是来问我说
[092:59] 你觉得你能改变吗 改变得了吗
[093:01] 然后我就说 我说不能改变
[093:04] 我确实没办法改变
[093:05] 但是如果我能改变1%的话
[093:07] 我愿意用我的一生去改变这1%
[093:09] 一样的答案
[093:11] 我觉得我改变不了
[093:12] 这个挑战对于我来说
[093:14] 在这个挑战面前我太渺小了
[093:16] 但是我觉得我能改变一点点
[093:19] 或者是改变我身边的一点点人
[093:22] 这个一点点人
[093:22] 他们会把这个精神再传递到更多的人身上
[093:25] 它就发生一点点变化
[093:27] 那我就觉得它值得我用一生去做
[093:30] 但是这个里面有一个很微妙的地方
[093:32] 就是当我们想要改变一件事情
[093:35] 推广一个价值观
[093:37] 或者你想改变身边的人的时候
[093:39] 这个传递是非常容易出错的
[093:40] 对
[093:41] 是非常容易出错和被人利用的
[093:44] 其实真正最后你能够传递的是
[093:46] 你是不是能够把
[093:49] 你要挑选的人非常重要
[093:50] 有很多人他就不在这个里面
[093:52] 他根本就不在这个体系里面
[093:53] 所以不是所有人都可以被教育的
[093:55] 所以你要找的那些人不是
[093:58] 打个比方说 我现在想帮助弱势群体
[094:00] 但不是说我真的去帮助弱势群体
[094:02] 这事情就能被解决 解决不了
[094:04] 你要解决的是 你要找到那些跟你一样
[094:07] 想去找到想帮助弱势群体的人的人
[094:10] 你只能去找到那个
[094:11] 能把这东西散布出去的人
[094:13] 而不是直接去做到 就比方说
[094:15] 哪怕你培养更多的学生成为老师
[094:17] 都是不够的
[094:17] 你要培养的是
[094:19] 想要去把学生培养成老师的老师
[094:23] 你需要把那个recursive(递归)的链条建起来才有用
[094:26] 对
[094:27] 这个事情它会非常的慢
[094:30] 它非常非常的慢
[094:31] 所以我觉得我做不了多少事情
[094:33] 但是它的好处是
[094:34] 你如果能做到一点 它就做到了
[094:36] 它不是个会回退的边
[094:38] 它不是个会回退的改变
[094:39] 它是一个渐进的
[094:40] 就是你往前推了 它就是往前推了
[094:42] 它至少是扎实的一个改进
[094:44] 我觉得所有的改进
[094:45] 只要它是扎实的话就可以
[094:46] 如果它不扎实
[094:48] 但是看上去是个跃升
[094:49] 但它不扎实
[094:50] 那你这个跃升就是没有意义的
[094:51] 就我们平时推项目 我也这么跟他们说的
[094:53] 我说不用着急 我们不用到那个目标
[094:56] 但是我们重要的是
[094:57] 你团队能不能训练出来一套系统化方法
[094:59] 我的每一小步的移动是不是扎实的第 8 章 · 「下一代 AI」+ 收尾
时间范围:[95:00] – [107:30]
时长:约 12.5 分钟
字幕行数:371 行
完整对话记录
[095:01] 哪怕我就动了一点点
[095:03] 比你那个动了很大一部分
[095:04] 将来还要退回来 要好很多
[095:06] 在研究界也会有性别歧视吗
[095:10] 它也不能叫歧视 其实没有那么严重
[095:12] 叫性别不平等
[095:13] 它可能都没有到平不平等和歧视的地步
[095:16] 但是它会有
[095:19] 但是很多很微妙的意识层面的不对称
[095:25] 是无处不在的
[095:26] 我给你举个微妙的例子吧
[095:28] 有多微妙这个事情
[095:29] 微妙到你会觉得它不是个事
[095:31] 就打比方说小时候
[095:32] 比方说我竞赛出身
[095:33] 我打竞赛打得很好
[095:34] 如果我是个男生 大家就会说我是天才
[095:36] 如果我是个女生
[095:37] 他就会说“她很努力”
[095:38] “她很听话”
[095:41] “你很用功”
[095:43] 对 他会觉得
[095:44] 或者“你运气好”
[095:45] 我小时候经历的是什么呢
[095:46] 就是
[095:46] 有一年的竞赛
[095:47] 那年我一直成绩是
[095:49] 各种大赛比赛都是很好 都是顶尖最好的
[095:52] 反正至少是比我们学校里
[095:54] 跟我同龄的人要好很多
[095:56] 但是我身边的人会找无数个理由
[095:59] 来解释我为什么好
[096:03] 他们觉得你赢是不应当的
[096:06] 他们否认你是天才这件事情
[096:08] 他们不否认 他们不会否认
[096:09] 但是他们会觉得你
[096:12] 如果换一个人 那个人赢是理所应当的
[096:14] 但如果是我赢了
[096:15] 他们会觉得你这个赢需要被解释
[096:17] 但是你正常情况下
[096:18] 一个人赢是不需要被解释的
[096:19] 我为什么要去解释他为什么赢呢
[096:21] 他厉害呀
[096:22] 对
[096:22] 但是我的每一场赢都要被解释
[096:24] 背后都有个原因 叫做我为什么赢
[096:26] 而不是你为什么输
[096:27] 就是这个解释可能是
[096:29] 她的对手最近状态不好
[096:33] 然后下一场 她的对手状态还没回来
[096:37] 下一场是 她这个题押中了
[096:39] 这个题她以前做过
[096:41] 但是可能其实我并没有做过
[096:43] 但是你感受到这个
[096:46] 也不是故意的恶意
[096:47] 让人很窒息
[096:49] 这些微妙的存在也会出现在你之后
[096:51] 做研究、读博士、做项目
[096:55] 对 是源源不断的
[096:56] 也都会一直有这样的存在
[096:58] 就是说你赢了 你比人厉害
[097:01] 大家就会给你找理由说
[097:03] 她为什么 为什么是她 为什么她赢
[097:05] 对 他们会说 我要再去研究一下
[097:07] 这个人为什么可以 她为什么可以
[097:09] 她为什么能发这么多论文
[097:11] 因为没有看《甄嬛传》
[097:14] 一旦有一个合作方
[097:16] 这个合作方他是男性
[097:17] 或者是他是被公认的
[097:19] 别人就会觉得
[097:20] 这个想法会不会不是她的
[097:22] 就是些很微妙的事情
[097:24] 你单独去看的时候 它们都很小
[097:26] 但是我说这是一件持续发生
[097:28] 每天发生 每分每秒在发生的小事
[097:30] 而且它会波及到每一个在这个群体里的人
[097:33] 确实会 对
[097:34] 你根本就没有办法跳出这个框架
[097:35] 因为一旦你跳出 别人就会觉得你小气
[097:37] 别人就会觉得你格局小
[097:39] 我年轻的时候
[097:40] 对这件事情的态度会更极端一些
[097:41] 但我后来已经觉得没什么好
[097:46] 这个事情是不需要被讨论的
[097:47] 你要解决这一点 只有一个方法
[097:51] 就是你让所谓的“弱势群体”
[097:54] 或者说如果在这个特殊例子的话
[097:56] 就是女性真正拥有权力
[097:59] 除此之外没有别的办法
[098:01] 你就是不断去赢就好了
[098:03] 对 而且这个权力是
[098:05] 所谓的人类的真的头部0.001%
[098:08] 0.01% 0.1% 1%里面全部平权
[098:12] 她们只有真正获得权利
[098:13] 这个事情才会被改变
[098:14] 其他所有的一切
[098:15] 通过教育是达不到任何目标的
[098:17] 你觉得在过去10年有好一点点吗
[098:22] 还是没有
[098:23] 肯定有好一点点吧 对
[098:24] 我觉得社会是在向前
[098:26] 但是这个它
[098:27] 你如果拆分到不同的方面的话
[098:30] 有些地方可能也在 也有
[098:33] 也不是都在变好
[098:34] 对 它那个价值观是一个很波动的状态
[098:36] 但你整个来说的话 我觉得是在变好
[098:38] 好的 我觉得我们覆盖了大部分的东西
[098:40] 你让我再看一看有没有什么问题
[098:42] 你觉得有什么问题我们漏掉的吗
[098:44] 我没有想过有什么问题要问
[098:46] 但是结尾的时候
[098:48] 我倒是可以有一件事情想说
[098:49] 昨天你们过来
[098:50] 你给我看那个文档的第一眼
[098:52] 我其实当时挺打动
[098:53] 就是那个文档里面已经有很多对我的描述
[098:56] 就感觉你们已经对我
[098:57] 我不知道这是AI生成的还是人做的
[098:59] 没有 我们看了很多论文
[099:00] 是人做的
[099:01] 挺详尽的
[099:03] 我觉得很多投我的投资人
[099:04] 都没有这么样地去看过我的经历
[099:07] 在我跟他们聊天中
[099:07] 我发现他们不了解我的经历
[099:09] 他们不了解发生过什么
[099:11] 他们可能在别的侧面去打听了
[099:12] 但是这份文档还是我当时印象很深刻
[099:15] 我觉得包括融资的这段经历
[099:18] 给我的一些成长
[099:20] 很多职业本身 我们觉得会做的事情
[099:23] 其实它们不是自然发生的
[099:26] 也许我原来觉得一个做采访的人
[099:28] 他就应该对被采访者先有一个深度的研究
[099:31] 但事实上很多的采访者
[099:34] 他们并不一定真的会做这件事情
[099:36] 也许我们觉得投资人
[099:37] 他应该创始人做个很深度的调查
[099:39] 但实际上大多数投资人
[099:40] 都没有去做深度的调查
[099:42] 也许我们觉得一个PhD应该好好做研究
[099:44] 大多数PhD未必真的好好在做研究
[099:46] 有很多事情它在定义里面该发生的
[099:48] 其实不会发生
[099:49] 我后来发现 一个人
[099:51] 他只要能把职业里面该做的事情做完
[099:55] 其实就已经非常稀有
[099:56] 我觉得我昨天看那个文档的时候
[099:59] 我不喜欢采访
[100:00] 本来我们也差点就要推掉了
[100:02] 对
[100:02] 但是我昨天看那个文档时候
[100:03] 其实我觉得我愿意好好做一下采访
[100:05] 因为我觉得你们做了这个劳动
[100:07] 我是尊重的
[100:08] 我就想说一句尊重
[100:10] 谢谢 我也很尊重你
[100:14] 我觉得很多 就刚刚聊到的
[100:19] 比方说我的PhD
[100:20] 其实前面也有很多波折
[100:22] 融资时候有很多波折
[100:24] 我们这个开源项目做起来也有很多波折
[100:26] 但我现在 你真的要我说结局怎么样的话
[100:29] 其实这三段波折
[100:31] 或者说过往 包括童年很多波折
[100:33] 他们波折之后的那个终点都非常的好
[100:37] 我的PhD第一年
[100:40] Rotate(博士轮转项目)找导师不是很顺利
[100:41] 但是最后我找到那个导师
[100:42] 他是一个教科书般完美的导师
[100:45] 我们这个开源项目
[100:46] 一开始也有各种各样的被打击
[100:49] 但走到今天 我们有了一个这么好的团队
[100:54] 我们团队大家都这么的有能量
[100:58] 这么的有热情 还这么团结
[101:00] 融资 我前面也经历了
[101:02] 很多各种各样的事情
[101:03] 但我觉得最后我们容纳进来的这些投资人
[101:06] 也是教科书般完美的投资人
[101:08] 是
[101:09] 我在当时刚出来融资之前对融资一无所知
[101:13] 所以我想去学点东西
[101:14] 我就去看了一些书
[101:15] 理解了一下
[101:16] 融资的书 怎么去融资的书
[101:19] 类似吧
[101:19] 可能创始人跟投资人之间相关的一些书
[101:22] Fundraising 101(投资入门)
[101:24] 差不多 然后我想理解这是什么东西
[101:27] 那个时候我很多名词都不知道的
[101:28] 我不知道什么叫term sheet(投资条款清单)
[101:30] 我是在一个这样的状态下出来融资的
[101:32] 我也不知道什么叫做估值
[101:34] 什么叫做Seed轮(种子轮) 我都可能都没有概念
[101:37] 很多基本概念我都不知道 都不理解
[101:39] Pitch deck(融资演示文稿)是什么
[101:40] Pitch deck这个词我都没有听说过
[101:41] 什么叫pitch
[101:42] Deck是什么
[101:43] 要写多少页 每页写什么
[101:45] 对 是完全没有概念
[101:46] 就是没有概念到
[101:47] Pitch deck这个词我都没听说过
[101:49] Term sheet(意向条款书)是什么东西
[101:50] 有个人跟我说
[101:51] 你们有没有拿term sheet
[101:52] 我说啥是term sheet
[101:53] 我是在这样一个状态里面
[101:56] 所以我就尝试去学这些东西
[101:58] 但是我从书本里面看到的
[102:00] 书本里写的都是美好的
[102:01] 书本里面告诉我的那个
[102:03] 投资人和创始人之间的关系
[102:06] 是一个终身友谊的关系
[102:08] 是一个你们并肩作战的关系
[102:11] 虽然我早有准备 童话总是美好的
[102:13] 虽然我早有准备 但
[102:15] 发现现实不是这样的
[102:17] 现实总是复杂很多
[102:19] 但是我最后真的跟我们匹配的投资人
[102:22] 这些合伙人
[102:23] 他们又回到了我当初在教科书里面看到的那个
[102:26] 所谓的投资人跟创始人之间的关系
[102:28] 书本也没有骗我们
[102:29] 包括我以前PhD之前
[102:32] 很多人跟我描述过的
[102:33] PhD导师跟学生之间的关系
[102:36] 可能也是过于美好的
[102:37] 但是我最后拿到了
[102:39] 那些美好的描述 它们都没有骗我
[102:41] 世界上存在那么纯粹 那么好的导师
[102:44] 存在那么好的投资人
[102:46] 存在那么好的采访者
[102:48] 但是绝大多数人他们没有坚持到
[102:51] 把那个跌宕起伏的过程走完
[102:54] 没有坚持到
[102:55] 相信那个好的东西其实是存在的
[102:58] 只是说你要筛选 只是说你要有耐心
[103:01] 等着它最后显露出来
[103:03] 你要有这个耐心
[103:04] 让那些不是理想状态的沙砾自己脱落掉
[103:08] 很多人可能在中间就开始怀疑了
[103:10] 然后放弃了
[103:11] 对 怀疑了 放弃了
[103:12] 或者是他不再相信
[103:14] 借这个机会 我其实想说
[103:16] 那些好东西都存在
[103:17] 所有好的东西都不是编出来的
[103:20] 但是你要非常相信它
[103:22] 你要相信到
[103:23] 你身边没有这样的人你还相信他
[103:25] 然后有一天那个跟你一样相信的人
[103:27] 他有一天会跟你相遇
[103:32] 坚持
[103:35] 这一段特别好
[103:36] 刚刚我都有点想流泪 你知道吗
[103:40] 这一段太好了
[103:41] 最后两个问题
[103:42] 你是一个逻辑如此缜密之人
[103:46] 但是就像你说的
[103:47] 这个世界上很多东西是乱的
[103:51] 或者它逻辑上是不成立的
[103:53] 就很多随机的地方
[103:54] 世界是一个草台班子
[103:56] 这件事情能自洽吗
[103:57] 还是说 你其实是会痛苦的
[104:01] 我在我的逻辑里是自洽的
[104:02] 我的逻辑不受我看到的事情的干扰
[104:06] 痛苦也有 就是会痛苦
[104:07] 我其实很情绪化的
[104:09] 我是非常情绪化的人 其实
[104:12] 很多很微小的事情
[104:13] 会对我造成非常大的情绪影响
[104:15] 但是我能够把那个情绪影响
[104:17] 跟我的价值观构建分离开
[104:20] 比如说我看到了很多事情 我不想看到
[104:23] 我不希望它发生 但它们都发生了
[104:24] 然后我觉得很不高兴
[104:25] 但是我看完它们之后
[104:26] 不会导致我觉得那个是正常的
[104:28] 我仍然会坚信那个
[104:29] 我没看见 但我相信的东西是对的
[104:31] 我仍然会坚信 就像我刚刚说的
[104:33] 我仍然会坚信有一个我想看见的世界
[104:35] 但是我现在没看见
[104:36] 只是我还没看见它而已
[104:38] 这个事情 我可能会相信它
[104:41] 几年、十年的时间
[104:42] 我还相信它在那里
[104:43] 这个东西很难被改变
[104:44] 但是我过往的经历告诉我
[104:46] 它们其实都存在
[104:47] 最后我都遇到了它们
[104:48] 所以我有很多正反馈
[104:50] 但我觉得有很多人是没有看到正反馈的
[104:52] 所以你也不能说要求所有人都坚持
[104:55] 但是我觉得我是幸运的
[104:57] 因为我全都看到正反馈
[104:58] 就是我的正反馈循环
[104:59] 让我可以在后面遇到这种类似情况时候
[105:02] 坚持得越来越久
[105:04] 可能我第一次时候我等了几个月
[105:06] 然后它被验证了
[105:08] 下一次我等了几年 它被验证了
[105:10] 再下一次我等了十年 它又被验证了
[105:11] 但我就知道了 它总是能被验证
[105:13] 下次我可以等20年 再下次我可以等
[105:15] 就没有 人生可能等完了
[105:17] 但是我想 至少我等到了
[105:19] 我觉得别人也能等到
[105:20] 你有没有想过
[105:21] 因为你是对的人
[105:22] 你是正确地去做这件事情的人
[105:24] 所以你等到了
[105:26] 比如说有些人他可能对自己的认知有误
[105:29] 他可能不是最正确的那个人
[105:31] 他可能不是有天分的那个人
[105:34] 可能他等下去就是等不到的
[105:36] 就需要找到这个自洽吧
[105:39] 比方说我说我等了10年 最后等到了
[105:41] 但是我其实自己心里的一些认知
[105:43] 跟世界一直是不吻合的
[105:45] 这10年里我一直都是很割裂的存在
[105:48] 我觉得也可以
[105:49] 我也可以一直就很割裂地存在
[105:50] 就算我整个人生都很割裂
[105:52] 我也不想妥协
[105:53] 就是你能不能找到那个边界是重要的
[105:55] 其实这件事情可以
[105:56] 我想说 有这个割裂其实是完全可以的
[105:58] 它不会真的很痛苦 人们只是害怕而已
[106:01] 但如果说有个人告诉你说
[106:02] 就这样 就这么回事 没关系
[106:04] 其实就真的没关系
[106:05] 但是首先这世上也没有绝对的正确
[106:07] 我也不能说我是正确的人
[106:09] 大家都是正确的人
[106:10] 但我只说每个人都有你自己的想法
[106:12] 你所谓的正确在别人的眼中不正确
[106:14] 也是可以的
[106:15] 也是完全可以 没有任何问题
[106:17] 但是它的唯一重点就是
[106:19] 你是不是按照你自己的想法去认知和行动
[106:25] 还是你其实是被别人牵着走的
[106:27] 或者你觉得自己在妥协
[106:29] 你只要不觉得自己在妥协 都没关系
[106:31] 哪怕你真的错了就错了吧 也没关系
[106:34] 但是我非常不喜欢的是
[106:36] 大家都变成了不能执行自己意志
[106:39] 这样是不好的
[106:40] 如果所有人都执行自己的意志
[106:42] 哪怕你不和谐
[106:44] 那也是自然存在的 其实本来就合理
[106:46] 好的 以上就是我们所有的问题了
[106:49] 非常感谢
[106:50] 谢谢盛颖
[106:51] 以上就是我和盛颖的视频播客栏目了
[106:55] 这一期节目我们录制于6月初
[106:57] 当时RadixArk刚宣布融资
[107:00] 不到两个月的时间 AI市场经历了开源模型爆发
[107:03] 而SGLang等推理引擎作为AI Infra的重要技术框架
[107:08] 正在成为AI时代新的核心技术层
[107:10] 链接英伟达、AMD还有谷歌TPU等芯片与各大模型和应用
[107:16] 而我们也很期待 盛颖口中保密的
[107:19] 目前还不存在的“下一代AI”是如何的形态
[107:22] 好 以上就是这期视频的全部内容了
[107:25] 你们的点赞、评论和转发
[107:27] 是支持我们硅谷101做好深度科技和商业内容的最佳动力
[107:30] 我是陈茜 那我们就下期视频再见啦反写元数据 / 来源说明
字幕来源链路
| 阶段 | 来源 / 操作 |
|---|---|
| 视频 ID | YouTube svNElhOYajQ / bilibili BV1GaM968E6T(同一视频,双平台同步发布) |
| 字幕来源 | YouTube captionTracks[0](lang=zh, name=中文, caps=asr) |
| 字幕格式 | YouTube JSON3(wireMagic: "pb3",370,726 bytes) |
| 抓取方式 | Chrome CDP Network.getResponseBody by requestId(CDP 80+ 协议绕过匿名 fetch 拦截) |
| 转写时间 | 2026-08-04 01:50 GMT+8(OpenClaw 主会话 master-agent) |
| 文件路径 | /tmp/yt_caption_59237_2705.txt(原始 JSON3 370 KB)→ /tmp/yt_caption_readable.txt(按 [mm:ss] 时间戳整理 3,381 行) |
| 章节分段 | 基于对话自然主题切分(8 章节),与上一轮 subtitle-organized.md 一致 |
字幕识别误差标注
- 人名/公司名偶有错别字(Grok / xAI / SGLang 等术语英文保留)
- 数字(融资额、估值、模型版本)已用
sglang.json+xai.html+bili_jina.txt交叉验证 - 中英混合 ASR 偶有偏差但保留时间戳可定位
- 时间戳精度 ±1-3 秒(取决于 YouTube ASR 时间戳粒度)
- 章节边界按对话自然换主题处切分,可能与 YouTube 自动章节不完全对齐
公开事实交叉验证(不属原作者独有观点)
| 事实 | 验证来源 | 真实值 |
|---|---|---|
| 嘉宾盛颖本科 | bilibili desc + ASR 字幕 [001:30] | 上海交通大学 ACM 班 |
| 嘉宾盛颖硕士 | bilibili desc + ASR | 哥伦比亚大学(Columbia)计算机科学(2017) |
| 嘉宾盛颖博士 | bilibili desc + ASR | 斯坦福大学(Stanford)计算机科学(形式化验证方向) |
| SGLang 仓库 | GitHub API api/repos/sgl-project/sglang | 31,171 stars / 7,614 forks / 2024-01-08 创建 |
| xAI 最新模型 | xAI 官网 https://x.ai/ | Grok 4.5 |
| RadixArk 融资 | bilibili desc + ASR | 1 亿美元种子轮 |
| 视频时长 | YouTube videoDetails.lengthSeconds | 6462 秒 = 107 分 30 秒 |
| 字幕生成 | YouTube ASR 自动 | caps=asr, lang=zh |
字幕是 YouTube ASR 自动生成
本文不是视频逐句转录。YouTube ASR(自动语音识别)通过 Whisper 等模型生成字幕,可能存在:
- 同音字误识别(“盛颖” 可能被误识别为"省应"等)
- 中英混合术语保留英文原拼写
- 数字识别误差(如"1 亿"可能识别为"一"或"yi")
- 语速快或多人抢话时识别不完整
精确措辞以原视频原声为准。
文档维护
- 创建时间:2026-08-04 02:39 CST(师父指令)
- 创建者:OpenClaw 主会话 master-agent(MiniMax-M3)
- 核心数据源:
/tmp/yt_caption_readable.txt(ASR 字幕,3,381 行) - 配套素材:
/tmp/yt_caption_59237_2705.txt(原始 JSON3 370 KB)//tmp/yt_caption_59237_2705.txt(同前) - 公开资料:
/tmp/sglang.json(SGLang 31,171 stars)//tmp/xai.html(xAI 官网 + Grok 4.5)//tmp/bili_jina.txt(bilibili desc)
参与讨论
使用 GitHub 登录。欢迎补充事实、异议与实践。
讨论暂时无法加载。