倍福文学

手机浏览器扫描二维码访问

第896章 天问（第3页）

“一亿五千万参数的模型，至少需要几百亿Token的高质量语料来喂。十五亿参数那个，可能需要上千亿Token。”

他在“数据”

两个字下面重重画了一道线。

“我们现在有什么？西红柿小说和引力的內部数据虽然多，但现在的简易脚本根本算不上成体系的清洗管线。”

楼天城皱着眉头敲了敲白板，

“咱们这套1.0版本的管线洗出几百GB的语料勉强能用，如果要喂出十五亿参数，重复数据、低质內容全混在里面……直接拿去训练，模型学出来的东西会非常糟糕。”

“还有一点。”

楼天城又补了一笔，

“如果未来想让模型具备多模態理解能力，光靠文本远不够。图像数据、图文配对数据，这些东西目前完全是空白。”

他转过身看着顾屿：

“千亿Token级别的现代清洗管线、人工標註人力、图像语料来源。这三个缺口，任何一个解决不了，十五亿参数的模型就只是个空壳。”

顾屿没有回答。

他看着白板上楼天城画的那个流程图。

“不急。”

“数据的事情我已经在安排了。”

顾屿语气云淡风轻。

楼天城点了点头。

“你现在要做的事情只有一件。”

顾屿重新看向楼天城，

“利用你手上的并行训练框架，在最短时间內把大语言模型的底层架构搭起来。数据接口、分布式训练管线、混合精度支持，全部打通。等语料灌进来的那一天，我不想再等哪怕一个小时。”

“明白。”

楼天城应了一声，已经在脑子里开始拆解任务了。

“项目从今天起正式立项。既然是改变技术路线的终极兵器，总得有个响亮的代號。”

顾屿看着面前这三位顶尖大脑，“你们有什么想法？”

安德烈摸了摸下巴浓密的胡茬，操着带有口音的中文说道：

“既然是处理语言的模型，叫‘巴别塔’怎么样？打破人类的语言壁垒。”

“寓意不好，巴别塔最后可是塌了的。”

任少卿摇摇头，思索着开口，

“或者叫‘盘古’？开天闢地，比较有咱们的特色。”

楼天城推了推眼镜，提议道：

“要不干脆叫‘矩阵’？毕竟底层逻辑全是巨大的矩阵相乘。”

顾屿听着他们的讨论，笑了笑。

他站起身，走到白板前，抽出一支黑色马克笔。

“神话太縹緲，算符又太冰冷。我们要做的，是向这堆硅基晶片和海量数据里，去寻找那一丝涌现的智慧火花。这是一场对未知极限的终极拷问。”

顾屿拔掉笔帽，在白板右上角用力写下两个大字。