倍福文学

手机浏览器扫描二维码访问

第145章 星火（第1页）

第145章星火

读台湾好书上台湾小说网，?????.???超省心

同一天下午，陈阳穿过开放办公区，来到了公司角落里一处相对僻静的区域。

这里是他专门划出来的一块地方，拥有独立的门禁系统和监控网络，只有少数几个人有权限进入。

厚重的玻璃门上挂着一块不起眼的磨砂金属牌：深度思考实验室。

随着「嘀」的一声刷卡声，玻璃门向两侧滑开。

不到五十平米的空间里，没有多余的装饰，只有几排高性能工作站和满地的散热风扇嗡嗡作响。

七八个年轻人分散坐着，有的在盯着屏幕上的日志，有的在整理文档。

看到陈阳进来，几个人下意识地想要起立，神色拘谨。

「坐，别断了思路。」陈阳压了压手，径直走到最深处的一台主控电脑前。

屏幕上，一行行日志正在飞速滚动，偶尔跳出一些数字和图表。

「训练到哪个阶段了？「陈阳的声音不大，但在安静的实验室里清晰可闻。

一个戴着厚底眼镜丶发际线略高的年轻人快步凑了过来。

他叫刘洋，研究生毕业，是这批炼丹师里的组长，做事细致，最重要的是口风紧，被陈阳安排专门盯训练进度。

「第三轮预训练，跑了大概40%。「刘洋指着屏幕上的进度条，「按现在的速度，还需要大概几周才能跑完。

6

「有遇到什么问题吗？

66

「有一些。「刘洋翻开手边的笔记本，上面密密麻麻记满了时间节点和错误代码。

「昨天凌晨三点，有个节点显存溢出，训练中断了一次。

66

「日志保存了吗？

」

「保存了。「刘洋点点头，「出问题第一时间截图丶存日志丶记录时间点，然后回滚到最近的checkpoint重跑。

66

陈阳想起来了，昨晚确实收到过刘洋的消息，他远程扫了一眼日志就定位到了原因，顺手丢了个临时方案过去。

「现在稳定了？

」

「稳定了。「刘洋答道，「按您给的脚本改了参数，又重新预处理了一遍数据，跑起来顺多了。

「6

陈阳点点头，目光落在屏幕上的loss曲线上。

曲线整体在下降，虽然有些波动，但趋势是对的。

3B参数的语言模型。

2024年的大模型动辄几百B丶上千B，3B连个小模型都算不上。

但在2013年，这已经是天方夜谭了。

没有Transformer的论文，没有成熟的训练框架，没有海量的算力————

前面训练的一个亿参数的模型，就已经很费精力了。