倍福文学

手机浏览器扫描二维码访问

第397章 吴恩达的赞赏（第1页）

跟随吴恩达的脚步，林渊和庾明轩来到了他的个人办公室。

这里的教学楼很多都有上百年的历史了，走廊和墙壁并没有想象中那种充满未来科技感的豪华与现代，反而透着一份岁月沉淀的厚重感。

当然，这或许就是顶级名校的底气，既然斯坦福已经站在了世界之巅，那它保留任何老旧的陈设，在旁人眼里都是一种文化底蕴，怎么做都是对的。

这间办公室不大，堆满了各种学术期刊和外文文献。

吴恩达关上门，转过身，目光带着几分好奇开始打量着林渊。眼前的这个年轻人，实在太年轻了。

在周志华来的那封推荐信里，对这个年轻人的评价简直高到了天上，不仅称赞他的技术具有不可思议的前瞻性，还特别强调了他在处理底层高并架构上的实力。

这也是吴恩达愿意抽出宝贵时间，见一见这个来自华国的大一新生的主要原因。

当然，还有一个关键点：前段时间乔布斯主持的苹果布会上，林渊作为唯一的华人面孔亮相了一分钟，这事在硅谷高层圈子里并不是秘密。

而吴恩达作为硅谷顶尖的学者，同时也是苹果等科技巨头的座上宾，自然也注意到了林渊。

“你就是林渊，对吧？”

吴恩达拉开椅子，微笑着开口，“周教授在邮件里对你的评价非常高。你真的对底层高并和分布式计算，有自己独到的想法吗？”

面对这位真正在后世改变了整个人工智能进程的学术泰斗，林渊心里难免有些惶恐和紧张。

虽然他拥有来自2o35年的跨时代技术视野，但在真正的奠基人面前，他依然保持着敬畏。

林渊迅调整了一下情绪，坦诚地说：“吴教授，我对这方面确实有一些自己的心得，但我的基础理论可能并不扎实，说出来怕达不到您心中的预期。”

吴恩达听完笑了一下，摆了摆手：“你们华国人啊，什么都好，就是有时候太谦虚了。在硅谷，如果你真的有这方面的能力，就应该大胆地去展示。这样吧，我的实验室最近刚好在做一个关于机器集群分布式的课题，遇到了一个很难解决的高并瓶颈。你过来，我们一起看一看，探讨一下。”

林渊有些懵，没想到这位大佬这么直接，连客套都省了，直接上黑板做题。

他转过头，看了一眼旁边正无所事事的庾明轩，说道：“庾总，接下来的学术探讨估计要很久，你先回酒店休息吧，晚点我忙完了打你电话。”

林渊这是在照顾庾明轩的感受。像他这种习惯了风月场所和商业谈判的花花公子，让他在实验室里干坐几个小时听代码架构，估计能把他憋死，到时候走又不好意思走，还不如提前把他支开。

庾明轩一听笑着说：“行，那你们聊，林总我先撤了，车子我给你留在这。”

等庾明轩离开后，吴恩达笑着带林渊穿过走廊，来到了他的课题组机房。

机房的白板上画满了复杂的网络拓扑图。吴恩达指着白板，开始阐述问题：“林渊，你看。我们目前在尝试用多台机器并行处理庞大的神经网络参数。但在高并状态下，所有的节点（orker）都要频繁地跟中央参数服务器（parameterserver）进行数据同步。节点一多，网络带宽瞬间就被挤爆了，中央服务器成了绝对的瓶颈。这个问题，你怎么看？”

林渊盯着白板，脑海里迅翻阅起他从2o35年带回来的记忆。在那个年代，这种早期的分布式训练瓶颈早就被一种叫做“环形同步”

（Ringa11-Reduce）的底层算法彻底解决了。

林渊拿起马克笔，在白板上画了一个圆圈，开口道：“吴教授，为什么一定要有一个中央服务器？如果把所有节点连成一个逻辑上的环形网络呢？”

吴恩达皱了皱眉：“环形？节点1传给节点2，节点2传给3？但这样一来，数据跑完整个环的延迟太高了，根本无法满足实时并的需求。”

“不，数据不是整体传输的。”

林渊在环上切了几条线，“我们把庞大的参数数组切分成和节点数量相等的碎块。在第一步（scatter-Reduce）里，每个节点只负责把自己计算的那一小块数据传给下一个节点，同时接收上一个节点传来的另一小块数据。”

吴恩达推了推眼镜，目光瞬间亮了起来：“同时收不同的数据块？这样就不会出现单点拥堵了。”

林渊继续说道：“对，因为所有节点的上下行带宽都在被满负荷利用。无论集群里有1o台机器还是1oo台机器，单次同步的通信总量都是恒定的。这就是去中心化。”