明敏金磊发自凹非寺
量子位公众号 QbitAI
就在刚刚，UC 伯克利博士、新加坡国立大学校长青年教授尤洋发布最新消息——
斩获 AAAI 2023杰出论文奖（Distinguished Paper）！
研究成果一次性将模型的训练速度，提升72 倍。
甚至网友在拜读完论文之后发出感慨：从 12 小时到 10 分钟，嫩牛（你们牛）啊！
尤洋博士曾在求学期间刷新 ImageNet 以及 BERT 训练速度的世界纪录。
他所设计的算法也是广泛应用于谷歌，微软，英特尔，英伟达等科技巨头。
现如今，已经回国创业潞晨科技一年半的他，带着团队又做出了怎样的算法，斩获 AI 顶会如此殊荣呢？
训练时长从 12 小时到 10 分钟
在这项研究中，尤洋团队提出了一种优化策略 CowClip，能够加速 CTR 预测模型的大批量训练。
CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法。
它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。
因此，加快 CTR 预估模型的训练速度至关重要。
一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。
通过数学分析，团队证明了在扩大批次时，对于不常见特征的学习率（learning rate for infrequent features)不应该进行缩放。
通过他们提出的 CowClip，可以简单有效扩展批大小。
通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了128 倍，并没有造成精度损失。
特别是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现了 AUC 超过 0.1% 的改进。
并在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速72 倍。
目前，项目代码已开源。团队表示该算法也适用于 NLP 等任务。
团队介绍
本文的一作是尤洋的博士生郑奘巍，本科毕业于南京大学计算机精英班，博士毕业于新加坡国立大学。
其研究方向包括机器学习、计算机视觉和高性能计算。
尤洋在这项研究担任通讯作者，了解更多个人信息可戳 UC 伯克利博士尤洋回国创业，求学期间破 ImageNet 纪录！已获超千万种子轮融资。
[1] https://weibo.com/2082348875/MrJb5kHPt#comment
