院况简介
北京前沿科学技术研究院（简称“北前科学院”）成立于2016年9月，北前科学院，是由北京中科光析科学技术研究所，北检（北检）检测技术研究院，标检（北京）质量检测中心等科研单位，组建成立的独立科学科研机构，致力于前沿科学领域的研究与创新人才培养，科学技术转移孵化等，世界前沿新科学普及传播。 更多简介 +
院领导集体
前沿信息
基础科学
工程科技
通过突破低记忆技术，Rice大学的计算机科学家可以在许多小公司中提出人工智能的一种密集型形式——深度学习建议模型（DLRM）
DLRMr建议系统是一种流行的形式，它至少可以帮助用户找到相关的建议但是，由于顶级训练模型需要超过一个庞大的内存和超级计算机规模的处理系统，它们只能用于展示或列出具有深度口袋的技术
Rice的“randomoffsetblockembeddingarray”或ROBEArray可以改变这一点它分析了一种算法方法，用于将DLRM内存结构扩展到嵌入表中，并将于本周在加利福尼亚州圣克拉拉举行的机器学习与系统会议（MLSys2022）上发表，在会上获得了杰出论文奖“在一个GPU上只使用1亿字节的内存，我们发现它可以匹配训练时间，并将需要100亿字节内存和多个处理器的先进DLRMT训练方法的参考效率提高一倍。”安舒马利·施里瓦斯塔瓦（Anshumali Shrivastava；MUniversity
Shrivastava说：“ROBEArray为DLRMcompression设置了一条新的基线。”“AnditbringsDLRM在每一个没有进入高端硬件或工程的普通人中都有经验的训练模型，这种训练模型有数百个软尺寸。”DLRM系统是一种从数据中学习的机器学习算法例如，有一个推荐系统，建议购物者的产品将与交易数据一起进行培训，包括提供的原始条款，他们提供的产品，以及他们购买的产品（如果有的话）提高推荐准确性的一种方法是将培训数据分类到更多类别中例如，除了将所有洗发水归入一个类别外，一家公司还可以为男士、女士和儿童洗发水创建类别
在训练中，这些类别表示是在内存结构的嵌入式表中组织的，而Desa认为这些表的大小由于分类的增加而“爆炸式增长”
“嵌入表格占DLRModels打印总内存的99.9%以上，”Desisaid“这导致了一系列问题。例如，它们不能被完全并行地训练，因为模型必须分解成局部数据，并在多个处理器和GPU中分发。在它们‘训练和生产’之后，寻找一个基于表格的信息，大约占将问题分解为用户所需信息的80%。”
Shrivastava表示，OBEArray通过一种称为“创建一个包含嵌入表表示的学习参数数组”的数据索引方法，对嵌入表进行了改进。他表示，“使用GPU友好的通用哈希”，可以从数组中访问预格式化的嵌入引擎信息
Shrivastava，DesiandChout使用全套DLRMMLperfbenchmark测试了ROBE阵列，该阵列显示了快速的系统训练模型，以达到更高的质量测量通过使用大量的基准数据集，他们发现ROBE阵列可以与之前发布的DLRMT技术相匹配，也可以在将模型压缩三个数量级后提高训练精度
Shrivastava说：“我们的研究结果很早就表明，大多数深度学习基准可以完全超越基础算法。”“鉴于全球芯片短缺，这是人工智能未来的好消息。”ROBEARY不是Shrivastava在MLSys的第一大亮点在MLSys2020上，他的团队推出了iledSLIDE，这是一款“亚线性深度学习引擎”，它不需要GPU，并且可以优于基于GPU的训练器以下是MLSys2021，显示矢量化和记忆定时加速器可以提高SLIDE的性能，允许训练深度神经网络比GPU系统高出15倍
ROBE阵列研究得到了国家科学基金会（16521311838177）、空军科学研究办公室（YIP-FA9550-18-1-0152）、美国国家科学研究办公室、IntelandVMware的支持
来源:
Materials provided by
Rice University. Original written by Jade Boyd.
注明: Content may be edited for style and length.
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20
