1月16日消息，近日，从蚂蚁集团获悉，蚂蚁集团和上海交通大学合作的技术成果GMLake被计算机体系结构四大顶级会议之一的ASPLOS 24接收。
据悉，这篇名为《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果，针对业界普遍存在的大模型训练显存效率问题，提出了一种高效的动态显存组合技术VMS（Virtual Memory Stitching），最高提高33%的GPU可用显存，使显存使用更为高效，进而缓解了“内存墙”问题。
蚂蚁集团和上海交通大学提出了一种高效的动态显存组合技术框架，称为GMLake。该框架采用虚拟、物理两层指针，将碎片化的显存灵活地拼接起来，从而实现了聚零为整。GMLake对典型大模型如GPT、GLM、Vicuna等进行了详细评测，最高扩大了约33%的可用显存，即在80GB的A100 GPU上节省约25GB的显存，训练吞吐提高最多4倍。
据了解，GMLake前已在PyTorch框架上完成集成，对上层模型代码和框架代码完全透明，也就是说模型不需要修改任何代码即可使用。
目前，GMLake的代码已经开源到了GLake项目中。GLake是蚂蚁集团自研的GPU显存+传输优化开源项目，在训练、推理框架底层以及系统层对显存和传输进行一体优化，更好应对“内存墙”和“传输墙”挑战。（一橙）
也许你还喜欢
热烈庆祝宁波金属切削工业展于2023年8月12日在宁波国际会展中心圆满落幕，来自
机顶盒上的USB接口是用来外接移动设备的，比如说U盘、移动硬盘等。
打开QQ，点击左下角的三横线。选择【设置】
iphone4s激活步骤一：长按机身顶部的电源键开机，耐心等待后，iPhone进入了锁机界面。
windows系统hosts文件修改方法，相信大家对此还有很多疑问，别着急。下面就让小编为你详细
苹果怎么设置铃声？相信大家对此还有很多疑问，别着急。下面就让小编为你详细介绍一下 ，有
打开ＱＱ，点击左下角菜单按钮，选择帮助，弹出选项中点击我的ＱＱ中心。
热水阀开关没有打开：热水阀的开关没有打开可能是一时的大意。
首先打开手机微信。然后点击我中的设置。
首先，在桌面左下方找到“开始”，然后鼠标单击。找到“计算机”后右击。