中文 英语
技术论文

为云中的深度学习实现高效灵活的FPGA虚拟化

支持节点级FPGA虚拟化的框架,具有性能隔离、可伸缩性和深度学习加速应用程序的灵活性。

受欢迎程度
资料来源:舒林曾,郭浩傣族,汉博孙,京忠,广长葛,开元郭,玉旺,华中阳(清华大学,北京,中国)。发表于arXiv: 2003.12101[cs.dc])

文摘:
fpga在为深度神经网络(DNN)推理应用提供低延迟和节能解决方案方面显示出了巨大的潜力。目前,云中的大多数基于FPGA的DNN加速器以时分多路复用的方式运行,供多个用户共享一个FPGA,并需要重新编译100秒的开销。这种设计导致多个用户的差异和沉重的性能损失,这远远不受公共云场景的高效和灵活的FPGA虚拟化。
为了解决这些问题,我们通过共享单个FPGA来引入基于DNN加速器的指令架构集(ISA)的新颖虚拟化框架。我们通过引入双级指令调度模块和基于多核的硬件资源池来启用隔离。这种设计提供了隔离和运行时可编程的硬件资源,进一步导致多个用户的性能隔离。另一方面,为了克服重型重新编译的开销,我们提出了一种基于平铺的指令框架封装设计和两级静态动态编译。只重新编译轻量级运行时信息1毫秒的开销,从而保证了私有云的性能。我们广泛的实验结果表明,与之前使用单核和多核架构的静态设计相比,我们提出的虚拟化设计分别实现了1.07-1.69倍和1.88-3.12倍的吞吐量提高。”

找到技术纸在这里



留下一个回复


(注意:此名称将公开显示)