中文 英语

如何度量ML模型的精度


机器学习(ML)是基于旧数据对新数据进行预测。任何机器学习算法的质量最终都取决于这些预测的质量。然而,并没有一种通用的方法来衡量所有ML应用程序的质量,这对机器学习的价值和有用性有着广泛的影响。“每一个行业,每一个行业……»阅读更多

为HW/SW性能定制微基准


原始性能曾经是基准测试的主要关注点,但对于许多应用程序来说,它们可能已经失去了用处。Dana McCarty是Flex Logix的AI Inference Products的销售和市场副总裁,她谈到了为什么公司需要开发和利用他们自己的特定模型来精确衡量硬件和软件性能,而这些性能可能会因为I/O瓶颈和……»阅读更多

最佳AI边缘推断基准


在评估AI加速器的性能时,你可以使用多种方法。在本文中,我们将讨论在直接运行您自己的模型进行评估之前,构建您的基准研究的一些不同方法。就像买车一样,在你需要开车和给你的…»阅读更多

基准测试的问题


长期以来,基准一直被用来比较产品,但好的基准是由什么构成的,谁应该被信任来创建它们?这些问题的答案比表面上看起来要困难得多,而且一些基准正以令人惊讶的方式被使用。每个人都喜欢简单、清晰的基准,但这只有在选择标准同样简单的时候才有可能。Unfortuna……»阅读更多

Edge-Inference架构增殖


第一部分分为两部分。第二部分将深入研究基本架构特征。在过去的一年里,我们看到了大量关于边缘推理的新机器学习(ML)架构的声明。由于不需要支持训练,但承担了低延迟的任务,这些设备展示了极为不同的ML推理方法。“建筑结构正在发生变化……»阅读更多

人工智能创新的标准基准


目前还没有衡量机器学习性能的标准,这意味着企业如何在平衡计算和内存限制的同时,为所有用例构建ML处理器,还没有单一的答案。在很长一段时间里,每个小组都会根据自己的需要选择一个定义和测试。这种对性能缺乏共识的理解阻碍了客户的购买决策……»阅读更多

ResNet-50不能预测MegaPixel神经网络模型的推理吞吐量


客户正在考虑人工智能推理的应用,并希望评估多个推理加速器。正如我们上个月讨论的,TOPS与推理吞吐量无关,您应该使用真实的神经网络模型来对加速器进行基准测试。那么ResNet-50是评估推理加速器相对性能的良好基准吗?如果你的应用程序是p…»阅读更多

再强调一次:TOPS不会预测推断吞吐量


您经常会听到供应商谈论他们的芯片有多少个TOPS,并暗示更多的TOPS意味着更好的推断性能。如果你使用TOPS来选择你的AI推断芯片,你可能会对你得到的结果不满意。最近,麻省理工学院的教授Vivienne Sze做了一个很好的演讲,题目是“How to Evaluate Efficient Deep Neural Network Approaches”。幻灯片也是av…»阅读更多

优化到底是什么?


你不能在不了解它的情况下优化它。虽然我们本质上理解这意味着什么,但我们经常忙于实现某些东西而没有停下来思考它。有些人甚至不确定他们应该优化的是什么,这让你很难知道你是否成功。这是大卫·帕特森教授在嵌入式学院传达的一个关键信息……»阅读更多

人工智能推理加速度


Flex Logix的首席执行官Geoff Tate谈到了在选择AI推理加速器时需要考虑的问题,如何与芯片上的其他处理元素相匹配,在减少延迟方面需要做哪些权衡,以及哪些考虑是最重要的。»阅读更多

←旧的文章