首页 > 技术 > 内容

基于Xilinx FPGA上实现深度递归神经网络语言模型

时间:2025-11-29  作者:Diven  阅读:0

可编程逻辑(PLD)是由通用的集成电路产生的,逻辑功能按照用户对器件编程来确定,用户可以自行编程把数字系统集成在PLD中。经过多年的发展,可编程逻辑器件由70年代的可编程逻辑阵列器件 (PLD) 发展到目前的拥有数千万门的现场可编程阵列逻辑 (FPGA),随着人工智能研究的火热发展,FPGA的并行性已经在一些实时性很高的神经网络计算任务中得到应用。由于在FPGA上实现浮点数会耗费很多硬件资源,而定点数虽然精度有限,但是对于不同应用通过选择合适的字长精度仍可以保证收敛,且速度要比浮点数表示更快而且资源耗费更少,已经使其成为嵌入式AI和机器学习应用程序的理想选择。

最新的证明点是英国伯明翰大学电子电气和系统工程系的Yufeng Hao和Steven Quigley最近发表的论文。论文标题为“在Xilinx FPGA上实现深度递归神经网络语言模型“,介绍了使用Python编程语言成功实现和训练基于固定点深度递归神经网络(DRNN); Theano数学库和多维数组的框架; 开源的基于Python的PYNQ开发环境; Digilent PYNQ-Z1开发板以及PYNQ-Z1板上的赛灵思Zynq Z-7020的片上系统SoC。Zynq-7000系列装载了双核ARM Cortex-A9处理器和28nm的Artix-7或Kintex-7可编程逻辑。在单片上集成了CPU,DSP以及ASSP,具备了关键分析和硬件加速能力以及混合信号功能,出色的性价比和最大的设计灵活性也是特点。使用Python DRNN硬件加速覆盖(赛灵思公司提出的硬件库,使用Python API在硬件逻辑和软件中建立连接并交换数据),两个合作者使用此设计为NLP(自然语言处理)应用程序实现了20GOPS(10亿次每秒)的处理吞吐量,优于早期基于FPGA的实现2.75倍到70.5倍。

论文的大部分讨论了NLP和LM(语言模型),“涉及机器翻译,语音搜索,语音标记和语音识别”。本文随后讨论了使用Vivado HLS开发工具和Verilog语言实现DRNN LM硬件加速器,可以为PYNQ开发环境合成一个定制的硬件覆盖。由此产生的加速器包含五个过程元素(PE),能够在此应用程序中提供20GOPS的数据吞吐量。以下是设计的框图:

DRNN加速器框图

Vivado设计套件为下一代超高效率的C/C++和基于IP的设计提供了新的方法。融入了新的超快高效率设计方法集,用户可以实现10-15倍的效率的提升。Vivado HLS支持ISE和Vivado设计环境,可以通过集成C,C++和SystemC标准到赛灵思的可编程器件中而无需创建RTL模型,加快IP的创建。

这篇论文中包括了大量深入的技术细节,但是这一句话了这篇博客文章的理由:“更重要的是,我们展示了软件和硬件联合设计和仿真过程在神经网络领域的应用“。考虑到PYNQ-Z1开发板的售价为229美元,这种说法是完全正确的。

猜您喜欢


一次性保险丝作为关键的安全元件,是不可少的配件。台邦,作为该领域的知名品牌,其产品线丰富,涵盖了多种类型的一次性保险丝,以满足不同应用场景的需求。本文将深入探讨...
2023-07-06 22:03:30
四端子电阻高精度和低温漂特性被应用于精密测量和高端电子设备中。作为知名品牌,Kyocera(京瓷)凭借其很好的技术实力和严格的质量控制,成为四端子电阻市场的重要...
2012-07-02 03:06:03
FPGA和ASIC作为数字电路的常见实现方式,其联系和区别备受关注。本文将从FPGA和ASIC的基本概念入手,深入研究它们的区别与联系,以帮助读者更好地理解两者...
2023-08-14 16:38:00
防浪涌电阻作为保护电路安全的重要元件,越来越受到重视。金山(ELITE)作为国内知名的电子元器件品牌,其防浪涌电阻产品凭借很好的性能和可靠的质量,赢得了广大用户...
2024-04-05 03:52:38
在现代生活中,除了我们常用的手机和电脑,其设备同样是不可少的配件。智能家居设备如智能音箱和智能灯泡,能够提升我们的生活便利性,通过语音控制让家居管理变得轻松自如...
2022-12-20 00:00:00
开关电源是现代电子设备中不可少的组成部分,应用于多个领域。在计算机和通信设备中,开关电源提供稳定的电压和电流,确保设备的正常运行。在家用电器方面,如电视、冰箱和...
2008-10-21 00:00:00
贴片排阻作为重要的电子元件,应用于各种电子设备中。丰晶(Gausstek)作为知名的电子元器件供应商,其贴片排阻系列产品因品质优良、性能稳定而深受客户青睐。本文...
2022-05-03 15:57:55
电阻作为基础且关键的元件,应用于各种电子设备和电路中。作为电阻行业的知名品牌,金凤冠长电极电阻凭借其独特的技术优势和高品质的产品性能,赢得了众多客户的青睐。本文...
2021-12-07 13:28:28
现代照明市场中,LED驱动器的应用已经成为重要的一部分。然而,对于一般受众来说,理解LED驱动器中的技术细节,比如谐波电流标准,仍然显得有些复杂。本文将帮助您轻...
2024-07-05 00:00:00
一、FPGA和ASIC的工作原理1.FPGA的工作原理FPGA是一种现场可编程门阵列。它由大量的逻辑单元、输入输出模块、存储器和时钟电路组成。FPGA的逻辑...
2023-08-14 17:01:00