基于Xilinx FPGA上实现深度递归神经网络语言模型

时间:2025-08-02  作者:Diven  阅读:0

可编程逻辑(PLD)是由通用的集成电路产生的,逻辑功能按照用户对器件编程来确定,用户可以自行编程把数字系统集成在PLD中。经过多年的发展,可编程逻辑器件由70年代的可编程逻辑阵列器件 (PLD) 发展到目前的拥有数千万门的现场可编程阵列逻辑 (FPGA),随着人工智能研究的火热发展,FPGA的并行性已经在一些实时性很高的神经网络计算任务中得到应用。由于在FPGA上实现浮点数会耗费很多硬件资源,而定点数虽然精度有限,但是对于不同应用通过选择合适的字长精度仍可以保证收敛,且速度要比浮点数表示更快而且资源耗费更少,已经使其成为嵌入式AI和机器学习应用程序的理想选择。

基于Xilinx FPGA上实现深度递归神经网络语言模型

最新的证明点是英国伯明翰大学电子电气和系统工程系的Yufeng Hao和Steven Quigley最近发表的论文。论文标题为“在Xilinx FPGA上实现深度递归神经网络语言模型“,介绍了使用Python编程语言成功实现和训练基于固定点深度递归神经网络(DRNN); Theano数学库和多维数组的框架; 开源的基于Python的PYNQ开发环境; Digilent PYNQ-Z1开发板以及PYNQ-Z1板上的赛灵思Zynq Z-7020的片上系统SoC。Zynq-7000系列装载了双核ARM Cortex-A9处理器和28nm的Artix-7或Kintex-7可编程逻辑。在单片上集成了CPU,DSP以及ASSP,具备了关键分析和硬件加速能力以及混合信号功能,出色的性价比和最大的设计灵活性也是特点。使用Python DRNN硬件加速覆盖(赛灵思公司提出的硬件库,使用Python API在硬件逻辑和软件中建立连接并交换数据),两个合作者使用此设计为NLP(自然语言处理)应用程序实现了20GOPS(10亿次每秒)的处理吞吐量,优于早期基于FPGA的实现2.75倍到70.5倍。

论文的大部分讨论了NLP和LM(语言模型),“涉及机器翻译,语音搜索,语音标记和语音识别”。本文随后讨论了使用Vivado HLS开发工具和Verilog语言实现DRNN LM硬件加速器,可以为PYNQ开发环境合成一个定制的硬件覆盖。由此产生的加速器包含五个过程元素(PE),能够在此应用程序中提供20GOPS的数据吞吐量。以下是设计的框图:

DRNN加速器框图

Vivado设计套件为下一代超高效率的C/C++和基于IP的设计提供了新的方法。融入了新的超快高效率设计方法集,用户可以实现10-15倍的效率的提升。Vivado HLS支持ISE和Vivado设计环境,可以通过集成C,C++和SystemC标准到赛灵思的可编程器件中而无需创建RTL模型,加快IP的创建。

这篇论文中包括了大量深入的技术细节,但是这一句话了这篇博客文章的理由:“更重要的是,我们展示了软件和硬件联合设计和仿真过程在神经网络领域的应用“。考虑到PYNQ-Z1开发板的售价为229美元,这种说法是完全正确的。

猜您喜欢

贴片电阻上标注的100代表其阻值为100欧姆。这种三位数的标识法是贴片电阻常用的表示方式,前两位数字表示有效数值,最后一位数字表示10的n次方(n为最后一位数字...
2024-11-29 10:26:26

什锦锉是多功能的工具,应用于各类手工艺和修整工作。主要作用在于对材料表面进行精细打磨和修整,使其更加光滑和美观。无论是在木工、金属加工还是模型制作中,什锦锉都能...
2020-06-26 00:00:00

还在为识别贴片电阻上的微小数字而烦恼吗?贴片电阻识别软件免费版App,为您提供快速、精准的识别方案,是电子工程师、电子爱好者和维修人员的必备工具!只需将手机摄像...
2024-11-29 10:26:21

离子计是用于测量溶液中离子浓度的精密仪器,应用于化学、生物、环境监测等领域。通过电极与样品溶液之间的电位差,准确反映出离子的活度和浓度。离子计的核心组成部分是离...
2022-07-29 00:00:00

锂离子超级电容器是新型储能设备。结合了电池和电容器的优点。能量密度高,充放电速度快。应用于电动车和可再生能源。本文将介绍锂离子超级电容器的特点与优势。工作原理锂...
2025-03-26 04:30:35

你是否好奇过,为什么手机、笔记本电脑等电子设备能够充电和放电,为我们的生活带来无限动力?这一切的奥秘,都隐藏在小小的锂电池中,更确切地说,是蕴藏在充电过程中的化...
2024-05-21 00:00:00

此前,美国半导体工业协会(下文简称“SIA”)和美国半导体研究联盟(下文简称“SRC”),联合发布了未来10年(2023-2035)全球半导体产业技术发展路线图...
2024-11-27 16:39:00

弯嘴钳是常用的手工具,主要用于夹持、弯曲和切割细小物件。其特点是钳口呈弯曲状,能够轻松进入狭小空间,适合在复杂环境中操作。弯嘴钳通常由高强度钢材制成,具有良好的...
2010-03-20 00:00:00


VFD(变频驱动)是用于电动机控制的技术,通过调整电机的输入频率和电压来实现速度和扭矩的调节。VFD驱动的基本定义可以理解为智能控制系统,旨在提高电机的效率和性...
2020-11-24 00:00:00