[导读] 前 言 本文主要介绍i.MX8MMini基于FlexSPI、PCIe与FPGA的高速通信案例。本文档适用开发环境:Windows开发环境:Windows764bit、Windows1064bit虚拟机:VMware15.1.0Linux开发环境:Ubuntu18.04.464b...
前 言
本文主要介绍i.MX 8M Mini基于FlexSPI、PCIe与FPGA的高速通信案例。
本文档适用开发环境:
Windows开发环境:Windows 7 64bit、Windows 10 64bit
虚拟机:VMware15.1.0
Linux开发环境:Ubuntu18.04.4 64bit
U-Boot:U-Boot-2020.04
Kernel:Linux-5.4.70
Linux SDK:5.4.70_2.3.0
*测试硬件平台:TLIMX8-EVM评估板(NXP i.MX 8M Mini)
点击图片/图注即可查看产品详细介绍↓↓↓
图 1 TLIMX8-EVM评估板
案例一:主要演示ARM Cortex-A53通过FlexSPI接口读取FPGA(Spartan-6采集卡TL-HSAD-LX)发送的模拟数据,并进行校验,通过串口打印相关信息。实测速率为114.89MB/s。
案例二:主要演示ARM Cortex-A53通过PCIe接口与FPGA进行通信,实现对CameraLink相机图像的采集、编码和显示。实测传输帧率为60fps。
案例详细说明、源码请扫描下方二维码或点击下载链接:
http://site.tronlong.com/pfdownload
1 flexspi_read案例
1.1 案例说明
本案例主要演示ARM Cortex-A53通过FlexSPI接口读取FPGA(Spartan-6采集卡TL-HSAD-LX)发送的模拟数据,并进行校验,通过串口打印相关信息。
(1) 驱动默认配置FlexSPI为DDR模式(双边沿),配置FlexSPI的时钟源为400MHz,分频系数pre_divider和post_divider分别为2和5,此时FlexSPI的ROOT CLK时钟为400MHz/2/5 = 40MHz,DDR模式的传输时钟SCLK= ROOT SCLK/2 = 20MHz,数据位宽为8bit,即理论传输速率为40MB/s,实测速率为37.56MB/s。
(2) 驱动如配置FlexSPI为DDR模式(双边沿),配置FlexSPI的时钟源为400MHz,分频系数pre_divider和post_divider分别为1和3,此时FlexSPI的ROOT SCLK时钟为400MHz/1/3 = 133MHz,DDR模式的传输时钟SCLK = ROOT SCLK/2 = 66.5MHz,数据位宽为8bit,即理论传输速率为133MB/s,实测速率为114.89MB/s。
FPGA端:发送从0x00递增至0xFF的数据。
ARM端:读取数据并进行校验,打印误码率、读取速率和读取到的数据。
程序流程图如下:
图 2
1.2 案例测试
图 3
请按照上图进行硬件连接,并将案例bin目录下的可执行文件flexspi_read、“driver\bin\”目录下驱动文件flexspi_imx8.ko、“dts\image\”目录下的设备树文件tlimx8-evm-flexspi.dtb拷贝至评估板文件系统。采集卡TL-HSAD-LX加载或固化“data_to_flexspi\bin\”目录下的.bit或.mcs文件。在评估板文件系统flexspi_read文件所在路径下,执行如下命令查询程序参数说明。
Target# ls
Target# ./flexspi_read -h
图 4
执行如下命令将默认使用的设备树tlimx8-evm.dtb进行备份,然后把tlimx8-evm-flexspi.dtb拷贝至“/run/media/mmcblk1p1/”目录并重命名为tlimx8-evm.dtb。
Target# cp /run/media/mmcblk1p1/tlimx8-evm.dtb linux-tlimx8-evm.dtb//备份默认的tlimx8-evm.dtb,新文件名为linux-tlimx8-evm.dtb
Target# cp tlimx8-evm-flexspi.dtb /run/media/mmcblk1p1/tlimx8-evm.dtb
备注:更换设备树后,需重启评估板方可使设备树生效。
图 5
1.2.1 功能测试
执行如下命令加载FlexSPI驱动。
Target# insmod flexspi_imx8.ko
图 6
执行如下命令进行测试。
Target# ./flexspi_read -a 0x08000000 -s 4096
图 7
本次测试速率为37.56MB/s,误码率为0,与理论速率40MB/s接近。
备注:受限于测试板卡的硬件连接形式的影响,37.56MB/s是零误码率时的最高实测速率。
若读取小于或等于2048Byte的数据时,每次读完需清空FlexSPI的RX Buffer,否则下次读取的数据是缓存在Buffer中的旧数据。
Target# devmem2 0x30bb0000 w 0xFFFF7031
图 8
1.2.2 性能测试
执行如下命令卸载flexspi驱动,并重新加载驱动。同时采集卡TL-HSAD-LX重新加载或固化FPGA程序。
Target# rmmod flexspi_imx8
Target# insmod flexspi_imx8.ko pre_divider=1 post_divider=3
备注:pre_divider和post_divider为分频系数,详细说明请查阅驱动说明章节。
图 9
执行如下命令进行测试。
Target# ./flexspi_read -a 0x08000000 -s 4096
图 10
可以看到本次测试速率为114.89MB/s,与理论速率133MB/s接近。
备注:受限于测试板卡的硬件连接形式的影响,此速率下的误码率为99.8%。
1.3 案例关键代码
(1) main函数
图 11
(2) 地址映射。
图 12
(3) 读取数据。
图 13
(4) 校验数据。
图 14
(5) 打印数据。
图 15
1.4 FPGA工程关键代码
(1) 端口IO定义
flexspi_sclk和flexspi_ss0_n为输入信号,flexspi_data和flexspi_data为输出信号。
图 16
(2) 时钟输入信号flexspi_sclk设置为2倍频
图 17
(3) 数据发送
图 18
图 19
2 gst_pcie_enc案例
2.1 案例说明
本案例主要演示ARM Cortex-A53通过PCIe接口与FPGA进行通信,实现对CameraLink相机图像的采集、编码和显示。其中ARM端获取到的原始图像通过dma-buf机制,在采集、硬件编码和显示输出等功能中进行共享,可实现高效的图像数据“零拷贝”的录播方案。
FPGA端:
(1) 采集CameraLink相机图像;
(2) 通过XDMA IP实现为PCIe EP设备,RC端可通过PCIe接口访问FPGA端DDR以及对VDMA IP的寄存器进行配置。
ARM端:
(1) 作为PCIe RC设备,配置VDMA IP将图像存储到FPGA DDR指定位置、将图像从FPGA DDR通过XDMA搬运到ARM端DDR;
(2) 调用协处理器VPU进行H264硬件编码,并将编码后的数据存储到文件;
(3) 编码的同时,通过HDMI显示实时图像。
程序工作流程框图如下所示:
图 20
2.2 案例测试
请参考下图,将创龙科技的TLCamerLinkF模块连接至TLK7-EVM评估板的FMC2接口,TLK7-EVM评估板J1跳线帽选择1.8V档位,以配置FMC IO的BANK电压为1.8V。将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口。再将TLK7-EVM评估板的PCIe插到TLIMX8-EVM评估板的PCIe插槽上,使用HDMI线缆连接TLIMX8-EVM评估板的HDMI OUT接口至HDMI显示屏。
图 21
将该案例bin目录下的驱动文件xdma-video.ko拷贝至TLIMX8-EVM评估板文件系统中,并将案例bin目录下的.bit或.bin文件加载或固化到TLK7-EVM评估板。
评估板上电,可执行lspci命令检查PCIe连接是否正常。如不能获取到如下信息,请检查硬件连接和FPGA端是否正常运行。
Target# lspci
图 22
Target# insmod xdma-video.ko debug=1
备注:“debug=1”表示打印帧率信息,可根据实际需求选择是否配置。若需修改分辨率和帧率,可执行命令“insmod xdma-video.ko width=1280 height=1024 fps=60”,具体的分辨率和帧率大小,请以相机实际可支持范围为准,分辨率参数需和相机分辨率参数匹配,帧率参数仅作用于软件上相机参数,不影响实际的相机帧率。
图 23
执行如下命令进行图像的采集、编码和显示,编码后的test.264文件将保存在当前目录下。
Target# gst-launch-1.0 -v -e v4l2src device=/dev/video1 ! "video/x-raw, format=(string)NV12, width=(int)1280, height=(int)1024" ! tee name=t ! queue ! vpuenc_h264 ! h264parse ! filesink location=test.264 t. ! queue ! waylandsink
其中"/dev/video1"为设备节点,请以实际节点为准,1280和1024为图像的宽和高。
图 24
执行成功后可观察到如下输出,串口不停打印帧率,并在HDMI显示器上观看到实时图像。
备注:帧率显示为61fps,是由于CameraLink相机输出的并不是标准的60fps图像。
图 25
图 26
按下“Ctrl C”停止录制后,将在当前目录生成test.264文件,并可观察到实际帧率为59.954fps。
图 27
执行如下命令播放编码后的视频,HDMI显示器显示对应图像。
Target# gst-play-1.0 test.264
图 28
图 29
播放结束后,将打印视频时长、帧率信息。
图 30
备注:由于码流文件中不包含播放帧率信息,因此在执行“gst-play-1.0 test.264”时未能按60fps进行播放。从串口打印信息可知,实际是以30fps进行播放,并且播放时长为录制时长的两倍。在录制时,将H264码流封装成MP4格式可解决此问题,因为封装成MP4格式时,播放帧率信息将被记录在MP4文件中。
执行如下命令,可将H264码流保存成MP4文件。
Target# gst-launch-1.0 -v -e v4l2src device=/dev/video1 ! "video/x-raw, format=(string)NV12, width=(int)1280, height=(int)1024" ! tee name=t ! queue ! vpuenc_h264 ! h264parse ! qtmux ! filesink location=test.mp4 t. ! queue ! waylandsink
图 31
图 32
注意:H264码流保存成MP4文件,程序可正常工作,录制的视频文件播放帧率正常,但系统会出现概率性的丢帧。为了避免这种情况,在实际的应用编程中,建议将MP4的保存功能另外建立一个pipeline进行,或改用其它开源MP4库进行开发。
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
人工智能是集合众多方向的综合性学科,在诸多应用领域均取得了显著成果[1]。随着航空领域人工智能技术研究的不断深入,面向开放式机载智能交互场景,人工智能的应用可解决诸多问题。例如智能感知、辅助决策等,可利用人工智能算法对多...
关键字:
人工智能
PCIe
CPU
Pmod接口可以说是数字电路板的连接革命。随着科技的飞速发展,数字电路板间的通信与连接技术也在不断创新和进步。Pmod接口,作为一种新兴的数字接口标准,正逐渐成为数字电路板间通信的桥梁,为电子设备的连接和通信带来了革命性...
关键字:
pmod接口
FPGA
数字电路板
近日举办的GTC大会把人工智能/机器学习(AI/ML)领域中的算力比拼又带到了一个新的高度,这不只是说明了通用图形处理器(GPGPU)时代的来临,而是包括GPU、FPGA和NPU等一众数据处理加速器时代的来临,就像GPU...
关键字:
FPGA
AI
图形处理器
当我们提到成本优化型FPGA,往往与简化逻辑资源、有限I/O和较低制造工艺联系在一起。诚然,在成本受限的系统设计中,对于价格、功耗和尺寸的要求更为敏感;但随着一系列创新应用的发展、随着边缘AI的深化,成本优化型FPGA也...
关键字:
AMD
FPGA
Spartan
边缘计算
全球领先的高性能现场可编程门阵列(FPGA)和嵌入式FPGA(eFPGA)半导体知识产权(IP)提供商Achronix Semiconductor公司宣布,该公司参加了由私募股权和风险投资公司Baird Capital举...
关键字:
FPGA
智能汽车
eFPGA
全新 FPGA 能为嵌入式视觉、医疗、工业互联、机器人与视频应用提供高数量 I/O、功率效率以及卓越的安全功能
关键字:
FPGA
嵌入式视觉
机器人
Altera致力于为客户提供端到端的FPGA、易于使用的AI、软件和弹性供应链。
关键字:
FPGA
AI
在半导体领域,大部分对于AI的关注都集中在GPU或专用AI加速器芯片(如NPU和TPU)上。但事实证明,有相当多的组件可以直接影响甚至运行AI工作负载。FPGA就是其中之一。
关键字:
FPGA
AI
半导体
半导体产品老化是一个自然现象,在电子应用中,基于环境、自然等因素,半导体在经过一段时间连续工作之后,其功能会逐渐丧失,这被称为功能失效。半导体功能失效主要包括:腐蚀、载流子注入、电迁移等。其中,电迁移引发的失效机理最为突...
关键字:
半导体
电迁移
FPGA
进一步扩展旗下IEEE®-1588主时钟产品组合,可实现小于1纳秒的精确时间精度
关键字:
主时钟
数字合成器
FPGA
中国上海——2024年1月22日——莱迪思半导体(NASDAQ:LSCC),低功耗可编程器件的领先供应商,今日宣布莱迪思的中端FPGA系列莱迪思Avant-E™ FPGA荣获国际科技创新节(STIF)“年度产品创新奖”,...
关键字:
可编程器件
FPGA
AI
FPGA(Field Programmable Gate Array)即现场可编程门阵列,是一种可由用户配置的集成电路,通过编程可以对不同的输入信号进行灵活的处理。由于FPGA具有高度的灵活性和并行处理能力,使得它在数字...
关键字:
FPGA
可编程门阵列
集成电路
近日,大湾区国际创客峰会暨Maker Faire Shenzhen 2023在深圳盛大举办。本届峰会由创客高峰论坛、创客创新展、创客工作坊、卫星活动等覆盖科技创新全链条的内容板块共同组成,旨在为产业与专业创客之间搭建高效...
关键字:
数字化
智能相机
FPGA
近日,由中国电子学会主办、百余所高校参与的第十七届中国高校电子信息学院院长(系主任)年会在北京交通大学成功举办。此次年会聚焦新发展格局下电子信息领域创新人才的交流与培养,旨在为工程教育、科研、产学研结合及专业学科建设提供...
关键字:
计算
FPGA
数字经济
长期以来,Achronix为不同行业的数据密集型和高带宽应用提供了创新性的FPGA产品和技术,并帮助客户不断打破性能极限。其中一些应用需要与先进的模拟/数字转换器(ADC)和数字/模拟转换器(DAC)进行对接——可由JE...
关键字:
数据转换
FPGA
数字转换器
在下述的内容中,小编将会对EDA和FPGA的相关消息予以报道,如果EDA和FPGA是您想要了解的焦点之一,不妨和小编共同阅读这篇文章哦。
关键字:
EDA
FPGA
在下述的内容中,小编将会对Altium Designer软件的相关消息予以报道,如果Altium Designer软件是您想要了解的焦点之一,不妨和小编共同阅读这篇文章哦。
关键字:
Protel
Altium
FPGA