基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板

AI: 机械手石头剪刀布,基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板

人工智能(AI)正在占据越来越多的应用和生活场景,例如图像检测和分类,翻译和推荐系统等等。基于机器学习技术的应用数量庞大且还在不断增长。采用Enclustra(瑞苏盈科)结合FPGA和ARM处理器的核心板模块,在离线和边缘使用AI前所未有的容易。

 

image.png

为了展示“基于FPGA的AI,机器视觉,运动控制”,Enclustra打造了机械手和人互动玩石头剪刀布的demo。

 

image.png

FPGA低延时、低功耗的特性在这个demo中体现出了优势。搭载Synthara IP核的神经网络运行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模块(SoM based on XCZU15EG)和水星Mercury+ PE1底板,分析摄像头采集的流媒体数据。手势是被实时检测的,每张图片的推理只需要8~9 ms,灵敏度超过100 fps。常见的摄像头为30或者60 fps,所以瓶颈在于摄像头的帧率。机械手伺服电机根据游戏规则做出反应。

 

image.png

值得一提的是这个demo实现了在单个设备中处理各种传感器和信号:图像处理、神经网络推理、机械手都在一个FPGA中被控制。

image.png

image.png

玩家手势的图片被分为5类:石头,剪刀,布,非法手势,无手势。为了让神经网络能对图片进行精准的分类,Enclustra从几位玩家录制的视频中采集了多样化的图片:不同的玩家,男/女玩家,不同饰品(手表,腕带,长袖…),不同亮度,左/右手玩家,不同的移动速度,不同的距离,等等。在神经网络学习了近一万张图片后,具备了快速打败新玩家的能力。

关键字:     编辑:张工 引用地址:

发表评论

邮箱地址不会被公开。 必填项已用*标注

  • 友情链接