[导读]视线跟踪技术,和EyeTech Digital Systems公司的眼动仪类似,其看似简单:即找出视线的聚焦点但很复杂。自1901年这项技术发明以来有有百年历史,近二十年来,EyeTech一直处于该领
视线跟踪技术,和EyeTech Digital Systems公司的眼动仪类似,其看似简单:即找出视线的聚焦点但很复杂。自1901年这项技术发明以来有有百年历史,近二十年来,EyeTech一直处于该领域最前沿。下面是EyeTech的视线跟踪流程:
最初,EyeTech使用商业模拟摄像机和电脑,创建一个“窗口鼠标”,来控制眼睛定位。EyeTech眼球追踪技术从瞳孔位置确定视线方向,从人类角膜确定850纳米红外光线。这项技术最初是为残疾用户发明的,帮助他们更充分地与外界交流。包括由ALS,脑瘫,肌肉萎缩症、脊髓损伤、创伤性脑损伤,和中风引起的残疾病人。因为目光追踪定位科技,受到这些疾病干扰的人的生活有了质的飞跃。EyeTech网上有一系列推荐视频。
然而辅助技术市场的规模相对较小,EyeTech的创始人罗伯特•沙普意识到:如果能降低实施成本,规模,和能耗,这项技术可能有更庞大的潜在用户群。下面是沙普的目标:
•独立操作(不需要电脑的)
•“紧凑型”大小
•低功率(< 5 w)
•成本低(< 200美元)
•优越的目光追踪定位能力
•多操作系统支持
•现场升级
•合理的开发时间和成本
对于典型的嵌入式系统,这些都不算困难。但当算法需要用电脑进行负载处理时,这些目标就存在设计上的重大挑战。毫无疑问,如果能找到一个有足够的处理功率的设备,沙普和他的团队就会使用单片机。面对现有的x86处理器PC级别代码,显然上述设想不易实现。
沙普了解到Xilinx Zynq SoC是合适的设备项目。Zynq SoC芯片上,双核ARM cortex - a9 MPCore处理器可以运行现有的基于电脑的代码,重新编译并提供一个可操作的系统。然后,为加速代码的各个部分,沙普的团队工作绩效最差任务的交给Zynq SoC芯片上的PL(可编程逻辑)。移植代码花了两年时间,工程师团队从两人到四人,他们利用兼职时间研究项目。
最终,可以跟踪的项目能使产品凝视帧速率从40上升到到200 +帧/秒。许多视线跟踪应用程序可以适应较慢的帧速率,但某些应用程序(如测试脑损伤)需要较快的帧速率和一个精确的结果。
这是AEye的印刷电路板
这是一个相当小的电路板! Zynq Z-7020 SoC宽度17毫米,电路板仅略高于Zynq SoC套装软件。注意上图右边美国硬币,可以进行尺寸估计。这里有一个AEye板的硬件框图:
这是EyeTech如何给Zynq SoC的处理系统和可编程逻辑分配任务:
沙普指出,由于硬件和软件的划分不绝对,Zynq SoC中高性能处理系统和可编程逻辑的实用性有助于创造理想的快速开发环境。设计团队要想实现比200 fps帧速率更高标准,就必须将任务从处理系统移动到可编程逻辑。
视线跟踪技术如何成为主流?每辆车的视线跟踪系统帮助对抗司机疲劳;通过化学诱导使注意力集中,帮助人们减少分散在手机、平板电脑上的注意力。如果证明有效,保险公司可能立刻会游说新车主安装跟踪系统。这是科幻小说里才出现的场景吗?看看这个Mesa, AZ电视新闻频道3的视频。
(注意:这个博客是一个总结报告。在圣克拉拉举行的2015嵌入式视觉峰会上,Xilinx的罗伯特•沙普和丹•艾萨克斯做了如上的总结报告。)
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
全球知名半导体制造商罗姆(总部位于日本京都市)与领先的车规芯片企业芯驰科技面向智能座舱联合开发出参考设计“REF66004”。该参考设计主要覆盖芯驰科技的智能座舱SoC*1“X9M”和“X9E”产品,其中配备了罗姆的PM...
关键字:
智能座舱
SoC
LED驱动器
TrustFLEX 器件搭配可信平台设计套件,将简化从概念到生产的信任根启用过程,适用于广泛的应用领域
关键字:
控制器
闪存器件
SoC
Arm Neoverse S3 是 Arm 专门面向基础设施的第三代系统 IP,应用范围涵盖高性能计算 (HPC)、机器学习 (ML)、边缘和显示处理单元,是新一代基础设施系统级芯片 (SoC) 的理想技术根基。Neov...
关键字:
机器学习
SoC
系统 IP
近日,研究机构Canalys公布了2023年第四季度智能手机SoC出货量及销售收入排名。其中,依靠华为Mate60系列、Mate X5以及nova 12系列的优秀表现,华为海思在该季度出货680万颗,同比暴增5121%。...
关键字:
华为海思
SoC
Isaac 机器人平台现可为开发者提供全新的机器人训练仿真器、Jetson Thor 机器人计算机、生成式 AI 基础模型和由 CUDA 加速的感知和操作库
关键字:
机器人
生成式 AI
SoC
加利福尼亚州 坎贝尔 – 2024 年 3月 13 日 – Arteris, Inc.(纳斯达克股票代码:AIP)是一家领先的系统 IP 供应商,致力于加速片上系统(SoC)创建。Arteris今天宣布立即推出最新版本...
关键字:
硬件加速器
片上网络
SoC
5G开放式RAN基带芯片和电信级软件提供商比科奇(Picocom)携多款产品与客户及合作伙伴一同参加了2024年世界移动通信大会(MWC24)。比科奇在此次全球行业盛会上搭建了自有展示区(Picocom Powered...
关键字:
移动通信
SoC
小基站
Ceva PentaG-RAN与Arm Neoverse计算子系统相结合,降低5G SoC开发成本并缩短上市时间,从而使双方客户受益
关键字:
5G
SoC
芯片
智能锁领域的先锋企业U-tec和Nuki选择芯科科技解决方案,成为Matter-over-Thread应用的领先者
关键字:
智能锁
物联网
SoC
第五代英特尔至强铂金 8592+处理器凭借更优化的SoC,三倍更大缓存和更快内存,在运行诸多工作负载时具备与众不同的优势,尤其是AI工作负载。
关键字:
至强处理器
SoC
内存
Holtek推出新一代直流无刷电机专用SoC Flash MCU BD66FM8452F,整合MCU、LDO、三相32V 驱动器、VDC Bus电压侦测与高压FG电路,All-in-one方案,减少周边电路,使PCBA尺...
关键字:
SoC
MCU
● 四态硬件仿真应用可加速需要X态传播的仿真任务;
● 实数建模应用可加速混合信号设计软件仿真;
● 动态功耗分析应用可将复杂SoC的功耗分析任务加快5倍。
关键字:
仿真
SoC
全新DA14592 SoC和DA14592MOD模块支持众包定位等广泛应用,同时带来最低eBoM。
关键字:
SoC
RivieraWavesTM Wi-Fi 7 IP平台适用于下一代 Wi-Fi 接入点和站点/客户端产品,提供功能齐全、成本和功耗优化的解决方案,可在 SoC 中集成高性能 Wi-Fi 7 连接
关键字:
工业物联网
Wi-Fi 7
SoC
如果近期你有购买新推出的高性能或是旗舰款手机,一定能在游戏载入、拍摄4K高清视频、开启大容量文件时即刻拥有丝滑体验。原本漫长的应用载入时间被缩短到可以忽略不计,这不仅得益于手机SoC的迭代升级,手机存储的读写性能更是在其...
关键字:
UFS 4.0
SoC
存储
2023年12月11日 – 专注于引入新品的全球电子元器件和工业自动化产品授权代理商贸泽电子 (Mouser Electronics) 即日起供应Texas Instruments的AM68Ax 64位Jacinto 8...
关键字:
机器视觉
SoC
处理器
2023年12月1日 – 专注于引入新品的全球电子元器件和工业自动化产品授权代理商贸泽电子 (Mouser Electronics) 即日起供货Silicon Labs的FG28片上系统 (SoC)。FG28专为远距离网...
关键字:
SoC
机器学习
AI
11月28日,“2023年度小华半导体产品&技术交流会”最后一站在上海圆满收官。此次交流会以“铸就芯程,智造未来”为主题,在小华半导体副总经理曾光明的率领下,线上线下同步揭晓了小华半导体匠心打造的三款MCU芯片新...
关键字:
MCU
SoC
汽车电子
勇芯科技BCL601S1模块采用Nordic Semiconductor的nRF52840 SoC 来运行心电图算法引擎,并通过低功耗蓝牙传输数据
关键字:
心电图
低功耗蓝牙
SoC