SynSense时识科技类脑机器学习工程师Gregor Lenz博士近日受邀为欧洲类脑开源社区Open Neuromorphic进行了在线演讲。本次演讲参与者主要为类脑领域的研究者及工程师。Lenz博士分享了事件相机在计算机视觉任务中的运用及优势，同时围绕SynSense时识科技基于事件的数据处理开源工具Tonic、“感算一体”动态视觉智能SoC-Speck等，为类脑领域的开发者群体展示了SynSense时识科技世界领先的智能视觉处理技术，以及脉冲神经网络训练、部署实操经验。

突破局限，探索应用SynSense时识科技聚焦类脑视觉发展

Gregor Lenz拥有巴黎索邦大学类脑工程博士学位，在SynSense时识科技，他凭借在脉冲神经网络、基于事件的传感器、类脑硬件等领域的学术及丰富的研发经验参与类脑芯片项目开发。Lenz博士同时也是类脑计算领域两大开源项目Tonic和expelliarmus的维护者。

 

 

 

 

 

 

 

 

 

 

Open Neuromorphic是一个由横跨多国的学术及工业界类脑开源贡献者所建立的类脑组织，都灵理工Fabrizio Ottati博士、SynSense时识科技类脑机器学习工程师Gregor Lenz、荷兰代尔夫特科技大学Charlotte Frenkel、加州大学Jason Eshraghian等作为发起团队，旨在为不断扩大的类脑社区提供更加实用的类脑资源、实现更活跃的交流，助推类脑技术的快速发展。

在本次演讲中，Lenz博士首先介绍了SynSense时识科技类脑技术背景及代表芯片：Speck及Xylo两大系列，并由Speck芯片而展开，介绍了智能视觉处理技术的时识经验。“在智能视觉处理领域，SynSense时识科技感算一体动态视觉SoC Speck集成了事件相机及动态视觉处理器Dynap CNN，可将其安装在无人机、机器人、玩具等设备上。现在我们已经开始销售这颗芯片，客户可以购买并使用它们——这是首批可商用的类脑硬件。我们探索应用并超越芯片的局限性，以引领硬件的发展方向。”

 

 

 

 

 

 

 

 

 

 

“传统相机成像通常以预定义的帧采样速率运行，限制了观察到的活动的时间分辨率，”在谈及类脑视觉技术时，Lenz博士表示。“连续的帧和每个帧中的冗余像素占据了大量的存储资源和计算，且容易产生动态模糊。”

 

 

 

 

 

 

 

 

 

基于帧

事件相机异步地输出光照变化，不同于传统以帧为单位的相机，其以单个像素独立地感知光照强度相对变化值。Lenz博士表示：“对于计算机视觉任务，可以使用脉冲神经网络高效处理此类数据，从而实现非常低功耗的应用。为了发挥这些模型的潜力，我们必须在专用的神经形态硬件上执行它们。”

 

 

 

 

 

 

 

 

 

基于事件

针对事件数据，Lenz博士特别介绍，SynSense时识科技为希望探索动态视觉技术的工程师及爱好者提供了一个简化事件数据/脉冲数据的下载、操作和加载的工具：Tonic。“它就像针对神经形态数据的PyTorch Vision。作为开源性质的python库，Tonic为事件驱动的音频和视觉数据提供事件驱动的数据处理功能。Tonic对PyTorch Vision和audio transform接口完全兼容，可提供最大的灵活度。” 而在训练阶段，则引入了SynSense时识科技提出的Exodus等全新SNN训练方案，大大减低训练复杂程度，更加稳定及严谨，并提升了准确度。观看视频，探索SynSense时识科技SNN训练及部署经验。

从数据预处理、神经网络架构设计、网络优化、片上部署和后期调试，SynSense时识科技为类脑芯片提供了完整闭合的开发支持。Lenz博士强调：“我们专注于超低功耗领域，致力于定义类脑边缘计算应用，例如仅由电池供电，或需要超低功耗的应用。在无需将数据发送至云端的情况下，处理不同的输入信号，如音频、视觉数据、生物医学信号等。”

目前，已有来自欧洲知名高校及英特尔、SynSense时识科技等企业的技术人员在Open Neuromorphic发起演讲活动，分享一手开发经验，以及类脑芯片及工具。作为世界首颗实现商业量产的类脑视觉芯片，SynSense时识科技Speck的实现路径吸引了行业内的密切关注。抱持着对类脑技术的极大热情，SynSense时识科技技术团队一直积极发起交流、支持类脑生态建设，以世界引领性技术推动类脑智能的整体发展。Lenz博士说：“我们希望对类脑社区作出来自SynSense时识科技的贡献，共同探索下一代神经网络。”

 

部分信息来源：Open Neuromorphic