SynSense时识科技发表音频信号处理技术突破： Rockpool软件包+Xylo低维度类脑处理器，赋能商业化声音检测应用

2022-10-18

由 synsense_admin

近日，SynSense时识科技发表文章，展示了类脑音频信号处理技术新成果：通过SynSense时识科技自研软件Rockpool，开发基于脉冲神经网络的信号处理，包括信号处理应用的设计、训练，并部署至SynSense时识科技低维度类脑处理器Xylo中。研究显示，在执行环境音检测分类任务时，该应用准确率达到了98%，同时仅消耗93微瓦动态功耗（high accuracy: 98% at low power <100μW inference power）。

该项技术成果由SynSense时识科技高级机器学习工程师Hannah Bos以及全球研发副总裁Dylan Muir博士共同发表，详见全文：https://arxiv.org/abs/2208.12991

“我们展示了基于Xylo的超低功耗实时音频信号处理。Xylo突破了使用场景中的能耗限制，我们的成果旨在推动类脑处理器以及脉冲神经网络成为商用超低功耗应用以及边缘信号处理应用的绝佳选择。”——Dylan Muir 全球研发副总裁

“我们还展示了一种简单高效的软件Rockpool，旨在简化基于SNN的机器学习，可用于信号处理应用的设计、训练，以及部署。对于广大来自神经网络背景的机器学习工程师，不要求具体的脉冲神经网络经验，也可进行脉冲神经网络训练以及部署。” ——Hannah Bos 高级机器学习工程师

Rockpool是一个开源Python软件包，用于开发基于脉冲神经网络的信号处理。Rockpool允许网络的构建、训练和测试，以及在事件驱动的神经形态硬件上的仿真。Rockpool为图层提供了许多模拟后端，包括Brian2，NEST，Torch，JAX，Numba和raw numpy。Rockpool旨在简化基于SNN的机器学习，而非为详细模拟生物网络而设计的。

脉冲神经网络（SNN）为时间信号处理提供了一种高效的计算机制，尤其在与SNN推理的专用集成电路搭配时，尤其能凸显其能效优势。面向一系列对功耗有着限制的商业应用环境，脉冲神经网络+SNN推理的处理器提供了一种适用于商用低功耗信号处理的绝佳方案。

环境音检测分类

耳机、电话、助听器等便携式音频设备往往通过噪音检测以及声音塑造来提升用户的听觉体验。用于减少噪音的参数可由器件及用户周围的噪音水平及特点而定。例如，噪音过滤会随用户处于安静的环境、车水马龙的街道或嘈杂的咖啡馆中而不同。

为了选择并预配置噪音减除方法，SynSense时识科技提出了一种低功耗方案，可连续且自动地对用户所处的环境噪音分类。“我们训练一种脉冲神经网络并部署在类脑处理器上，以此进行连续信号的检测。我们使用了QUT-NOISE噪声集来训练及评估这一应用，QUT-NOISE包含了咖啡馆、家、汽车以及街道录音。结果显示，该项应用在准确率、延迟及功耗三大指标中表现更佳（准确率达到了98%，消耗93微瓦动态功耗）。”

SynSense时识科技展示的Rockpool及Xylo音频信号处理方案为广大机器学习工程师进行脉冲神经网络配置提供了支持，适用于商用脉冲神经网络应用的设计及部署。自成立以来，SynSense时识科技专注于类脑软硬件设计研发，已推出一系列类脑处理器及配套工具链。我们期待脉冲神经网络及低功耗类脑处理器在端侧低功耗机器学习领域作出卓越贡献。

XYLO，世界领先的低维度类脑处理器XYLO是一款基于第三代人工神经网络的、超低功耗(~0.1mW)的、always-on低维度信号专用的AI处理器。XYLO芯片内部集成了模拟前端预处理，可对低维度自然（模拟）信号直接进行进行预处理；内建神经网络，支持脉冲神经网络（SNN）和储存池计算技术等；因此XYLO特别适合各种mems麦克风、温度传感器、压力传感器、振动传感器、加速度传感器、陀螺仪及肌电、心电等信号的智能处理。