SynSense时识科技开源类脑软件组合,助力开发者快速搭建脉冲神经网络
类脑技术模仿生物脑信息处理的方式,同时也集成了其众多优势。以超低功耗、超低延迟作为最突出特点,类脑技术为边缘计算带来了全新视野。自成立以来,SynSense时识科技不断尝试降低类脑芯片在嵌入式机器视觉及音频应用方面的功耗及延迟性,同时提升精准度。而在硬件之外,软件框架同样作为其中的关键因素,在创新训练脉冲神经网络方面发挥着巨大作用。
截至目前,SynSense时识科技已开发Samna、Sinabs、Rockpool、Tonic四款软件及工具链,且已全部开源。以适用于SynSense时识科技“感算一体”动态视觉智能SoC Speck及其开发套件的开源库Sinabs和工具链Samna为例,开发者可轻松使用片上DVS传感器并搭建达9层的脉冲卷积神经网络。而在Speck部署流水线中,开发者可使用小于5行代码,将模型部署至Speck中,从而开启应用原型开发。
“在SynSense时识科技,我们专注于类脑硬件平台与软件栈的良好协同。作为开源性质的工具,其基于行业标准的机器学习库,同时伴随高准确度的硬件模拟器,能够助力开发者在Python环境中方便地进行部署测试。”
——SynSense时识科技全球研发副总裁Dylan Muir博士
在Speck开发套件上快速部署
Speck开发套件基础使用要求
硬件要求:至少 4GB 物理内存、1个USB3.0 接口
一个显示器、拥有集成或独立显卡
软件要求:Ubuntu 18.04/20.04
安装软件:Samna,Sinabs
近日,SynSense时识科技发布全新类脑感知及计算开发平台Speck及Xylo-Audio,支持类脑智能研发及开发者生态搭建。以Speck为例,用户可在SynSense时识科技数据集测试工具Tonic、开源库Sinabs、工具链Samna的支持下,快速地对开发套件进行部署启用。可访问我们的官方网站查看相关软件。
For data management
Tonic是一款开放型基准数据集测试工具。
作为开源性质的Python库,Tonic提供可公开使用、基于事件的视觉及音频数据集,以及数据处理功能。Tonic对PyTorch Vision与audio transform接口完全兼容,可为用户提供最大的灵活度,不仅支持直接在事件或时间面(time surface)上进行处理增强, 同时也支持一系列传统框架的操作, 例如将稀疏事件和绸密压缩表达相互转换。
↓
For simulation
Sinabs是一个基于PyTorch的开源库,旨在设计和实现脉冲卷积神经网络(sCNN)。
Sinabs可以实现与卷积神经网络等效的脉冲卷积神经网络。此外,它还支持Sinabs-exodus, Sinabs-dynap cnn等众多plug-in, 方便用户调取最新的脉冲神经网络设计和芯片部署效率工具。
↓
For host management
Samna 是为SynSense时识科技类脑芯片量身定制的开发者接口和高性能实时交互工具。Samna核心逻辑全部为C++编写,对外提供了一套Python接口,在保证了易用性的同时也确保了数据处理的实时性。针对事件驱动设备数据流的特性,Samna集成了一个能够实时多线程处理事件流的数据处理系统,允许用户对输入输出芯片的数据进行自定义处理。同时该数据处理系统支持在线编译器(Just-In-Time Compiler),允许用户使用C++编写数据处理算法并实时整合进数据处理流中。
↓
通过使用Sinabs和Samna,可更加便捷地将脉冲神经网络模型部署至Speck开发板中,从而快速启用。
“从数据预处理、神经网络架构设计、网络优化、片上部署和后期调试,SynSense的软件工具链为Speck/Xylo系列类脑芯片开发提供了完整闭合的开发和应用支持。同时,我们有着丰富内部和外部的开发者群体, 不断对我们的软件工具链优化和拓展,” SynSense时识科技高级算法工程师邢雁南博士表示。
SynSense时识科技瑞士团队类脑机器学习工程师Gregor Lenz博士道: “通过发布我们的开发工具,我们希望对类脑社区作出来自SynSense时识科技的贡献,共同探索下一代神经网络。”
自发布最新类脑开发套件以来,SynSense时识科技已收到了来自世界各国研究机构、高校及企业等研发人员的热切询问。我们期望通过提供开发工具、丰富开发资源,吸引更多开发者和爱好者加入类脑领域。接下来,SynSense时识科技工程师团队将围绕开发套件使用及脉冲神经网络训练等多个方面,与开发者及爱好者展开探讨,欢迎持续关注。