类脑开发套件第一讲:Dynap™-CNN与Speck™开发套件功能概览
全球首颗动态视觉专用处理器Dynap™-CNN与“感算一体”动态视觉智能SoC Speck™是SynSense时识科技推出的世界领先类脑视觉芯片。为助力前沿技术的交流应用与生态社区搭建,基于Dynap™-CNN及Speck™两款类脑视觉芯片,SynSense时识科技目前已分别发布了开发套件,以便于来自产业、高校及研究机构等的开发人员进行类脑技术探索。
目前,SynSense时识科技开发套件教程已经正式上线。该系列教程将带领用户更加顺畅地进行实时监测、手势识别等视觉类应用模型开发,使开发工具发挥最大价值;同时也作为开发工具的更深层展示,协助类脑技术爱好者和类脑社区了解SynSense时识科技提供的类脑开发资源,为类脑技术的学习或研发构建更加完善的基础环境。
Dynap™-CNN与Speck™开发板功能概要
SynSense时识科技工程师团队将在两集视频中,围绕Dynap™-CNN及Speck™开发套件的主要功能进行讲解,以协助用户认识开发套件的整体架构、使用逻辑,以及配套软件的安装准备。
SynSense时识科技主讲人
Dr.Yannan Xing SynSense时识科技高级算法工程师
主要负责类脑智能算法的工程化和脉冲神经网络的设计和研究,包括高性能算法机制开发、实时算法推断效率的优化、高性能算法部署策略,及DVS信号识别应用算法的开发、脉冲编解码机制,主导核心类脑芯片应用功能开发及实现。
Yalun Hu SynSense时识科技算法工程师
主要负责动态视觉相机方向的分类、识别和目标跟踪等算法的研究与开发,以及脉冲神经网络训练、相关软件工具链的开发与维护,推进核心算法开发及大型开源软件框架开发。
主要内容1:SynSense时识科技类脑开发板功能概要
点击跳转:工程师教程 | SynSense时识科技Dynap-CNN及Speck开发套件功能概要_腾讯视频 (qq.com)
Dynap™- CNN和Speck™总体介绍
Dynap™-CNN和Speck™具有基本相同的运算资源,最多可支持32万可自由配置的神经元。Dynap™-CNN为纯异步类脑处理器。Speck™则内置了Dynap™运算阵列和DVS,同时也支持外部DVS,可以通过电脑、Samna软件等,作为载体,与Dynap™-CNN和Speck™进行通讯。
SynSense时识科技还提供整套的软件工具链,支持离线的脉冲神经网络仿真、开发、数据处理,以及将训练好的模型配置到芯片上进行仿真。
芯片整体架构
芯片使用逻辑
使用SynSense时识科技制作的算法框架与芯片进行交流。
运算单元概览
预处理层、Dynap-CNN层、Readout层、计算演示。
常见问答
配置举例
主要内容2:开发环境准备,安装软件及工具链
点击跳转:工程师教程 | SynSense时识科技Dynap-CNN及Speck开发套件相关软件及工具链_腾讯视频 (qq.com)
类脑开发板教程系列
开发环境准备
Python环境
依赖库
Linux用户
Speck™开发环境安装演示
Samna安装
Sinabs及Sinabs-DynapCnn安装
Linux用户安装指南
工程师教程系列是SynSense时识科技技术团队为支持用户开发而提供的实用操作指南。接下来,SynSense时识科技还将推出相关教程,围绕对N-MNIST数据集进行推理、使用Speck™ Dev Kit和内部的DVS运行Demo等进行深度解析,欢迎继续关注。
DYNAP™-CNN开发板
DYNAP™-CNN开发套件利用时识科技DYNAP™-CNN芯片的强大能力,提供毫瓦级可编程卷积视频处理能力。该套件可以在毫瓦级功耗内完成实时面部检测、 实时手势识别、实时目标分类等视觉任务。DYNAP™-CNN开发套件支持直连或通过PC连接DVS相机。利用时识科技开源Python库SINABS轻松搭建高达9层的卷积神经网络,最少仅需一行代码即可在DYNAP™-CNN开发套件上完成网络部署。
Speck™开发板
SynSense时识科技最新款类脑视觉开发套件,全新升级的Speck™系列SoC集成 DVS动态视觉传感器/事件相机,大幅度提升了感光性能并降低了噪声,同时,SoC片内集成32万脉冲神经元类脑智能处理器,将动态实时图像处理能力的功耗保持在亚毫瓦量级。
Speck™开发套件为SynSense时识科技目前在售的高性能类脑智能视觉开发平台,支持实时监测、手势识别、行为检测、光流、跟随等多场景复杂视觉类应用模型开发。