中人ZRRGZN-01人工智能综合实验平台

一、产品结构组成

系统包含六自由度机械臂、宽动态AI视觉摄像头、Jetson Nano边缘处理终端17.3寸边缘计算显示单元、机器视觉场景应用资源包、可模拟人工智能典型应用场景，实现人工智能应用技术教学实验。

教学平台系统预装Ubuntu18.04操作系统，所有环境代码库文件均已安装，开机即用。基于多维度学习实践平台，由浅入深循序渐进，从基础单独的GPIO扩展开始学习过渡到传感器实验项目再进入OpenCVPyTorch、ROS系统，机器运动学，AI机器视觉，AI语音识别听觉等学习，从而学会AI人工智能开发。

所提供的算法源代码（包括人脸检测、车牌识别、垃圾分类、目标检测），兼容Caffe/TensorFlow/MXNet训练模型和API，可以让学生对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应用场景，贴近工程化应用。

1、JetsonNano边缘计算平台

NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,Jetson Nano搭载四核cortex-A57处理器，128核MaxwellGPU及4GB LPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、机器视觉(机器臂)

视觉机械臂以Jetson nano为主控，Open Source CV为图像处理库，以主流的Jupyter Lab为开发工具,使用Python3为主要编程语言。摄像头与机械臂机身一体式设计，“手眼合一”的视觉识别让机械臂显得更加灵动，它不仅可以实现颜色识别追踪与抓取，还能人体特征识别互动，甚至进行垃圾分类模型训练垃圾分拣;通过RO5机器人操控系统，简化了6自由度串行总线舵机复杂运动控制。

1080P摄像头：感光元件尺寸：1/237”最高有效分辨率：1928*1088;数据格式：YUY2/MJPG;像素大小：3.0μm*3.0μm;宽动态范围：96DB;自动控制：饱和度，对比度，锐度，白平衡，曝光。

机械臂：Cortex-M3内核的处理器控制板，自由度桌面式机械臂，大功率串行总线智能舵机，臂展350mm，负载≥300g，带夹爪，阳极氧化处理铝合金机身，主要用于工业机械臂的控制。支持python编程，可灵活和精准调节每一关节角度和位置；支持PC上位机、手机APP、USB游戏手柄控制；

3、语音识别-麦克风阵列

麦克风阵列是基于MSM261S4030H0数字麦克风芯片设计的，模块声音识别灵敏度、信噪比都比较高，可应用于声源定位、语音识别、波束成型等需求场合。

1. :RISC-V Dual Core 64bit,with内核,主频400MHz,8M Byte,内置语音识别麦克风阵列(8mics),网络模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架

2. 麦克风:6+1个MSM261S4030H0组成阵列（声压级:140 dB SPL，灵敏度:-26，信噪比: 57dB，THD<1%，时钟频率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.灯光:12个LED通过双信号线级联（颜色和亮度可调)

3.支持声源定位、语音导航、语音交互、离线语音识别。

4、激光雷达

相较于传统技术，利用红外激光设备可实现超大屏幕的多点触摸，其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器，可快速获得环境轮廓信息，配合SLAMWARE使用，可以帮助机器人实现自主构建地图、实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。

测量半径：12米，测量频率：8000次/秒，扫描频率：5.5HZ，360度扫描测距

工程应用方向

1. 计算机视觉基础应用与机械臂的运动控制

   （1）视觉定位：放置任意物体在视野中，在图像中将其分割（框出来），并输出中心点坐标；

（2）颜色识别和分选：多种颜色混合放置于视野中，每种颜色各一个，控制手臂挑选出某种颜色，并放置在一侧；

（3）颜色识别和堆叠：多种颜色混合放置于视野中，如两种，每种颜色两个，控制手臂抓取某种颜色并堆叠，或多颜色分别堆叠；

（4）形状识别和分选：多种形状混合放置于视野中，每种形状各个，控制手臂挑选出某种形状，并放置在一侧；

（5）形状识别和堆叠：多种形状混合放置于视野中，如两种，每种形状两个，控制手臂抓取某种形状并堆叠，或将多种形状分别堆叠；

（6）单一形状目标按大小排序：同种形状，放置三种不同尺寸的物体于视野中，控制手臂按照从大到小的顺序依次放置；

（7）多种形状目标同时按形状和大小堆叠：三种形状，每种形状放置三种不同尺寸的物体于视野中，控制手臂按照不同形状、从大到小的顺序分别进行堆叠（即三个堆垛，均为从大到小）；

（8）垃圾分类：在目标上贴上不同物体的图案，如白菜、标识为有毒物品的玻璃瓶、纸箱，混合放置于视野中，通过配置，控制机械臂按照厨余垃圾、有害垃圾、可回收垃圾进行分类；

（9）手势交互：比如伸出1、2、3、4个手指，机械臂分别执行向上、向下、向左、向右运动，伸出5个手指，则画一个圆；

（10）目标跟踪：操作者手持一个小球，机械臂识别该小球（形状或颜色），并随着小球的移动而移动；

（11）OCR光学字符识别与排序：目标上贴上字符，乱序摆放（可要求字符必须朝同一个方向，但顺序是乱的），机械臂通过视觉识别，将其按照123456的顺序摆放到指定位置

2.计算机视觉与人脸识别、车牌识别等应用

（1）人脸识别：事先录入人脸，对新的人脸进行识别，识别成功弹出人员的信息，识别不到则提示该人员不在系统中；

（2）人脸门禁：识别到人脸后，打开门禁系统，同时绿色指示灯亮起，识别不到，黄色指示灯亮起，提示无该人员信息；

（3）人员入侵预警：同上。同一人脸连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；

（4）车牌识别：事先录入车牌，对新的车牌进行识别，识别成功弹出车主信息，同时绿色指示灯亮起，识别不到则黄色灯亮起，并提示该车辆不在系统中；

（5）车辆入侵预警：同上。同一车牌连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；

（6）运动目标识别与跟踪：采用视频实时识别的方式，对视野中的一个或多个人员进行识别，框出来，标记识别到的人员数量，并随着人员的移动进行跟踪；

3.语音识别与智能家居系统

（1）智能门禁控制：预先对语音进行标记，通过配置语音指令和门禁系统控制算法，实现如发出“开门”的指令，门禁系统自动打开的动作；

（2）智能灯光控制：预先对语音进行标记，通过配置语音指令和灯光控制算法，实现如发出“开灯”的指令，灯光自动打开的动作；

（3）智能风扇控制：预先对语音进行标记，通过配置语音指令和风扇控制算法，实现如发出“打开风扇”的指令，风扇自动开启的动作；

（4）智能温湿度检测：预先对语音进行标记，通过配置语音指令和温湿度传感器控制算法，实现如发出“今天的温度是多少”的指令，传感器自动开启并在屏幕上显示当前环境温湿度的动作。

西门子plc仿真实训软件包括基本指令、应用指令、顺序控制指令

一、基本指令：电动机启停控制、电动机正反转控制、电动机循环正反转、可逆运行反接制动、三速电机控制、星角降压启动控制、数码管点亮控制、交通灯控制、恒压供水系统控制九项。

1、电动机启停控制包括：实训要求、实训器件、器件布局、I/O分配、T型图、电路连接、通电运行等七项

（1）实训要求：文字、图片的形式展示。将主要掌握的知识点予以概括，了解本模块主要的学习内容包括两地控制电路的编程方法，学会实际控制设计PLC的外围电路，学会分局实际控制要求设计简单的梯形图等。

（2）实训器件：列出电动机启停控制单元所用到的全部器件，包括三相异步电动机、PLC、交流接触器、三相断路器、熔断器、热继电器、启动按钮、停止按钮。

（3）器件布局：将器件库中的仿真器件放到仿真配电柜中的相应位置，用于训练学生对器件及电路的了解。电路上要有相应的符号，器件拖拽错误器件会拖拽不上去并会有相应的声音显示。

（4）I/O分配：软件中有I/O分配地址和电路图，将鼠标点到分配地址资源后会有相应的事物图片展示，用来让学生更好的了解器件模型与电路图。

（5）T型图：给出缺失符号的T型图和相应的符号，学生根据所学知识用鼠标将符号拖拽到T型图上，如果正确则符号保留在T型图上，错误则消失。

（6）电路连接： 

原理图中闪烁的线条即为当前应连接的电路，用鼠标点击连接此线的两触点中的一个触点，然后拖动鼠标，找到另一个触点并点击，若正确将出现连接线，不正确此线消失，只有当该连线连接正确后，才能进行下一条线的接线操作。如果接线中出现困难可点击“答案”按钮，点击后将出现已完成的接线图，可参考该图完成你所进行的操作，再次点击“答案”按钮，答案将消失。

可以自由接线，参照电路图可以进行自由接线，如果不会可以点击提示，鼠标点击任何一个接线热点另外的一端热点会闪烁显示。

（7）通电运行：以仿真实训方式实现。通电后，可按照操作步骤按下相应开关，即可直观地观察到电路的运行情况，同时配合模拟真实场景的声效，达到仿真的效果。

配套实验内容 

Python基础部分实验

第一章 Python

第二章 开发环境搭建和使用方法

第三章 Python基础

3.1 Python语法

3.2 Python缩进

3.3 Python注释

3.4 Python变量

3.5 Python引入外援

3.6 Python基础数据类型

3.7 Python常用操作符

第四章 Python分支与循环

4.1 Python分支与循环

4.2 Python条件表达式与断言

4.3 Python循环语句

第五章 Python高级

5.1 Python列表

5.2 Python元组

5.3 Python字符串

5.4 Python序列

5.5 Python字典

5.6 Python集合

第六章 Python函数

6.1 Python函数的创建与调用

6.2 Python函数的参数及返回值

6.3 Python函数的变量

6.4 Python函数式编程

6.5 Python递归

第七章 Python存储

7.1 Python文件

7.2 Python文件系统（OS）

第八章 Python异常处理

8.1 Python try-except语句

8.2 Python try-finally语句

8.3 Python raise语句

第九章 Python类和对象

9.1 Python对象

9.2 Python继承

9.3 Python多重继承

9.4 Python组合

9.5 Python魔法方法-构造与析构

第十章 Python模块

10.1 Python模块

10.2 Python包

PyQT部分实验

第一章 PyQt5

第二章 PyQt5开发环境搭建与使用方法

第三章 第一个PyQt5窗口程序

3.1 PC端PyQt5应用程序开发流程

3.2 PyQt5应用程序运行在边缘端

第四章 PyQt5窗口设计基础

4.1 单窗口属性与设置

4.2 信号与槽

4.3 多窗口设计

第五章 PyQt5常用控件设计

5.1 文本类开发（Label、TextEdit、SpinBox）

5.2 按钮类开发（PushButton、CheckBox）

5.3 日期时间类（Data/TimeEdit）

5.4 进度条类（ProgressBar）

5.5 对话框类（QMessageBox）

第六章 PyQt5布局管理

6.1 线性布局

6.2 GridLayout网格布局

第七章 PyQt5数据库

7.1 SQLite数据库

7.2 MySQL数据库

第八章 PyQt5文件操作

第九章 PyQt5多线程编程

9.1 QTimer定时器类

9.2 QThread线程类

第十章 PyQt5程序打包

第十一章 PyQt5网络编程

第十二章 PyQt5物联网编程

12.2 物联网传感器数据获取并显示

12.3 物联网执行器控制

机器视觉部分实验

第一章 机器视觉说明

1.1 机器视觉介绍

1.1.1 机器视觉简介

1.1.2 机器视觉发展

1.2 OpenCV介绍

1.2.1 OpenCV简介

1.2.2 OpenCV结构图

第二章 开发环境的搭建和使用方法

第三章 OpenCV图像基础

3.1 OpenCV读取图像

3.2 OpenCV显示图像

3.3 OpenCV保存图像

第四章 OpenCV视频基础

4.1 OpenCV捕获摄像头

4.2 OpenCV读取视频

4.3 OpenCV显示视频

4.4 OpenCV保存视频

第五章 OpenCV绘图功能

5.1 画线

5.2 画矩形

5.3 画圆

5.4 画椭圆

5.5 画多边形

5.6 图像上添加文字

第六章 OpenCV图像操作基础

6.1 访问和修改像素值

6.2 访问图像属性

6.3 图像兴趣区域ROI

6.4 拆分和合并图像通道

第七章 OpenCV图像算术运算

7.1 图像加法

7.2 图像融合

7.3 图像按位运算

第八章 OpenCV颜色空间

8.1 颜色空间介绍

8.2 BGR颜色空间

8.3 GRAY颜色空间

8.4 HSV颜色空间

第九章 OpenCV图像变换

9.1 图像缩放

9.2 图像翻转

9.3 图像平移

9.4 图像旋转

9.5 图像仿射变换

9.6 图像透视变换

第十章 OpenCV阈值处理

10.1 阈值处理说明

10.2 二阶阈值处理

10.3 反二阶阈值处理

10.4 截断阈值处理

10.5 低阈值零处理

10.6 超阈值零处理

10.7 自适应阈值处理

10.8 Otsu处理

第十一章 OpenCV图像金字塔

11.1 pyrDown金字塔向下采样

11.2 pyrUp金字塔向上采样

第十二章 OpenCV图像平滑处理

12.1 均值滤波

12.2 方框滤波

12.3 高斯滤波

12.4 中值滤波

12.5 双边滤波

第十三章 OpenCV形态学操作

13.1 腐蚀

13.2 膨胀

13.3 开运算

13.4 闭运算

13.5 形态学梯度运算

第十四章 OpenCV边缘检测

14.1 Canny边缘检测基础

14.2 Canny函数及使用

第十五章 OpenCV图像轮廓

15.1 查找和绘制轮廓

15.1.1 查找轮廓

15.1.2 绘制轮廓

15.2 矩特征

15.2.1 计算轮廓面积

15.2.2 计算轮廓长度

15.3 轮廓拟合

15.3.1 矩形包围框

15.3.2 最小矩形包围框

15.3.3 最小圆形包围框

15.3.4 拟合椭圆包围框

15.4 凸包

第十六章 OpenCV直方图处理

16.1 绘制直方图

16.1.1 hist函数绘制直方图

16.1.2 calcHist函数绘制直方图

16.2 直方图均衡化

第十七章 OpenCV傅里叶变换

17.1 Numpy实现傅里叶变换

17.2 Numpy实现逆傅里叶变换

17.3 OpenCV实现傅里叶变换

17.4 OpenCV实现逆傅里叶变换

17.5 高通滤波

17.6 低通滤波

第十八章 OpenCV模版匹配

18.1 模版匹配基础

18.2 模版多匹配

第十九章 OpenCV霍夫变换

19.1 霍夫直线变换

19.2 概率霍夫直线变换

19.3 霍夫圆环变换

第二十章 OpenCV二维码识别

第二十一章 OpenCV颜色检测

第二十二章 OpenCV面部、眼睛检测

第二十三章 OpenCV汽车和行人检测

第二十四章 OpenCV手写数字识别

深度学习部分实验

第一章 深度学习发展简史

1.1 人工智能简介

1.2 神经网络与深度学习

1.3 神经网络发展简史

1.4 深度学习特点

1.5 深度学习应用

1.6 深度学习框架

第二章 实验环境配置

2.1 Anaconda 下载与安装

2.2 Anaconda 配置tf2 环境

2.3 Tensorflow 安装

2.4 Jupyter notebook 安装

2.5 RK3399 环境简介

第三章 TensorFlow 基础部分

3.1 张量创建实验

3.2 张量运算实验

3.3 张量维度变换实验

第四章 线性回归

4.1 一元线性回归实验

4.2 多元线性回归实验

4.3 波士顿房价预测实验

第五章 逻辑回归

5.1 一元逻辑回归实验

5.2 多元回归实验

5.3 实战鸢尾花分类实验

第六章 人工神经网络

6.1 单层神经网络实验

6.2 多层神经网络实验

6.3 模型保存或加载实验

第七章 卷积神经网络

7.1 卷积操作实验

7.2 卷积神经网络实验

7.3 数据预处理实验

第八章 神经网络迁移学习

8.1 经典神经网络介绍

8.2 迁移学习猫狗分类实验

第九章 循环神经网络

9.1 循环神经网络介绍

9.2 情感分类实验

9.3 文本生成实验

第十章 人工智能综合实验

10.1 人脸识别实验

10.2 口罩检测实验

10.3 水果识别实验

麦克风阵列部分实验

1. 声源定位实验

2. 音频可视化实验

3. 语音识别实验

机械臂部分实验

基础实验

1.控制RGB灯

2.控制蜂鸣器

3.控制单个舵机

4.读取舵机当前的位置

5.一次控制6个舵机

6.机械臂上下左右摆动

7.机械臂跳舞

8.机械臂记忆动作

9.机械臂夹方块

10.大自然搬运工

11.叠罗汉

人工智能综合实验

1.颜色校准

2.颜色识别抓取积木

3.颜色分拣与堆叠

4.垃圾分拣

5.目标追踪