“智元素-高級(jí)版”
配套的實(shí)驗(yàn)課程：《機(jī)器視覺與AI》、《機(jī)器視覺綜合實(shí)踐》、《人工智能綜合實(shí)踐》、《具身智能綜合實(shí)踐》。
對(duì)應(yīng)的競(jìng)賽：兩個(gè)白名單大賽的3個(gè)項(xiàng)目，及一個(gè)機(jī)器人競(jìng)賽指數(shù)榜單大賽的2個(gè)項(xiàng)目。
“智元素-高級(jí)版”是一款以人工智能技術(shù)應(yīng)用為特色的輪式人形機(jī)器人，深度整合毀傷融合算法、體感交互、人臉識(shí)別、手勢(shì)識(shí)別、目標(biāo)識(shí)別及具身智能等多元前沿技術(shù)。配置運(yùn)動(dòng)控制（STM32）、行為處理（Arduino）、AI處理（瑞芯微RK3588S）三種不同層次的處理器，均可獨(dú)立編程開發(fā)，支持Arduino、C、C++、Python等多種編程語言。運(yùn)動(dòng)性能強(qiáng)大，全向移動(dòng)速度可達(dá)2m/s，具有航向和角速度雙閉環(huán)，配置雙4自由度機(jī)械手臂。采用Linux操作系統(tǒng)，支持嵌入式AI與Python視覺編程，在控制器上部署了深度學(xué)習(xí)框架，預(yù)置模型可實(shí)現(xiàn)目標(biāo)檢測(cè)、人臉識(shí)別、手勢(shì)識(shí)別等關(guān)鍵視覺+AI應(yīng)用。算法高度封裝，使用者可通過簡(jiǎn)易Python代碼調(diào)用API獲取精準(zhǔn)推理結(jié)果，也可調(diào)用預(yù)訓(xùn)練模型開展深度開發(fā)?？蛇x配體感控制組件包，與機(jī)器人本體協(xié)作可做人機(jī)交互遙操作方面的人工智能應(yīng)用，開展敏捷式人機(jī)交互和共融控制方向的學(xué)習(xí)和實(shí)踐，是用于實(shí)踐教學(xué)和競(jìng)賽的最佳的具身智能體之一。
配套的實(shí)驗(yàn)課程大綱如下:
|
Python智能硬件編程（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
Python簡(jiǎn)介 |
了解智能硬件中的Python應(yīng)用，了解為什么Python是機(jī)器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運(yùn)算符 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">JqN北京博創(chuàng)尚和科技有限公司 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">JqN北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
AI+硬件常用Python庫 |
Python中機(jī)器人開發(fā)常用的標(biāo)準(zhǔn)庫，如Numpy，MatPlotlib等知識(shí)，嵌入式AI處理器中開發(fā)案例調(diào)用標(biāo)準(zhǔn)庫。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機(jī)進(jìn)行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進(jìn)行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
OpenCV簡(jiǎn)介 |
了解數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開并配置相機(jī)，進(jìn)行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對(duì)圖像進(jìn)行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實(shí)現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的點(diǎn)特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的像素計(jì)算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序進(jìn)行各類顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運(yùn)算 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行對(duì)圖像的腐蝕膨脹與開閉運(yùn)算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開發(fā)程序基于圖像像素顏色閾值進(jìn)行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開發(fā)程序?qū)崿F(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開發(fā)程序，基于霍夫變換提取出直線，線段，圓形特征。 |
2 |
|
機(jī)器視覺技術(shù)（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實(shí)現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
相機(jī)內(nèi)參標(biāo)定 |
理解相機(jī)成像模型，使用Python和OpenCV實(shí)現(xiàn)經(jīng)典的張正友標(biāo)定法相機(jī)標(biāo)定。 |
2 |
|
3 |
機(jī)器人動(dòng)作控制 |
了解Python如何通過串口控制移動(dòng)機(jī)器人底盤，如何控制智元素做出對(duì)應(yīng)預(yù)設(shè)動(dòng)作，在嵌入式AI處理器中編寫程序控制底盤移動(dòng)。 |
2 |
|
4 |
雙機(jī)械臂關(guān)節(jié)控制 |
了解雙機(jī)械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動(dòng)作。 |
2 |
|
5 |
二維碼識(shí)別 |
了解如何使用Python和OpenCV的庫檢測(cè)定位二維碼位置并識(shí)別二維碼信息。 |
2 |
|
6 |
AprilTag檢測(cè)與跟蹤 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并實(shí)現(xiàn)智元素的AprilTag檢測(cè)與跟蹤。 |
2 |
|
7 |
顏色識(shí)別與跟隨 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運(yùn)算等處理方法，基于Python+OpenCV實(shí)現(xiàn)顏色目標(biāo)檢測(cè)與分類，結(jié)合顏色識(shí)別實(shí)現(xiàn)顏色跟隨。 |
2 |
|
8 |
形狀識(shí)別 |
了解霍夫變換的原理，基于霍夫變換實(shí)現(xiàn)形狀識(shí)別，結(jié)合形狀識(shí)別實(shí)現(xiàn)特定形狀的跟隨。 |
2 |
|
9 |
視覺巡線 |
通過顏色重心法判斷線條中心，基于視覺進(jìn)行視覺巡線。 |
2 |
|
10 |
SVM行人檢測(cè) |
了解SVM支持狀態(tài)機(jī)的原理，基于支持狀態(tài)機(jī)識(shí)別行人并做出避讓。 |
2 |
|
11 |
表盤讀數(shù) |
通過機(jī)器視覺算法提取儀表盤的指針終點(diǎn)與圓心，通過刻度分析當(dāng)前儀表盤數(shù)值。 |
2 |
|
12 |
缺陷檢測(cè) |
基于顏色直方圖的方法識(shí)別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術(shù)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
視覺與AI框架簡(jiǎn)介 |
了解機(jī)器視覺的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的原理和通用框架。 |
2 |
|
2 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda 管理各個(gè)功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
3 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡(jiǎn)單的Python開發(fā)與調(diào)試。 |
2 |
|
4 |
機(jī)器人動(dòng)作控制 |
了解Python如何通過串口控制移動(dòng)機(jī)器人底盤，如何控制智元素做出對(duì)應(yīng)預(yù)設(shè)動(dòng)作，在嵌入式AI處理器中編寫程序控制底盤移動(dòng)。 |
2 |
|
5 |
雙機(jī)械臂關(guān)節(jié)控制 |
了解雙機(jī)械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動(dòng)作。 |
2 |
|
6 |
人臉識(shí)別 |
使用機(jī)器學(xué)習(xí)的Haar特征實(shí)現(xiàn)人臉檢測(cè)識(shí)別，使用深度學(xué)習(xí)模型實(shí)現(xiàn)基于AI的人臉檢測(cè)與識(shí)別，體驗(yàn)深度學(xué)習(xí)邊緣計(jì)算的優(yōu)勢(shì)，開發(fā)基于人臉識(shí)別的考勤系統(tǒng)。 |
2 |
|
7 |
目標(biāo)跟蹤 |
使用機(jī)器學(xué)習(xí)KCF目標(biāo)跟蹤方法實(shí)現(xiàn)目標(biāo)跟蹤，使用深度學(xué)習(xí)實(shí)現(xiàn)目標(biāo)跟蹤，體驗(yàn)深度學(xué)習(xí)邊緣計(jì)算的優(yōu)勢(shì)，開發(fā)基于目標(biāo)跟蹤的跟隨機(jī)器人系統(tǒng)。 |
2 |
|
8 |
深度學(xué)習(xí)目標(biāo)檢測(cè) |
基于Yolo-V5卷積神經(jīng)網(wǎng)絡(luò)模型，部署在AI處理器上，實(shí)現(xiàn)目標(biāo)檢測(cè)與分類，不同的物體智元素設(shè)備可做出對(duì)應(yīng)的響應(yīng)。 |
2 |
|
9 |
表情識(shí)別的人機(jī)交互 |
基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)表情識(shí)別的人機(jī)交互系統(tǒng)，根據(jù)不同的表情，智元素可做出不同的對(duì)應(yīng)動(dòng)作。 |
2 |
|
10 |
手勢(shì)識(shí)別的人機(jī)交互 |
使用MediaPipe實(shí)現(xiàn)手勢(shì)識(shí)別，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)手勢(shì)識(shí)別的人機(jī)交互系統(tǒng)。體會(huì)不同類型深度學(xué)習(xí)算法的不同應(yīng)用。 |
2 |
|
機(jī)器視覺綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實(shí)現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
機(jī)器人動(dòng)作控制 |
了解Python如何通過串口控制移動(dòng)機(jī)器人底盤，如何控制智元素做出對(duì)應(yīng)預(yù)設(shè)動(dòng)作，在嵌入式AI處理器中編寫程序控制底盤移動(dòng)。 |
2 |
|
3 |
雙機(jī)械臂關(guān)節(jié)控制 |
了解雙機(jī)械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動(dòng)作。 |
2 |
|
4 |
灰度陣列調(diào)試 |
安裝并配置好灰度陣列，實(shí)現(xiàn)可基于灰度陣列的重復(fù)定位。 |
2 |
|
5 |
AprilTag檢測(cè) |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并實(shí)現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
6 |
顏色識(shí)別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運(yùn)算等處理方法，基于Python+OpenCV實(shí)現(xiàn)顏色目標(biāo)檢測(cè)與分類，結(jié)合顏色識(shí)別實(shí)現(xiàn)抓取分揀。 |
2 |
|
7 |
視覺巡線 |
通過顏色重心法判斷線條中心，基于視覺進(jìn)行視覺巡線。 |
2 |
|
8 |
灰度巡線 |
通過灰度陣列判斷機(jī)器人與線條的偏移，編寫控制程序進(jìn)行灰度巡線。 |
2 |
|
9 |
單任務(wù)串聯(lián) |
串聯(lián)上述任務(wù)，實(shí)現(xiàn)巡線到指定位置，通過AprilTag確定待抓取物體，定位抓取。 |
2 |
|
10 |
多任務(wù)串聯(lián) |
在完成了單個(gè)任務(wù)抓取后，通過多任務(wù)連續(xù)進(jìn)行識(shí)別與抓取。 |
2 |
|
人工智能綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機(jī)器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個(gè)人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開發(fā)環(huán)境，為后續(xù)實(shí)驗(yàn)打下基礎(chǔ)。 |
2 |
|
3 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda 管理各個(gè)功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
4 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡(jiǎn)單的Python開發(fā)與調(diào)試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開并配置相機(jī)，進(jìn)行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標(biāo)注 |
在WSL2中安裝Label-Studio，進(jìn)行數(shù)據(jù)標(biāo)注，生成Yolo格式的標(biāo)注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強(qiáng)與數(shù)據(jù)集劃分 |
了解為什么要進(jìn)行數(shù)據(jù)增強(qiáng)，在Jupyter中進(jìn)行數(shù)據(jù)增強(qiáng)，將增強(qiáng)的數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。 |
2 |
|
8 |
模型訓(xùn)練 |
基于Yolo-V5模型，在Pytorch下訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。 |
2 |
|
9 |
模型轉(zhuǎn)化 |
將Pytorch訓(xùn)練出的pt模型轉(zhuǎn)化為onnx中間模型，再轉(zhuǎn)化為可硬件推理的rknn模型，邊緣計(jì)算芯片可部署推理。 |
2 |
|
10 |
基于深度學(xué)習(xí)識(shí)別挑選武器 |
結(jié)合機(jī)械臂，實(shí)現(xiàn)挑選武器的案例，在武器庫中通過AI識(shí)別出不同武器，并挑選出來。 |
2 |
|
具身智能綜合實(shí)踐（16課時(shí)） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課時(shí) |
|---|---|---|---|
|
1 |
基于python的硬件驅(qū)動(dòng)控制 |
了解串口通信，實(shí)現(xiàn)基于Python驅(qū)動(dòng)機(jī)器人動(dòng)，底盤的移動(dòng)，Python控制人形機(jī)器人關(guān)節(jié)運(yùn)動(dòng)等。 |
2 |
|
2 |
圖像處理基礎(chǔ) |
了解視覺傳感器，了解OpenCV視覺庫，圖像的保存與加載，在圖像上繪制圓形，方形，線條、文字等信息，攝像頭圖像獲取與保存。 |
2 |
|
3 |
基于顏色重心法的巡線功能 |
了解HSV顏色空間，圖像二值化，形態(tài)學(xué)運(yùn)算，聯(lián)通閾提取等圖像處理方法，基于Python+OpenCV實(shí)現(xiàn)對(duì)顏色的目標(biāo)檢測(cè)和分類，了解邊緣檢測(cè)算法與霍夫變換的原理，基于霍夫變換實(shí)現(xiàn)形狀的識(shí)別。實(shí)現(xiàn)基于顏色形狀識(shí)別的運(yùn)動(dòng)控制。實(shí)現(xiàn)基于顏色提取的視覺巡線功能。 |
2 |
|
4 |
人臉識(shí)別 |
實(shí)現(xiàn)基于深度學(xué)習(xí)模型的人臉識(shí)別，人臉特征提取，人臉向量匹配，識(shí)別并定位人臉。 |
2 |
|
5 |
人臉特征分析 |
實(shí)現(xiàn)基于DeepFace具身智能庫，識(shí)別人臉的表情，年齡，性別，種族，并根據(jù)不同的特征做出不同的對(duì)應(yīng)決策動(dòng)作。 |
2 |
|
6 |
具身環(huán)境交互 |
通過視覺模型了解并分析出視野中的環(huán)境場(chǎng)景，依據(jù)強(qiáng)化學(xué)習(xí)做出對(duì)應(yīng)的動(dòng)作展示。 |
2 |
|
7 |
強(qiáng)化學(xué)習(xí)的理解 |
介紹強(qiáng)化學(xué)習(xí)的基本概念、算法（如 Q - learning、Deep Q - Network 等）和應(yīng)用場(chǎng)景。使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人，并觀察其學(xué)習(xí)效果。 |
2 |
|
8 |
綜合任務(wù)實(shí)現(xiàn) |
串聯(lián)前述單個(gè)技能模塊，實(shí)現(xiàn)一個(gè)綜合案例：半仿人機(jī)器人通過巡線在場(chǎng)地中穿梭，在穿梭過程中感知周圍的環(huán)境，根據(jù)環(huán)境決策實(shí)現(xiàn)搶險(xiǎn)救援，解救受困人員的任務(wù)。 |
2 |