產(chǎn)品與課程
“智元素-基礎(chǔ)版”
配套的實驗課程：《機(jī)器視覺與AI》、《機(jī)器視覺綜合實踐》、《人工智能綜合實踐》、《具身智能綜合實踐》。
對應(yīng)的競賽：一個白名單大賽的2個項目，及一個機(jī)器人競賽指數(shù)榜單大賽的2個項目。
“智元素-基礎(chǔ)版”是一款著重體現(xiàn)人工智能技術(shù)的智能射擊機(jī)器人平臺。配置運(yùn)動控制（STM32）、AI處理（瑞芯微RK3588S）兩種層次的處理器，均可獨(dú)立編程開發(fā)，支持C、C++、Python等多種編程語言。運(yùn)動性能強(qiáng)大，全向移動速度可達(dá)2m/s，具有航向和角速度雙閉環(huán)。采用Linux操作系統(tǒng)，支持嵌入式AI與Python視覺編程，在控制器上部署了深度學(xué)習(xí)框架，預(yù)置模型可實現(xiàn)目標(biāo)檢測、人臉識別、手勢識別等關(guān)鍵視覺+AI應(yīng)用。算法高度封裝，使用者可通過簡易Python代碼調(diào)用API獲取精準(zhǔn)推理結(jié)果，也可調(diào)用預(yù)訓(xùn)練模型開展深度開發(fā)。
配套的實驗課程大綱如下：
|
Python智能硬件編程（24課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
Python簡介 |
了解智能硬件中的Python應(yīng)用，了解為什么Python是機(jī)器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運(yùn)算符 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">unc北京博創(chuàng)尚和科技有限公司 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">unc北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
AI+硬件常用Python庫 |
Python中機(jī)器人開發(fā)常用的標(biāo)準(zhǔn)庫，如Numpy，MatPlotlib等知識，嵌入式AI處理器中開發(fā)案例調(diào)用標(biāo)準(zhǔn)庫。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機(jī)進(jìn)行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進(jìn)行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（24課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設(shè)備，打開并配置相機(jī)，進(jìn)行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對圖像進(jìn)行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序進(jìn)行各類顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運(yùn)算 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行對圖像的腐蝕膨脹與開閉運(yùn)算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開發(fā)程序基于圖像像素顏色閾值進(jìn)行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開發(fā)程序?qū)崿F(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開發(fā)程序，基于霍夫變換提取出直線，線段，圓形特征。 |
2 |
|
機(jī)器視覺技術(shù)（24課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
相機(jī)內(nèi)參標(biāo)定 |
理解相機(jī)成像模型，使用Python和OpenCV實現(xiàn)經(jīng)典的張正友標(biāo)定法相機(jī)標(biāo)定。 |
2 |
|
3 |
機(jī)器人移動控制 |
了解Python如何通過串口控制移動機(jī)器人底盤，如何控制智元素做出對應(yīng)預(yù)設(shè)動作，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
4 |
射擊模塊控制 |
在嵌入式AI處理器中編寫程序控制舵機(jī)云臺，控制裝填子彈，并作出整體動作。 |
2 |
|
5 |
二維碼識別 |
了解如何使用Python和OpenCV的庫檢測定位二維碼位置并識別二維碼信息。 |
2 |
|
6 |
AprilTag檢測與跟蹤 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并實現(xiàn)智元素的AprilTag檢測與跟蹤。 |
2 |
|
7 |
顏色識別與跟隨 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運(yùn)算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標(biāo)檢測與分類，結(jié)合顏色識別實現(xiàn)顏色跟隨。 |
2 |
|
8 |
形狀識別 |
了解霍夫變換的原理，基于霍夫變換實現(xiàn)形狀識別，結(jié)合形狀識別實現(xiàn)特定形狀的跟隨。 |
2 |
|
9 |
視覺巡線 |
通過顏色重心法判斷線條中心，基于視覺進(jìn)行視覺巡線。 |
2 |
|
10 |
SVM行人檢測 |
了解SVM支持狀態(tài)機(jī)的原理，基于支持狀態(tài)機(jī)識別行人并做出避讓。 |
2 |
|
11 |
表盤讀數(shù) |
通過機(jī)器視覺算法提取儀表盤的指針終點與圓心，通過刻度分析當(dāng)前儀表盤數(shù)值。 |
2 |
|
12 |
缺陷檢測 |
基于顏色直方圖的方法識別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術(shù)（20課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
視覺與AI框架簡介 |
了解機(jī)器視覺的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的原理和通用框架。 |
2 |
|
2 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda 管理各個功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
3 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
4 |
機(jī)器人運(yùn)動控制 |
了解Python如何通過串口控制移動機(jī)器人底盤，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
5 |
射擊模塊控制 |
在嵌入式AI處理器中編寫程序控制舵機(jī)云臺，控制裝填子彈，并作出整體動作。 |
2 |
|
6 |
人臉識別 |
使用機(jī)器學(xué)習(xí)的Haar特征實現(xiàn)人臉檢測識別，使用深度學(xué)習(xí)模型實現(xiàn)基于AI的人臉檢測與識別，體驗深度學(xué)習(xí)邊緣計算的優(yōu)勢，開發(fā)基于人臉識別的考勤系統(tǒng)。 |
2 |
|
7 |
目標(biāo)跟蹤 |
使用機(jī)器學(xué)習(xí)KCF目標(biāo)跟蹤方法實現(xiàn)目標(biāo)跟蹤，使用深度學(xué)習(xí)實現(xiàn)目標(biāo)跟蹤，體驗深度學(xué)習(xí)邊緣計算的優(yōu)勢，開發(fā)基于目標(biāo)跟蹤的跟隨機(jī)器人系統(tǒng)。 |
2 |
|
8 |
深度學(xué)習(xí)目標(biāo)檢測 |
基于Yolo-V5卷積神經(jīng)網(wǎng)絡(luò)模型，部署在AI處理器上，實現(xiàn)目標(biāo)檢測與分類，不同的物體智元素設(shè)備可做出對應(yīng)的響應(yīng)。 |
2 |
|
9 |
表情識別的人機(jī)交互 |
基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)表情識別的人機(jī)交互系統(tǒng)，根據(jù)不同的表情，智元素可做出不同的對應(yīng)動作。 |
2 |
|
10 |
手勢識別的人機(jī)交互 |
使用MediaPipe實現(xiàn)手勢識別，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)手勢識別的人機(jī)交互系統(tǒng)。體會不同類型深度學(xué)習(xí)算法的不同應(yīng)用。 |
2 |
|
機(jī)器視覺綜合實踐（20課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
機(jī)器人動作控制 |
了解Python如何通過串口控制移動機(jī)器人底盤，如何控制智元素做出對應(yīng)預(yù)設(shè)動作，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
3 |
射擊模塊控制 |
在嵌入式AI處理器中編寫程序控制舵機(jī)云臺，控制裝填子彈，并作出整體動作。 |
2 |
|
4 |
灰度陣列調(diào)試 |
安裝并配置好灰度陣列，實現(xiàn)可基于灰度陣列的重復(fù)定位。 |
2 |
|
5 |
AprilTag檢測 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息。 |
2 |
|
6 |
AprilTag調(diào)整射擊 |
根據(jù)識別到的AprilTag位姿信息確定靶標(biāo)與機(jī)器人相對位置，并以此控制機(jī)器人移動射擊。 |
2 |
|
7 |
視覺巡線 |
雙軌巡線法尋找兩條軌道線，實現(xiàn)智元素基礎(chǔ)版在軌道線上移動。 |
2 |
|
8 |
雙軌巡線與十字定位 |
雙軌巡線的過程中通過視覺識別十字標(biāo)記減速，然后通過灰度傳感器在十字標(biāo)記上定位，實現(xiàn)在每個射擊點暫停。 |
2 |
|
9 |
單任務(wù)串聯(lián) |
串聯(lián)上述任務(wù)，實現(xiàn)雙軌巡線到指定位置，通過AprilTag確定待射擊的靶標(biāo)并完成射擊。 |
2 |
|
10 |
多任務(wù)串聯(lián) |
在完成了單個任務(wù)射擊后，通過多任務(wù)連續(xù)進(jìn)行射擊，并返回出發(fā)區(qū)域。 |
2 |
|
人工智能綜合實踐（20課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機(jī)器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開發(fā)環(huán)境，為后續(xù)實驗打下基礎(chǔ)。 |
2 |
|
3 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda 管理各個功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
4 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實驗設(shè)備，打開并配置相機(jī)，進(jìn)行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標(biāo)注 |
在WSL2中安裝Label-Studio，進(jìn)行數(shù)據(jù)標(biāo)注，生成Yolo格式的標(biāo)注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強(qiáng)與數(shù)據(jù)集劃分 |
了解為什么要進(jìn)行數(shù)據(jù)增強(qiáng)，在Jupyter中進(jìn)行數(shù)據(jù)增強(qiáng)，將增強(qiáng)的數(shù)據(jù)集劃分為訓(xùn)練集和測試集。 |
2 |
|
8 |
模型訓(xùn)練 |
基于Yolo-V5模型，在Pytorch下訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。 |
2 |
|
9 |
模型轉(zhuǎn)化 |
將Pytorch訓(xùn)練出的pt模型轉(zhuǎn)化為onnx中間模型，再轉(zhuǎn)化為可硬件推理的rknn模型，邊緣計算芯片可部署推理。 |
2 |
|
10 |
基于深度學(xué)習(xí)識別打擊坦克 |
將模型部署在智元素基礎(chǔ)版上，實現(xiàn)通過深度學(xué)習(xí)區(qū)分出民用和軍用車輛，并完成射擊。 |
2 |
|
具身智能綜合實踐（16課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
基于python的硬件驅(qū)動控制 |
了解串口通信，實現(xiàn)基于Python驅(qū)動機(jī)器人動，底盤的移動，Python控制機(jī)器人射擊模塊運(yùn)動等。 |
2 |
|
2 |
圖像處理基礎(chǔ) |
了解視覺傳感器，了解OpenCV視覺庫，圖像的保存與加載，在圖像上繪制圓形，方形，線條、文字等信息，攝像頭圖像獲取與保存。 |
2 |
|
3 |
基于顏色重心法的巡線功能 |
了解HSV顏色空間，圖像二值化，形態(tài)學(xué)運(yùn)算，聯(lián)通閾提取等圖像處理方法，基于Python+OpenCV實現(xiàn)對顏色的目標(biāo)檢測和分類，了解邊緣檢測算法與霍夫變換的原理，基于霍夫變換實現(xiàn)形狀的識別。實現(xiàn)基于顏色形狀識別的運(yùn)動控制。實現(xiàn)基于顏色提取的視覺巡線功能。 |
2 |
|
4 |
人臉識別 |
實現(xiàn)基于深度學(xué)習(xí)模型的人臉識別，人臉特征提取，人臉向量匹配，識別并定位人臉。 |
2 |
|
5 |
人臉特征分析 |
實現(xiàn)基于DeepFace具身智能庫，識別人臉的表情，年齡，性別，種族，并根據(jù)不同的特征做出不同的對應(yīng)決策動作。 |
2 |
|
6 |
具身環(huán)境交互 |
通過視覺模型了解并分析出視野中的環(huán)境場景，依據(jù)強(qiáng)化學(xué)習(xí)做出對應(yīng)的動作展示。 |
2 |
|
7 |
強(qiáng)化學(xué)習(xí)的理解 |
介紹強(qiáng)化學(xué)習(xí)的基本概念、算法（如 Q - learning、Deep Q - Network 等）和應(yīng)用場景。使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人，并觀察其學(xué)習(xí)效果。 |
2 |
|
8 |
綜合任務(wù)實現(xiàn) |
串聯(lián)前述單個技能模塊，實現(xiàn)一個綜合案例：射擊機(jī)器人通過巡線在場地中穿梭，在穿梭過程中感知周圍的環(huán)境，根據(jù)環(huán)境決策實現(xiàn)反恐任務(wù)，打擊恐怖分子與車輛。 |
2 |
|
具身智能綜合實踐（16課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課次 |
|---|---|---|---|
|
1 |
基于python的硬件驅(qū)動控制 |
了解串口通信，實現(xiàn)基于Python驅(qū)動機(jī)器人動，底盤的移動，Python控制機(jī)器人射擊模塊運(yùn)動等。 |
2 |
|
2 |
圖像處理基礎(chǔ) |
了解視覺傳感器，了解OpenCV視覺庫，圖像的保存與加載，在圖像上繪制圓形，方形，線條、文字等信息，攝像頭圖像獲取與保存。 |
2 |
|
3 |
基于顏色重心法的巡線功能 |
了解HSV顏色空間，圖像二值化，形態(tài)學(xué)運(yùn)算，聯(lián)通閾提取等圖像處理方法，基于Python+OpenCV實現(xiàn)對顏色的目標(biāo)檢測和分類，了解邊緣檢測算法與霍夫變換的原理，基于霍夫變換實現(xiàn)形狀的識別。實現(xiàn)基于顏色形狀識別的運(yùn)動控制。實現(xiàn)基于顏色提取的視覺巡線功能。 |
2 |
|
4 |
人臉識別 |
實現(xiàn)基于深度學(xué)習(xí)模型的人臉識別，人臉特征提取，人臉向量匹配，識別并定位人臉。 |
2 |
|
5 |
人臉特征分析 |
實現(xiàn)基于DeepFace具身智能庫，識別人臉的表情，年齡，性別，種族，并根據(jù)不同的特征做出不同的對應(yīng)決策動作。 |
2 |
|
6 |
具身環(huán)境交互 |
通過視覺模型了解并分析出視野中的環(huán)境場景，依據(jù)強(qiáng)化學(xué)習(xí)做出對應(yīng)的動作展示。 |
2 |
|
7 |
強(qiáng)化學(xué)習(xí)的理解 |
介紹強(qiáng)化學(xué)習(xí)的基本概念、算法（如 Q - learning、Deep Q - Network 等）和應(yīng)用場景。使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人，并觀察其學(xué)習(xí)效果。 |
2 |
|
8 |
綜合任務(wù)實現(xiàn) |
串聯(lián)前述單個技能模塊，實現(xiàn)一個綜合案例：射擊機(jī)器人通過巡線在場地中穿梭，在穿梭過程中感知周圍的環(huán)境，根據(jù)環(huán)境決策實現(xiàn)反恐任務(wù)，打擊恐怖分子與車輛。 |
2 |