產品與課程
“智行-W4AT”
配套的實驗課程：《嵌入式單片機》、《電機與控制》、《嵌入式Linux操作系統(tǒng)》、《機器人編程（C++）》、《機器人編程（Python）》、《數字圖像處理基礎》、《機器人操作系統(tǒng)》、《機器人感知傳感》、《機器視覺與AI》、《機器人學》、《機器人定位導航》、《機器人建模與仿真》、《語音大模型綜合實踐》、《具身智能綜合實踐》、《智能機器人拆裝綜合實踐》、《服務機器人綜合實踐（家用場景）》、《服務機器人綜合實踐（商業(yè)場景）》、《服務機器人綜合實踐（工業(yè)場景）》、《智能機器人建模仿真綜合實踐》。
對應的競賽：兩個白名單大賽的3個項目，及一個機器人競賽指數榜單大賽的2個項目。
“智行-W4AT”是一款面向機器人工程、人工智能、自動化類、機械類、電子信息類等新工科專業(yè)開展實驗教學的模塊化機器人套件，可搭建出一臺包含各類傳感器的四輪全向底盤+5軸串聯(lián)機械臂的復合機器人。采用嵌入式AI處理器和嵌入式單片機控制器的雙腦架構，AI處理器的核心是瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強大且均衡。專為教學設計的嵌入式控制器，接口豐富，配備各種按鍵、指示燈及顯示屏，可對spi、iic、uart、adc等不同通訊接口的各類傳感器及舵機、電機進行單獨的調試和數據展示。配套仿真軟件，提供外觀一致，激光雷達、深度視覺相機、IMU、超聲傳感器、輪式里程計等傳感器位置一致的仿真模型，配置多個仿真場景。AI處理器搭載機器人操作系統(tǒng)與各種傳感器驅動軟件，內置主流AI推理框架與預訓練模型，既可以通過API直接獲取AI推理結果，又可以通過代碼加載預訓練模型，還可以根據實驗教程自己訓練優(yōu)化各種AI模型。
配套的實驗課程大綱如下：
|
機器人嵌入式Linux操作系統(tǒng)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
Linux系統(tǒng)簡介 |
為什么學習Linux，如何學習Linux，Linux特點，機器人與Linux的關系。 |
2 |
|
2 |
體驗機器人上Linux |
使用圖像采集卡或HDMI連接屏幕，連接外設，WIFI連接，介紹桌面功能。 |
2 |
|
3 |
體驗Linux遠程連接與終端 |
遠程軟件準備，配置電腦網絡，終端初始體驗，軟件安裝與卸載。 |
2 |
|
4 |
了解Linux命令行 |
打開終端，命令提示符，命令行體驗，命令格式與幫助，常用命令。 |
2 |
|
5 |
用戶與文件 |
了解用戶與用戶組，文件系統(tǒng)，chmod命令，操作Linux文件目錄。 |
2 |
|
6 |
Linux系統(tǒng)下的機器人程序 |
通過Git管理程序，程序編譯。 |
2 |
|
7 |
Vscode便捷調試開發(fā) |
Vscode下載與配置使用，查詢機器人IP地址，vscode遠程連接機器人。 |
2 |
|
8 |
Makefile簡介 |
了解編譯工具，介紹MakeFile，使用MakeFile編譯多個文件。 |
2 |
|
9 |
網絡通信 |
了解網絡通信在機器人軟件中的應用，安裝網絡調試助手，了解Linux系統(tǒng)中的UDP通信，TCP通信，通過socket實現(xiàn)網絡通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在機器人系統(tǒng)中的應用，安裝串口調試助手，了解Linux系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
嵌入式單片機（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
嵌入式ARM系統(tǒng) |
講解MCU、ARM處理器的概念，熟悉實驗箱嵌入式系統(tǒng)架構，講解嵌入式系統(tǒng)在機器人中的核心應用框架，使用Keil模板建立嵌入式開發(fā)工程。 |
2 |
|
2 |
點亮LED實驗 |
基于嵌入式實驗箱的單片機芯片，學習如何操作GPIO，使用寄存器、庫函數點亮LED。 |
2 |
|
3 |
ADC模數轉換實驗 |
了解模數轉換數據采集的原理，基于傳感器接口板，學習如何配置引腳的GPIO為模擬輸入，獲取模擬量傳感器的數據信息。 |
2 |
|
4 |
定時器中斷實驗 |
學習嵌入式單片機定時器原理，學習如何實現(xiàn)定時器中斷?；诙〞r器終端按照不同頻率實現(xiàn)LED燈循環(huán)閃爍。 |
2 |
|
5 |
按鍵響應 |
學習嵌入式單片機如何監(jiān)控按鍵輸入，基于初級狀態(tài)機實現(xiàn)消除抖動，實現(xiàn)單片機監(jiān)控按鍵長按、雙擊等高級按鍵功能。 |
2 |
|
6 |
狀態(tài)機綜合實驗 |
基于LED、按鍵、定時器寫一個綜合的狀態(tài)機實驗、讓4個LED按順時針或逆時針的方向“跑”，實現(xiàn)按鍵控制跑馬燈的速度和方向，強化對于狀態(tài)機的理解。 |
2 |
|
7 |
串口通信實驗 |
了解串口通信的原理，串口的硬件通信連接與接口定義，學習如何基于嵌入式單片機進行串口通信，串口收發(fā)數據，基于串口調試并控制總線式數字舵機，控制舵機轉動。通過串口獲取總線式傳感器數據。 |
2 |
|
8 |
SPI通信實驗 |
學習SPI原理，SPI硬件通信連接與接口定義，實現(xiàn)嵌入式單片機通過SPI通信的方式控制TFT屏幕顯示不同的內容。 |
2 |
|
9 |
IIC通信實驗 |
學習IIC原理，IIC硬件通信連接與接口定義，實現(xiàn)嵌入式單片機通過IIC通信的方式獲取溫度傳感器信息。 |
2 |
|
10 |
通信綜合實驗 |
綜合通信實驗，在SPI通信的液晶屏幕上顯示串口總線式傳感器數據與IIC讀取的溫度傳感器信息。 |
2 |
|
電機與控制（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
嵌入式ARM系統(tǒng) |
講解MCU、ARM處理器的概念，熟悉實驗平臺的嵌入式系統(tǒng)架構，講解嵌入式系統(tǒng)在機器人中的核心應用框架，使用Keil建立嵌入式開發(fā)工程模板。 |
2 |
|
2 |
定時器中斷實驗 |
學習嵌入式單片機定時器原理，學習如何實現(xiàn)定時器中斷。 |
2 |
|
3 |
串口通信實驗 |
了解串口通信的原理，串口硬件通信連接與接口定義，學習如何基于嵌入式單片機進行串口通信，串口收發(fā)數據。通過串口獲取總線式傳感器數據。 |
2 |
|
4 |
舵機控制實驗 |
了解總線式數字舵機的原理，通過串口控制總線式數字舵機轉動。 |
2 |
|
5 |
有刷直流電機 |
學習有刷直流電機運行原理與應用場景，基于嵌入式單片機芯片驅動電機。 |
2 |
|
6 |
有刷直流電機測速法 |
通過讀取電機編碼器數據，學習M測速法、T測速法、M/T測速法的使用，對比測速波形，分析不同測速法的應用場景。 |
2 |
|
7 |
電機速度控制實驗 |
基于嵌入式單片機芯片驅動電機讀取編碼器數據，測量電機轉速并根據反饋進行速度控制。 |
2 |
|
8 |
差分運 |
了解差分運動模型，基于差分運動模型實現(xiàn)移動底盤的運動控制。 |
2 |
|
9 |
全向運 |
了解全向運動模型，基于全向運動模型實現(xiàn)移動底盤的運動控制。 |
2 |
|
10 |
避障小車實現(xiàn) |
在四輪機器人身側部署搭建超聲傳感器，實現(xiàn)基于超聲傳感器的障礙感知與避障。 |
2 |
|
機器人編程（C++）（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
機器人中的C++ |
了解機器人中的C++應用，了解為什么C++是機器人很重要的開發(fā)語言。 |
2 |
|
2 |
C++編譯原理 |
編譯器，編譯過程，CMake語法，使用IDE配置C++編譯工程。 |
2 |
|
3 |
C++的數據結構 |
在機器人的處理器中，開發(fā)C++應用程序，學習C++中的變量，數組與數據類型。 |
2 |
|
4 |
C++的運算符 |
在機器人的處理器中，開發(fā)C++應用程序，學習C++中的加減乘除移位等各類數字邏輯運算符。 |
2 |
|
5 |
C++的控制結構 |
在機器人的處理器中，開發(fā)C++應用程序，學習if-else，while等各類控制結構。 |
2 |
|
6 |
C++的函數與指針 |
在機器人的處理器中，開發(fā)C++應用程序，學習并了解函數與指針。 |
2 |
|
7 |
C++的面向對象編程 |
在機器人處理器中，開發(fā)C++應用程序，學習并了解面向對象編程。 |
2 |
|
8 |
常用機器人C++庫 |
C++中機器人開發(fā)常用的標準庫，關聯(lián)容器等知識。 |
2 |
|
9 |
C++進程管理 |
了解進程的概念，基于C++開發(fā)機器人程序進程。 |
2 |
|
10 |
C++線程管理 |
了解線程的概念，基于C++開發(fā)機器人程序多線程。 |
2 |
|
機器人編程（Python）（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解機器人中的Python應用，了解為什么Python是機器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數據結構 |
在機器人的嵌入式AI處理器中，開發(fā)Python應用程序，學習Python中的變量，數組與數據類型。 |
2 |
|
3 |
Python運算符 |
在機器人的嵌入式AI處理器中，開發(fā)Python應用程序，學習Python中的加減乘除移位等各類數字邏輯運算符。 |
2 |
|
4 |
Python的控制結構 |
在機器人的嵌入式AI處理器中，開發(fā)Python應用程序，學習if-else，while等各類控制結構。 |
2 |
|
5 |
Python的函數與指針 |
在機器人的嵌入式AI處理器中，開發(fā)Python應用程序，學習并了解函數與指針。 |
2 |
|
6 |
Python的面向對象編程 |
在機器人的嵌入式AI處理器中，開發(fā)Python應用程序，學習并了解面向對象編程。 |
2 |
|
7 |
常用機器人Python庫 |
Python中機器人開發(fā)常用的標準庫，如Numpy，MatPlotlib等知識，在機器人的嵌入式AI處理器中進行庫的使用。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調試助手，了解Python如何調用系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
9 |
Python網絡編程 |
了解Python的網絡編程類socket，了解數據交換格式Json，安裝網絡調試助手，了解Python如何與Windows主機進行網絡通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構PyQt，基于PyQt編寫UI程序，查詢機器人處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在機器人系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在機器人系統(tǒng)中安裝Jupyter并進行交互式Python開發(fā)與調試。 |
2 |
|
數字圖像處理基礎（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解機器視覺與數字圖像處理的基本內容，了解最常用的數字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設備，打開并配置相機，進行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，生成圖像，并對圖像進行操作。 |
2 |
|
4 |
圖像濾波 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行圖像的平移旋轉縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在機器人的處理器中，開發(fā)OpenCV應用程序，進行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行顏色空間轉換。 |
2 |
|
9 |
形態(tài)學運算 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行對圖像的腐蝕膨脹與開閉運算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在機器人的嵌入式AI處理器中基于圖像像素顏色閾值進行分割。 |
2 |
|
機器人操作系統(tǒng)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
機器人操作系統(tǒng)入門 |
了解什么是ROS機器人操作系統(tǒng)，ROS的系統(tǒng)組成，ROS的運行原理，配置在個人PC上安裝虛擬機，在虛擬機安裝ROS操作系統(tǒng)，啟動小烏龜，建立一個工作空間，創(chuàng)建一個功能包，實現(xiàn)一個ROS節(jié)點。 |
2 |
|
2 |
主題與消息 |
了解ROS的主題與消息機制，基于C++和Python實現(xiàn)主題與消息，實現(xiàn)自定義主題與消息。 |
2 |
|
3 |
服務Service |
了解ROS的服務機制，基于C++和Python實現(xiàn)服務的服務端與客戶端，實現(xiàn)自定義服務。 |
2 |
|
4 |
參數與動態(tài)參數 |
了解ROS的參數機制，基于C++和Python實現(xiàn)參數的增、刪、改、查。了解ROS中的高級功能-動態(tài)參數原理和運行機制，實現(xiàn)使用動態(tài)參數調節(jié)小烏龜運動速度。 |
2 |
|
5 |
動作Action |
了解ROS的動作機制，基于C++和Python實現(xiàn)動作的服務端與客戶端，實現(xiàn)自定義Action。 |
2 |
|
6 |
ROS中的調試與仿真工具 |
了解ROS工具箱中的RViz工具與rqt工具，了解ROS的日志系統(tǒng)，掌握調試ROS程序的方法。在虛擬機中安裝配置Gazebo仿真系統(tǒng)，在仿真中運行UPROS機器人模型。在仿真中運行機器人定位導航，體會ROS的功能。 |
2 |
|
7 |
機器人坐標與TF變換 |
理解機器人坐標系原理，熟悉TF變換工具，學會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
8 |
機器人運動控制與輪式里程計 |
了解機器人雙腦架構，了解機器人運動模型，在機器人中編寫節(jié)點，控制機器人底盤運動，學習輪式里程計數據協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
9 |
ROS與機器人定位導航 |
體驗機器人的定位導航功能，了解SLAM與路徑規(guī)劃技術，編寫一個節(jié)點，發(fā)布目標點控制機器人運動。 |
2 |
|
10 |
ROS與機器視覺 |
體驗ROS系統(tǒng)中的機器視覺功能，編寫程序訂閱攝像頭的信息，并控制機器人進行決策。 |
2 |
|
機器人感知傳感（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
碰撞傳感器 |
了解接觸式碰撞傳感器的工作原理，讀取碰撞傳感器的數據，學習并開發(fā)碰撞傳感器ROS通訊接口，根據碰撞傳感器實現(xiàn)障礙感知。 |
2 |
|
2 |
超聲/TOF傳感器 |
了解超聲/TOF傳感器的工作原理，讀取超聲/TOF傳感器數據，學習并開發(fā)超聲/TOF傳感器通訊接口，根據傳感器消息實現(xiàn)避障。 |
2 |
|
3 |
慣性測量單元傳感器 |
學習慣性測量單元（IMU）的原理，通過IMU讀取機器人當前的姿態(tài)，角速度，加速度，根據IMU數據控制機器人姿態(tài)。 |
2 |
|
4 |
激光雷達傳感器 |
學習激光雷達的工作原理，對激光雷達數據進行濾波處理， 根據激光雷達數據進行避障。 |
2 |
|
5 |
視覺傳感器 |
學習相機的工作原理，獲取視覺信息并根據視覺信息控制機器人運動。 |
2 |
|
6 |
深度視覺傳感器 |
學習深度相機的工作原理，處理深度圖像與深度點云，對環(huán)境進行三維感知。 |
2 |
|
7 |
機器人輪式里程計 |
了解編碼器的概念，學習輪式里程計數據協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
8 |
多傳感器融合-EKF里程計算 |
融合輪式里程計與IMU的信息，進行里程計的融合計算。 |
2 |
|
9 |
多傳感器融合-激光SLAM |
融合輪式里程計與IMU信息，了解三者信息如何融合，利用激光SLAM技術感知機器人周圍環(huán)境。 |
2 |
|
10 |
多傳感器融合-協(xié)同避障 |
融合激光雷達與深度相機信息，激光雷達進行大范圍障礙感知，深度相機進行眼前補盲，學習不同類型傳感器在障礙感知的作用。 |
2 |
|
機器視覺與AI（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
視覺傳感器 |
學習相機的工作原理，獲取視覺信息并根據視覺信息控制機器人運動。 |
2 |
|
2 |
AprilTag識別 |
學習如何基于ROS圖像提取AprilTag，輔助機器人進行視覺定位。 |
2 |
|
3 |
顏色識別 |
學習如何基于ROS圖像提取顏色，進行顏色識別，并根據顏色進行交通燈識別與運動。 |
2 |
|
4 |
形狀識別 |
學習如何基于ROS圖像提取顏色，并根據顏色獲取出的形狀特征使用霍夫變換的方法提取特定的形狀，對形狀進行跟隨。 |
2 |
|
5 |
視覺巡線功能 |
學習提取視野中的線條，并實現(xiàn)基于視覺的巡線功能。 |
2 |
|
6 |
人臉識別 |
學習如何基于ROS識別人臉，提取人臉特征，采集人臉信息，訓練模型識別人臉。 |
2 |
|
7 |
表情識別 |
學習如何定位出人臉的多個特征點，并依據人臉特征，采用機器學習的方法識別表情，并作出對應動作。 |
2 |
|
8 |
手勢識別與交互 |
學習MediaPipe框架，如何基于該框架識別手勢控制機器人。 |
2 |
|
9 |
深度學習目標檢測 |
了解深度學習與卷積神經網絡，學習如何基于機器人的嵌入式AI芯片進行目標檢測。 |
2 |
|
10 |
視覺傳感器位姿估計 |
了解視覺SLAM的方法，學習如何基于視覺傳感器估計機器人的移動。 |
2 |
|
機器人學（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
機械臂關節(jié)控制 |
了解智能機械臂的工作原理，基于ROS接口驅動機械臂關節(jié)運動，基于ROS接口驅動機械臂夾爪開合。 |
2 |
|
2 |
機械臂關節(jié)校準 |
了解機械臂產生零偏誤差的原理，標記機械臂關節(jié)零篇誤差，實現(xiàn)機械臂關節(jié)校準功能。 |
2 |
|
3 |
機械臂正逆運動學解析 |
了解五自由度機械臂正逆運動學分析解算，測量機械臂各個關節(jié)，控制各個關節(jié)的角度，計算不同角度下機械臂末端的期望位置，并對實際位置進行測量計算誤差，對機械臂進行逆運算計算。 |
2 |
|
4 |
機械臂YZ平面逆運算控制 |
根據末端位置進行YZ平面逆運算計算，并控制機械臂到達指定末端，與理論值對比思考誤差產生的原因。 |
2 |
|
5 |
根據TOF傳感器控制機械臂抓取 |
根據機械臂前方TOF傳感器信息獲取待抓取物塊距離，根據逆運動學計算出各個關節(jié)角度，完成抓取與放置，調整參數增加成功率。 |
2 |
|
6 |
機械臂XYZ立體逆運算控制 |
根據末端位置進行XYZ立體環(huán)境的逆運算計算，并控制機械臂到達指定末端，與理論值對比思考誤差產生的原因。 |
2 |
|
7 |
視覺感知抓取 |
根據機械臂前方的深度視覺傳感器依據物塊上的Tag信息獲取待抓取物塊的絕對位置，根據逆運動學計算出各個關節(jié)角度，完成抓取與放置。 |
2 |
|
8 |
連續(xù)感知分揀 |
根據機械臂前方的深度視覺傳感器依據物塊上的Tag信息獲取待抓取物塊的絕對位置，根據逆運動學計算出各個關節(jié)角度，完成連續(xù)分揀。 |
2 |
|
9 |
Moveit!配置 |
初步了解強大的ROS的機械臂功能包Moveit!，于Moveit!配置機械臂運動規(guī)劃。 |
2 |
|
10 |
Moveit!編程 |
編寫代碼，實現(xiàn)指定關節(jié)、指定末端位置、指定動作組的運動規(guī)劃與執(zhí)行。 |
2 |
|
機器人定位導航（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
坐標系與坐標變換 |
理解機器人坐標系原理，熟悉TF變換工具，學會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
2 |
機器人輪式里程計 |
了解編碼器的概念，學習輪式里程計數據協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
3 |
激光雷達 |
學習激光雷達的工作原理，對激光雷達數據進行濾波處理， 根據激光雷達數據進行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解強大的ROS定位導航功能包MoveBase，基于MoveBase配置機器人定位導航與路徑規(guī)劃系統(tǒng)。 |
2 |
|
5 |
MoveBase編程開發(fā) |
了解MoveBase的通信接口，控制機器人移動到指定位置，實現(xiàn)通過MoveBase接口編程開發(fā)。 |
2 |
|
6 |
柵格地圖 |
了解機器人SLAM系統(tǒng)的原理，學習概率柵格地圖，了解如何發(fā)布和構建概率柵格地圖 |
2 |
|
7 |
激光雷達地圖拼接 |
驅動激光雷達，基于激光雷達傳感器與里程計拼接出概 率柵格地圖。 |
2 |
|
8 |
地圖構建與定位 |
使用Gmapping建立和保存地圖； |
2 |
|
9 |
路徑規(guī)劃系統(tǒng)實驗 |
了解機器人代價地圖與路徑規(guī)劃系統(tǒng)原理，配置代價地圖， 全局規(guī)劃和局部規(guī)劃器，實現(xiàn)簡單的A*全局路徑規(guī)劃算法和DWA局部路徑規(guī)劃算法。編寫一個簡單的規(guī)劃與控制器CoreMove，更深入的體會MoveBase的運行邏輯。 |
2 |
|
10 |
MoveBase插件機制學習與開發(fā) |
了解MoveBase的插件機制，學習基于插件實現(xiàn)禁區(qū)虛擬墻、TEB 規(guī)劃器、脫困恢復行為的功能。 |
2 |
|
機器人建模與仿真（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
Gazebo環(huán)境搭建與基礎操作 |
了解Gazebo的基本配置，Gazebo界面介紹與基本操作，建立Gazebo模型。 |
2 |
|
2 |
機器人建模 |
了解Urdf與Xacro語法，了解機器人的連桿與關節(jié)，搭建機器人模型，配置機器人模型參數。 |
2 |
|
3 |
激光雷達模型添加與參數配置 |
學習在機器人模型上，添加激光雷達，并配置傳感器的參數和位置。 |
2 |
|
4 |
IMU模型添加與參數配置 |
學習在機器人模型上，添加IMU，并配置傳感器的參數和位置。 |
2 |
|
5 |
視覺傳感器模型添加與參數配置 |
學習在機器人模型上，添加視覺傳感器，并配置傳感器的參數和位置。 |
2 |
|
6 |
超聲傳感器 |
學習在機器人模型上，添加超聲傳感器，并配置傳感器的參數和位置。 |
2 |
|
7 |
機器人運動控制 |
ROS通過Gazebo插件控制仿真場景中的機器人運動，編寫機械臂驅動，在Gazebo中控制機械臂。 |
2 |
|
8 |
自定義機器人運動插件編寫 |
編寫全向移動插件，在Gazebo中實現(xiàn)全向移動機器人。 |
2 |
|
9 |
自定義模型開發(fā) |
利用Gazebo的地形編輯工具和模型庫，創(chuàng)建一個復雜的仿真環(huán)境，在場景中部署指定紋理。 |
2 |
|
10 |
仿真中的定位導航機器人 |
在自定義場景中加載自行搭建配置的機器人，部署在仿真場景中移動并完成任務。 |
2 |
|
機器人自然對話與大模型交互（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當前機器人接入大模型的應用場景，剖析機器人接入大模型的技術路線和技能方法，了解如何通過ROS系統(tǒng)為機器人接入大模型，學會使用機器人開發(fā)。 |
2 |
|
2 |
機器人硬件驅動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅動機器人運動，可控制機器人移動，控制機械臂運動。 |
2 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當前的各傳感器通信接口，讀取各傳感器信息。 |
2 |
|
4 |
機器人定位導航 |
調用機器人搭載的MoveBase框架，可編寫節(jié)點發(fā)布Action實現(xiàn)機器人自主定位導航。 |
2 |
|
5 |
麥克風數據處理 |
調試并獲取機器人上麥克風信息，使得麥克風接入ROS系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風的信息并轉換為文字。 |
2 |
|
7 |
文字轉語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
大模型問答 |
注冊大模型AI工具，編寫程序通過大模型API，調用Json實現(xiàn)智能問答。 |
2 |
|
9 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
10 |
大模型機器人集成 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制并語音交互的大模型接入機器人。 |
2 |
|
服務機器人綜合實踐-家用場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當前家用機器人場景，以掃地機器人為案例，剖析家用機器人的的技術路線和技能方法，了解ROS在家用機器人領域的應用，學會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標定點進行連續(xù)導航。 |
4 |
|
6 |
視覺系統(tǒng)調試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據AprilTag獲取的信息控制機器人導航到不同位置。 |
4 |
|
8 |
全覆蓋路徑生成 |
了解掃地機器人最常用的全覆蓋路徑規(guī)劃技術，實現(xiàn)生成若干點位覆蓋目標清潔區(qū)域。 |
4 |
|
9 |
業(yè)務邏輯串聯(lián) |
串聯(lián)前面的各項技術，實現(xiàn)識別一個目標，自主導航到指定區(qū)域，并執(zhí)行全覆蓋路徑規(guī)劃。 |
4 |
|
10 |
多片路徑清掃 |
在單流程基礎上，實現(xiàn)多片清潔區(qū)域的串聯(lián)，優(yōu)化路徑長度，在完成清掃任務同時，效率最高。 |
4 |
|
服務機器人綜合實踐-商用場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當前商用機器人場景，以配送機器人為案例，剖析視覺移動抓取機器人的的技術路線和技能方法，了解ROS在商用機器人領域的應用，學會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標定點進行連續(xù)導航。 |
4 |
|
6 |
視覺系統(tǒng)調試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據AprilTag獲取的信息控制機器人導航到不同位置。 |
4 |
|
8 |
視覺抓取調試 |
機器人通過AprilTag確定待抓取物體與機器人的位置關系，控制機械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務邏輯串聯(lián) |
串聯(lián)前面的各項技術，實現(xiàn)導航到一個目標點，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務串聯(lián) |
在單流程基礎上，實現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務同時，效率最高。 |
4 |
|
服務機器人綜合實踐-工業(yè)場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當前工業(yè)用移動機器人場景，以復合AMR機器人為案例，剖析視覺移動抓取機器人的的技術路線和技能方法，了解ROS在工業(yè)機器人領域的應用，學會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標定點進行連續(xù)導航。 |
4 |
|
6 |
視覺系統(tǒng)調試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據AprilTag獲取的信息控制機器人導航到不同位置。 |
4 |
|
8 |
視覺抓取調試 |
機器人通過AprilTag確定待抓取物體與機器人的位置關系，控制機械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務邏輯串聯(lián) |
串聯(lián)前面的各項技術，實現(xiàn)導航到一個目標點，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務串聯(lián) |
在單流程基礎上，實現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務同時，效率最高。 |
4 |
|
智能機器人建模仿真綜合實踐（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析仿真環(huán)節(jié)在機器人軟件與算法開發(fā)、驗證過程中的重大作用，學習ROS與仿真場景的結合，通過一個路徑規(guī)劃算法的實踐案例，了解仿真算法聯(lián)合開發(fā)流程。 |
4 |
|
2 |
機器人仿真啟動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅動仿真場景中的機器人運動，可控制機器人移動，控制機械臂關節(jié)運動，理解ROS的硬件驅動抽象。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取仿真場景中機器人當前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
在仿真場景中使用Gmapping建立和保存地圖，使用AMCL在保存的地圖上連續(xù)定位，使用坐標變換獲取在地圖上的位置。 |
4 |
|
5 |
機器人導航 |
編寫節(jié)點發(fā)布Action，在仿真場景中機器人可在地圖上標定點進行連續(xù)導航。 |
4 |
|
6 |
算法驗證軟件使用 |
了解算法驗證軟件的使用方法，了解算法驗證軟件如何通過算法判斷路徑規(guī)劃軌跡的質量，了解算法驗證軟件如何支撐算法驗證。 |
4 |
|
7 |
仿真接口開發(fā) |
在仿真系統(tǒng)中，根據仿真接口和算法驗證軟件接口開發(fā)程序，使得算法可接入驗證系統(tǒng)。 |
4 |
|
8 |
開發(fā)柵格法路徑規(guī)劃 |
通過柵格法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分。 |
4 |
|
9 |
開發(fā)深度優(yōu)先搜索路徑規(guī)劃 |
通過路徑優(yōu)先搜索法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分。 |
4 |
|
10 |
掃描線法路徑規(guī)劃 |
通過掃描線法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分，思考幾種算法得分不同的原因，并思考優(yōu)化方法在驗證系統(tǒng)中驗證。 |
4 |
|
具身智能綜合實踐（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析具身智能技術使用場景，當前熱點方向，了解如何結合ROS機器人操作系統(tǒng)開發(fā)具身智能應用，具身智能的概念、發(fā)展歷程和應用領域。 |
4 |
|
2 |
ROS基礎入門 |
ROS 的核心概念：節(jié)點、話題、服務、參數服務器，編寫簡單的 ROS 節(jié)點，實現(xiàn)節(jié)點之間的消息通信。 |
4 |
|
3 |
機器人平臺介紹 |
機器人的機械結構和模塊組成，機器人的傳感器和執(zhí)行器的工作原理，了解機器人的電氣連接和通信接口，學習如何基于機器人處理器平臺進行開發(fā)。 |
4 |
|
4 |
機器人感知與建模 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當前的各傳感器通信接口，讀取各傳感器信息，建立和保存地圖，在保存的地圖上連續(xù)定位使用坐標變換獲取在地圖上的位置。 |
4 |
|
5 |
機器人運動控制 |
編寫 ROS 節(jié)點，實現(xiàn)機器人的基本運動控制，如前進、后退、轉彎，計簡單的軌跡規(guī)劃算法，讓機器人按照指定的路徑運動。 |
4 |
|
6 |
機器視覺系統(tǒng) |
采集深度傳感器信息，獲取深度圖像和彩色圖像，采集圖像數據并保存在本地。 |
4 |
|
7 |
具身算法實踐-上 |
在 ROS 環(huán)境下，使用強化學習算法訓練機器人完成特定任務，如導航、抓取等。 |
4 |
|
8 |
具身算法實踐-下 |
在 ROS 環(huán)境下，使用強化學習算法訓練機器人完成特定任務，如導航、抓取等。 |
4 |
|
9 |
項目實踐與小組討論-上 |
根據機器人平臺和 ROS 設計并實現(xiàn)一個具身智能項目，如自主探索、目標識別與抓取等。 |
4 |
|
10 |
項目實踐與小組討論-下 |
根據機器人平臺和 ROS 設計并實現(xiàn)一個具身智能項目，如自主探索、目標識別與抓取等。 |
4 |
|
智能機器人拆裝綜合實踐（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
智能機器人認知 |
分析模塊化機器人的設計理念，了解安全規(guī)范，學習停止操作、電池管理、運動部件防護，了解調試工具。 |
4 |
|
2 |
硬件認知 |
學習底盤、主處理器、主控板、傳感器模塊、電機驅動、編碼器、超聲TOF傳感器、接口。 |
4 |
|
3 |
底盤配置安裝 |
差速、全向驅動原理、齒輪箱傳動比計算、電路連接規(guī)范、電源分配、安裝電機、編碼器、減震結構，在底盤層安裝嵌入式控制器調試底盤運動。 |
4 |
|
4 |
底盤傳感器配置安裝 |
在底盤層組裝碰撞傳感器，并配置ID，接入到嵌入式控制器，測試激光雷達信息，并安裝在指定位置，激光雷達調平，安裝支撐機構，記錄測量記錄激光雷達屏蔽角度。 |
4 |
|
5 |
機械臂配置安裝 |
裝配五自由度機械臂，機械爪，旋轉云臺，配置機械臂關節(jié)舵機ID，測試各關節(jié)運動性能。 |
4 |
|
6 |
核心層傳感器安裝配置 |
在核心層安裝并配置超聲TOF傳感器，設置ID，安裝并配置IMU，安裝并配置深度相機，安裝并測試語音模塊。 |
4 |
|
7 |
AI處理器安裝配置 |
機器人主處理器定義，使用特定軟件給AI處理器燒錄系統(tǒng)鏡像，連接各項接口，點亮處理器，進入系統(tǒng)，可遠程連接系統(tǒng)。 |
4 |
|
8 |
集成完成，測試各模塊 |
將底盤層與核心層組裝在一起，在AI處理器端測試各模塊工作正常。 |
4 |
|
9 |
軟件功能驗證 |
在AI處理器端運行各個軟件，測試定位導航，避障，視覺抓取等功能正常。 |
4 |
|
10 |
拆卸 |
將機器人恢復成模塊化狀態(tài)，并進行收納管理。 |
4 |