產(chǎn)品與課程
“智行-W2A”
配套的實驗課程：《嵌入式Linux操作系統(tǒng)》、《機器人編程（C++）》、《機器人編程（Python）》、《數(shù)字圖像處理基礎(chǔ)》、《機器人操作系統(tǒng)》、《機器人感知傳感》、《機器視覺與AI》、《機器人學(xué)》、《機器人定位導(dǎo)航》、《機器人建模與仿真》、《語音大模型綜合實踐》、《具身智能綜合實踐》、《服務(wù)機器人綜合實踐（家用場景）》、《服務(wù)機器人綜合實踐（商業(yè)場景）》、《服務(wù)機器人綜合實踐（工業(yè)場景）》、《智能機器人建模仿真綜合實踐》。
對應(yīng)的競賽：兩個白名單大賽的3個項目，及一個機器人競賽指數(shù)榜單大賽的2個項目。
“智行-W2A”以兩輪差分底盤+五軸機械臂作為機器人的結(jié)構(gòu)形式。采用嵌入式AI處理器和嵌入式單片機控制器的雙腦架構(gòu)，AI處理器的核心是瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強大且均衡。搭載的5軸串聯(lián)機械臂配合兩輪差分移動底盤及高性能的處理器和傳感器，是典型的服務(wù)場景復(fù)合機器人的桌面版。配套仿真軟件，提供外觀一致，激光雷達、深度視覺相機、IMU、超聲傳感器、輪式里程計等傳感器位置一致的仿真模型，配置多個仿真場景。AI處理器搭載機器人操作系統(tǒng)與各種傳感器驅(qū)動軟件，內(nèi)置主流AI推理框架與預(yù)訓(xùn)練模型，既可以通過API直接獲取AI推理結(jié)果，又可以通過代碼加載預(yù)訓(xùn)練模型，還可以根據(jù)實驗教程自己訓(xùn)練優(yōu)化各種AI模型。
配套的實驗課程大綱如下：
|
機器人嵌入式Linux操作系統(tǒng)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Linux系統(tǒng)簡介 |
為什么學(xué)習(xí)Linux，如何學(xué)習(xí)Linux，Linux特點，機器人與Linux的關(guān)系。 |
2 |
|
2 |
體驗機器人上Linux |
使用圖像采集卡或HDMI連接屏幕，連接外設(shè)，WIFI連接，介紹桌面功能。 |
2 |
|
3 |
體驗Linux遠程連接與終端 |
遠程軟件準(zhǔn)備，配置電腦網(wǎng)絡(luò)，終端初始體驗，軟件安裝與卸載。 |
2 |
|
4 |
了解Linux命令行 |
打開終端，命令提示符，命令行體驗，命令格式與幫助，常用命令。 |
2 |
|
5 |
用戶與文件 |
了解用戶與用戶組，文件系統(tǒng)，chmod命令，操作Linux文件目錄。 |
2 |
|
6 |
Linux系統(tǒng)下的機器人程序 |
通過Git管理程序，程序編譯。 |
2 |
|
7 |
Vscode便捷調(diào)試開發(fā) |
Vscode下載與配置使用，查詢機器人IP地址，vscode遠程連接機器人。 |
2 |
|
8 |
Makefile簡介 |
了解編譯工具，介紹MakeFile，使用MakeFile編譯多個文件。 |
2 |
|
9 |
網(wǎng)絡(luò)通信 |
了解網(wǎng)絡(luò)通信在機器人軟件中的應(yīng)用，安裝網(wǎng)絡(luò)調(diào)試助手，了解Linux系統(tǒng)中的UDP通信，TCP通信，通過socket實現(xiàn)網(wǎng)絡(luò)通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在機器人系統(tǒng)中的應(yīng)用，安裝串口調(diào)試助手，了解Linux系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
機器人編程（C++）（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機器人中的C++ |
了解機器人中的C++應(yīng)用，了解為什么C++是機器人很重要的開發(fā)語言。 |
2 |
|
2 |
C++編譯原理 |
編譯器，編譯過程，CMake語法，使用IDE配置C++編譯工程。 |
2 |
|
3 |
C++的數(shù)據(jù)結(jié)構(gòu) |
在機器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
4 |
C++的運算符 |
在機器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的加減乘除移位等各類數(shù)字邏輯運算符。 |
2 |
|
5 |
C++的控制結(jié)構(gòu) |
在機器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
6 |
C++的函數(shù)與指針 |
在機器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
7 |
C++的面向?qū)ο缶幊?span style="display:none">YWu北京博創(chuàng)尚和科技有限公司 |
在機器人處理器中，開發(fā)C++應(yīng)用程序， |
2 |
|
8 |
常用機器人C++庫 |
C++中機器人開發(fā)常用的標(biāo)準(zhǔn)庫，關(guān)聯(lián)容器等知識。 |
2 |
|
9 |
C++進程管理 |
了解進程的概念，基于C++開發(fā)機器人程序進程。 |
2 |
|
10 |
C++線程管理 |
了解線程的概念，基于C++開發(fā)機器人程序多線程。 |
2 |
|
機器人編程（Python）（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解機器人中的Python應(yīng)用，了解為什么Python是機器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在機器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運算符 |
在機器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在機器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在機器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">YWu北京博創(chuàng)尚和科技有限公司 |
在機器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">YWu北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
常用機器人Python庫 |
Python中機器人開發(fā)常用的標(biāo)準(zhǔn)庫，如Numpy，MatPlotlib等知識，在機器人的嵌入式AI處理器中進行庫的使用。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機進行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢機器人處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在機器人系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在機器人系統(tǒng)中安裝Jupyter并進行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解機器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對圖像進行操作。 |
2 |
|
4 |
圖像濾波 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在機器人的處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運算 |
在機器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行對圖像的腐蝕膨脹與開閉運算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在機器人的嵌入式AI處理器中基于圖像像素顏色閾值進行分割。 |
2 |
|
機器人操作系統(tǒng)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機器人操作系統(tǒng)入門 |
了解什么是ROS機器人操作系統(tǒng)，ROS的系統(tǒng)組成，ROS的運行原理，配置在個人PC上安裝虛擬機，在虛擬機安裝ROS操作系統(tǒng)，啟動小烏龜，建立一個工作空間，創(chuàng)建一個功能包，實現(xiàn)一個ROS節(jié)點。 |
2 |
|
2 |
主題與消息 |
了解ROS的主題與消息機制，基于C++和Python實現(xiàn)主題與消息，實現(xiàn)自定義主題與消息。 |
2 |
|
3 |
服務(wù)Service |
了解ROS的服務(wù)機制，基于C++和Python實現(xiàn)服務(wù)的服務(wù)端與客戶端，實現(xiàn)自定義服務(wù)。 |
2 |
|
4 |
參數(shù)與動態(tài)參數(shù) |
了解ROS的參數(shù)機制，基于C++和Python實現(xiàn)參數(shù)的增、刪、改、查。了解ROS中的高級功能-動態(tài)參數(shù)原理和運行機制，實現(xiàn)使用動態(tài)參數(shù)調(diào)節(jié)小烏龜運動速度。 |
2 |
|
5 |
動作Action |
了解ROS的動作機制，基于C++和Python實現(xiàn)動作的服務(wù)端與客戶端，實現(xiàn)自定義Action。 |
2 |
|
6 |
ROS中的調(diào)試與仿真工具 |
了解ROS工具箱中的RViz工具與rqt工具，了解ROS的日志系統(tǒng)，掌握調(diào)試ROS程序的方法。在虛擬機中安裝配置Gazebo仿真系統(tǒng)，在仿真中運行UPROS機器人模型。在仿真中運行機器人定位導(dǎo)航，體會ROS的功能。 |
2 |
|
7 |
機器人坐標(biāo)與TF變換 |
理解機器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
8 |
機器人運動控制與輪式里程計 |
了解機器人雙腦架構(gòu)，了解機器人運動模型，在機器人中編寫節(jié)點，控制機器人底盤運動，學(xué)習(xí)輪式里程計數(shù)據(jù)協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
9 |
ROS與機器人定位導(dǎo)航 |
體驗機器人的定位導(dǎo)航功能，了解SLAM與路徑規(guī)劃技術(shù)，編寫一個節(jié)點，發(fā)布目標(biāo)點控制機器人運動。 |
2 |
|
10 |
ROS與機器視覺 |
體驗ROS系統(tǒng)中的機器視覺功能，編寫程序訂閱攝像頭的信息，并控制機器人進行決策。 |
2 |
|
機器人感知傳感（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
碰撞傳感器 |
了解接觸式碰撞傳感器的工作原理，讀取碰撞傳感器的數(shù)據(jù)，學(xué)習(xí)并開發(fā)碰撞傳感器ROS通訊接口，根據(jù)碰撞傳感器實現(xiàn)障礙感知。 |
2 |
|
2 |
超聲/TOF傳感器 |
了解超聲/TOF傳感器的工作原理，讀取超聲/TOF傳感器數(shù)據(jù)，學(xué)習(xí)并開發(fā)超聲/TOF傳感器通訊接口，根據(jù)傳感器消息實現(xiàn)避障。 |
2 |
|
3 |
慣性測量單元傳感器 |
學(xué)習(xí)慣性測量單元（IMU）的原理，通過IMU讀取機器人當(dāng)前的姿態(tài)，角速度，加速度，根據(jù)IMU數(shù)據(jù)控制機器人姿態(tài)。 |
2 |
|
4 |
激光雷達傳感器 |
學(xué)習(xí)激光雷達的工作原理，對激光雷達數(shù)據(jù)進行濾波處理， 根據(jù)激光雷達數(shù)據(jù)進行避障。 |
2 |
|
5 |
視覺傳感器 |
學(xué)習(xí)相機的工作原理，獲取視覺信息并根據(jù)視覺信息控制機器人運動。 |
2 |
|
6 |
深度視覺傳感器 |
學(xué)習(xí)深度相機的工作原理，處理深度圖像與深度點云，對環(huán)境進行三維感知。 |
2 |
|
7 |
機器人輪式里程計 |
了解編碼器的概念，學(xué)習(xí)輪式里程計數(shù)據(jù)協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
8 |
多傳感器融合-EKF里程計算 |
融合輪式里程計與IMU的信息，進行里程計的融合計算。 |
2 |
|
9 |
多傳感器融合-激光SLAM |
融合輪式里程計與IMU信息，了解三者信息如何融合，利用激光SLAM技術(shù)感知機器人周圍環(huán)境。 |
2 |
|
10 |
多傳感器融合-協(xié)同避障 |
融合激光雷達與深度相機信息，激光雷達進行大范圍障礙感知，深度相機進行眼前補盲，學(xué)習(xí)不同類型傳感器在障礙感知的作用。 |
2 |
|
機器視覺與AI（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
視覺傳感器 |
學(xué)習(xí)相機的工作原理，獲取視覺信息并根據(jù)視覺信息控制機器人運動。 |
2 |
|
2 |
AprilTag識別 |
學(xué)習(xí)如何基于ROS圖像提取AprilTag，輔助機器人進行視覺定位。 |
2 |
|
3 |
顏色識別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，進行顏色識別，并根據(jù)顏色進行交通燈識別與運動。 |
2 |
|
4 |
形狀識別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，并根據(jù)顏色獲取出的形狀特征使用霍夫變換的方法提取特定的形狀，對形狀進行跟隨。 |
2 |
|
5 |
視覺巡線功能 |
學(xué)習(xí)提取視野中的線條，并實現(xiàn)基于視覺的巡線功能。 |
2 |
|
6 |
人臉識別 |
學(xué)習(xí)如何基于ROS識別人臉，提取人臉特征，采集人臉信息，訓(xùn)練模型識別人臉。 |
2 |
|
7 |
表情識別 |
學(xué)習(xí)如何定位出人臉的多個特征點，并依據(jù)人臉特征，采用機器學(xué)習(xí)的方法識別表情，并作出對應(yīng)動作。 |
2 |
|
8 |
手勢識別與交互 |
學(xué)習(xí)MediaPipe框架，如何基于該框架識別手勢控制機器人。 |
2 |
|
9 |
深度學(xué)習(xí)目標(biāo)檢測 |
了解深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)如何基于機器人的嵌入式AI芯片進行目標(biāo)檢測。 |
2 |
|
10 |
視覺傳感器位姿估計 |
了解視覺SLAM的方法，學(xué)習(xí)如何基于視覺傳感器估計機器人的移動。 |
2 |
|
機器人學(xué)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機械臂關(guān)節(jié)控制 |
了解智能機械臂的工作原理，基于ROS接口驅(qū)動機械臂關(guān)節(jié)運動，基于ROS接口驅(qū)動機械臂夾爪開合。 |
2 |
|
2 |
機械臂關(guān)節(jié)校準(zhǔn) |
了解機械臂產(chǎn)生零偏誤差的原理，標(biāo)記機械臂關(guān)節(jié)零篇誤差，實現(xiàn)機械臂關(guān)節(jié)校準(zhǔn)功能。 |
2 |
|
3 |
機械臂正逆運動學(xué)解析 |
了解五自由度機械臂正逆運動學(xué)分析解算，測量機械臂各個關(guān)節(jié)，控制各個關(guān)節(jié)的角度，計算不同角度下機械臂末端的期望位置，并對實際位置進行測量計算誤差，對機械臂進行逆運算計算。 |
2 |
|
4 |
機械臂YZ平面逆運算控制 |
根據(jù)末端位置進行YZ平面逆運算計算，并控制機械臂到達指定末端，與理論值對比思考誤差產(chǎn)生的原因。 |
2 |
|
5 |
根據(jù)TOF傳感器控制機械臂抓取 |
根據(jù)機械臂前方TOF傳感器信息獲取待抓取物塊距離，根據(jù)逆運動學(xué)計算出各個關(guān)節(jié)角度，完成抓取與放置，調(diào)整參數(shù)增加成功率。 |
2 |
|
6 |
機械臂XYZ立體逆運算控制 |
根據(jù)末端位置進行XYZ立體環(huán)境的逆運算計算，并控制機械臂到達指定末端，與理論值對比思考誤差產(chǎn)生的原因。 |
2 |
|
7 |
視覺感知抓取 |
根據(jù)機械臂前方的深度視覺傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對位置，根據(jù)逆運動學(xué)計算出各個關(guān)節(jié)角度，完成抓取與放置。 |
2 |
|
8 |
連續(xù)感知分揀 |
根據(jù)機械臂前方的深度視覺傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對位置，根據(jù)逆運動學(xué)計算出各個關(guān)節(jié)角度，完成連續(xù)分揀。 |
2 |
|
9 |
Moveit!配置 |
初步了解強大的ROS的機械臂功能包Moveit!，于Moveit!配置機械臂運動規(guī)劃。 |
2 |
|
10 |
Moveit!編程 |
編寫代碼，實現(xiàn)指定關(guān)節(jié)、指定末端位置、指定動作組的運動規(guī)劃與執(zhí)行。 |
2 |
|
機器人定位導(dǎo)航（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
坐標(biāo)系與坐標(biāo)變換 |
理解機器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
2 |
機器人輪式里程計 |
了解編碼器的概念，學(xué)習(xí)輪式里程計數(shù)據(jù)協(xié)議，基于輪式里程計控制機器人運動。 |
2 |
|
3 |
激光雷達 |
學(xué)習(xí)激光雷達的工作原理，對激光雷達數(shù)據(jù)進行濾波處理， 根據(jù)激光雷達數(shù)據(jù)進行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解強大的ROS定位導(dǎo)航功能包MoveBase，基于MoveBase配置機器人定位導(dǎo)航與路徑規(guī)劃系統(tǒng)。 |
2 |
|
5 |
MoveBase編程開發(fā) |
了解MoveBase的通信接口，控制機器人移動到指定位置，實現(xiàn)通過MoveBase接口編程開發(fā)。 |
2 |
|
6 |
柵格地圖 |
了解機器人SLAM系統(tǒng)的原理，學(xué)習(xí)概率柵格地圖，了解如何發(fā)布和構(gòu)建概率柵格地圖。 |
2 |
|
7 |
激光雷達地圖拼接 |
驅(qū)動激光雷達，基于激光雷達傳感器與里程計拼接出概 率柵格地圖。 |
2 |
|
8 |
地圖構(gòu)建與定位 |
使用Gmapping建立和保存地圖； |
2 |
|
9 |
路徑規(guī)劃系統(tǒng)實驗 |
了解機器人代價地圖與路徑規(guī)劃系統(tǒng)原理，配置代價地圖， 全局規(guī)劃和局部規(guī)劃器，實現(xiàn)簡單的A*全局路徑規(guī)劃算法和DWA局部路徑規(guī)劃算法。編寫一個簡單的規(guī)劃與控制器CoreMove，更深入的體會MoveBase的運行邏輯。 |
2 |
|
10 |
MoveBase插件機制學(xué)習(xí)與開發(fā) |
了解MoveBase的插件機制，學(xué)習(xí)基于插件實現(xiàn)禁區(qū)虛擬墻、TEB 規(guī)劃器、脫困恢復(fù)行為的功能。 |
2 |
|
機器人建模與仿真（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Gazebo環(huán)境搭建與基礎(chǔ)操作 |
了解Gazebo的基本配置，Gazebo界面介紹與基本操作，建立Gazebo模型。 |
2 |
|
2 |
機器人建模 |
了解Urdf與Xacro語法，了解機器人的連桿與關(guān)節(jié)，搭建機器人模型，配置機器人模型參數(shù)。 |
2 |
|
3 |
激光雷達模型添加與參數(shù)配置 |
學(xué)習(xí)在機器人模型上，添加激光雷達，并配置傳感器的參數(shù)和位置。 |
2 |
|
4 |
IMU模型添加與參數(shù)配置 |
學(xué)習(xí)在機器人模型上，添加IMU，并配置傳感器的參數(shù)和位置。 |
2 |
|
5 |
視覺傳感器模型添加與參數(shù)配置 |
學(xué)習(xí)在機器人模型上，添加視覺傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
6 |
超聲傳感器 |
學(xué)習(xí)在機器人模型上，添加超聲傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
7 |
機器人運動控制 |
ROS通過Gazebo插件控制仿真場景中的機器人運動，編寫機械臂驅(qū)動，在Gazebo中控制機械臂。 |
2 |
|
8 |
自定義機器人運動插件編寫 |
編寫全向移動插件，在Gazebo中實現(xiàn)全向移動機器人。 |
2 |
|
9 |
自定義模型開發(fā) |
利用Gazebo的地形編輯工具和模型庫，創(chuàng)建一個復(fù)雜的仿真環(huán)境，在場景中部署指定紋理。 |
2 |
|
10 |
仿真中的定位導(dǎo)航機器人 |
在自定義場景中加載自行搭建配置的機器人，部署在仿真場景中移動并完成任務(wù)。 |
2 |
|
機器人自對話與大模型交互（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前機器人接入大模型的應(yīng)用場景，剖析機器人接入大模型的技術(shù)路線和技能方法，了解如何通過ROS系統(tǒng)為機器人接入大模型，學(xué)會使用機器人開發(fā)。 |
2 |
|
2 |
機器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅(qū)動機器人運動，可控制機器人移動，控制機械臂運動。 |
2 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
2 |
|
4 |
機器人定位導(dǎo)航 |
調(diào)用機器人搭載的MoveBase框架，可編寫節(jié)點發(fā)布Action實現(xiàn)機器人自主定位導(dǎo)航。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機器人上麥克風(fēng)信息，使得麥克風(fēng)接入ROS系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉(zhuǎn)文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
大模型問答 |
注冊大模型AI工具，編寫程序通過大模型API，調(diào)用Json實現(xiàn)智能問答。 |
2 |
|
9 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
10 |
大模型機器人集成 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制并語音交互的大模型接入機器人。 |
2 |
|
服務(wù)機器人綜合實踐-家用場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前家用機器人場景，以掃地機器人為案例，剖析家用機器人的的技術(shù)路線和技能方法，了解ROS在家用機器人領(lǐng)域的應(yīng)用，學(xué)會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅(qū)動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導(dǎo)航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標(biāo)定點進行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機器人導(dǎo)航到不同位置 |
4 |
|
8 |
全覆蓋路徑生成 |
了解掃地機器人最常用的全覆蓋路徑規(guī)劃技術(shù)，實現(xiàn)生成若干點位覆蓋目標(biāo)清潔區(qū)域。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項技術(shù)，實現(xiàn)識別一個目標(biāo)，自主導(dǎo)航到指定區(qū)域，并執(zhí)行全覆蓋路徑規(guī)劃。 |
4 |
|
10 |
多片路徑清掃 |
在單流程基礎(chǔ)上，實現(xiàn)多片清潔區(qū)域的串聯(lián)，優(yōu)化路徑長度，在完成清掃任務(wù)同時，效率最高。 |
4 |
|
服務(wù)機器人綜合實踐-商用場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前商用機器人場景，以配送機器人為案例，剖析視覺移動抓取機器人的的技術(shù)路線和技能方法，了解ROS在商用機器人領(lǐng)域的應(yīng)用，學(xué)會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅(qū)動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導(dǎo)航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標(biāo)定點進行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺抓取調(diào)試 |
機器人通過AprilTag確定待抓取物體與機器人的位置關(guān)系，控制機械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項技術(shù)，實現(xiàn)導(dǎo)航到一個目標(biāo)點，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務(wù)同時，效率最高。 |
4 |
|
服務(wù)機器人綜合實踐-工業(yè)場景（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前工業(yè)用移動機器人場景，以復(fù)合AMR機器人為案例，剖析視覺移動抓取機器人的的技術(shù)路線和技能方法，了解ROS在工業(yè)機器人領(lǐng)域的應(yīng)用，學(xué)會使用機器人開發(fā)。 |
4 |
|
2 |
機器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅(qū)動機器人運動，可控制機器人移動，控制機械臂運動。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機器人導(dǎo)航 |
編寫節(jié)點發(fā)布Action，機器人可在地圖上標(biāo)定點進行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺抓取調(diào)試 |
機器人通過AprilTag確定待抓取物體與機器人的位置關(guān)系，控制機械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項技術(shù)，實現(xiàn)導(dǎo)航到一個目標(biāo)點，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務(wù)同時，效率最高。 |
4 |
|
智能機器人建模仿真綜合實踐（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析仿真環(huán)節(jié)在機器人軟件與算法開發(fā)、驗證過程中的重大作用，學(xué)習(xí)ROS與仿真場景的結(jié)合，通過一個路徑規(guī)劃算法的實踐案例，了解仿真算法聯(lián)合開發(fā)流程。 |
4 |
|
2 |
機器人仿真啟動 |
在ROS環(huán)境下，開發(fā)節(jié)點驅(qū)動仿真場景中的機器人運動，可控制機器人移動，控制機械臂關(guān)節(jié)運動，理解ROS的硬件驅(qū)動抽象。 |
4 |
|
3 |
機器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取仿真場景中機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機器人建圖與定位 |
在仿真場景中使用Gmapping建立和保存地圖， |
4 |
|
5 |
機器人導(dǎo)航 |
編寫節(jié)點發(fā)布Action，在仿真場景中機器人可在地圖上標(biāo)定點進行連續(xù)導(dǎo)航。 |
4 |
|
6 |
算法驗證軟件使用 |
了解算法驗證軟件的使用方法，了解算法驗證軟件如何通過算法判斷路徑規(guī)劃軌跡的質(zhì)量，了解算法驗證軟件如何支撐算法驗證。 |
4 |
|
7 |
仿真接口開發(fā) |
在仿真系統(tǒng)中，根據(jù)仿真接口和算法驗證軟件接口開發(fā)程序，使得算法可接入驗證系統(tǒng)。 |
4 |
|
8 |
開發(fā)柵格法路徑規(guī)劃 |
通過柵格法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分。 |
4 |
|
9 |
開發(fā)深度優(yōu)先搜索路徑規(guī)劃 |
通過路徑優(yōu)先搜索法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分。 |
4 |
|
10 |
掃描線法路徑規(guī)劃 |
通過掃描線法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運行，并通過算法驗證系統(tǒng)計算得分，思考幾種算法得分不同的原因，并思考優(yōu)化方法在驗證系統(tǒng)中驗證。 |
4 |
|
具身智能綜合實踐（40課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析具身智能技術(shù)使用場景，當(dāng)前熱點方向，了解如何結(jié)合ROS機器人操作系統(tǒng)開發(fā)具身智能應(yīng)用，具身智能的概念、發(fā)展歷程和應(yīng)用領(lǐng)域。 |
4 |
|
2 |
ROS基礎(chǔ)入門 |
ROS 的核心概念：節(jié)點、話題、服務(wù)、參數(shù)服務(wù)器，編寫簡單的 ROS 節(jié)點，實現(xiàn)節(jié)點之間的消息通信。 |
4 |
|
3 |
機器人平臺介紹 |
機器人的機械結(jié)構(gòu)和模塊組成，機器人的傳感器和執(zhí)行器的工作原理，了解機器人的電氣連接和通信接口，學(xué)習(xí)如何基于機器人處理器平臺進行開發(fā)。 |
4 |
|
4 |
機器人感知與建模 |
在ROS環(huán)境下，開發(fā)節(jié)點獲取機器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息，建立和保存地圖，在保存的地圖上連續(xù)定位使用坐標(biāo)變換獲取在地圖上的位置。 |
4 |
|
5 |
機器人運動控制 |
編寫 ROS 節(jié)點，實現(xiàn)機器人的基本運動控制，如前進、后退、轉(zhuǎn)彎，計簡單的軌跡規(guī)劃算法，讓機器人按照指定的路徑運動。 |
4 |
|
6 |
機器視覺系統(tǒng) |
采集深度傳感器信息，獲取深度圖像和彩色圖像，采集圖像數(shù)據(jù)并保存在本地。 |
4 |
|
7 |
具身算法實踐-上 |
在 ROS 環(huán)境下，使用強化學(xué)習(xí)算法訓(xùn)練機器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
8 |
具身算法實踐-下 |
在 ROS 環(huán)境下，使用強化學(xué)習(xí)算法訓(xùn)練機器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
9 |
項目實踐與小組討論-上 |
根據(jù)機器人平臺和 ROS 設(shè)計并實現(xiàn)一個具身智能項目，如自主探索、目標(biāo)識別與抓取等。 |
4 |
|
10 |
項目實踐與小組討論-下 |
根據(jù)機器人平臺和 ROS 設(shè)計并實現(xiàn)一個具身智能項目，如自主探索、目標(biāo)識別與抓取等。 |
4 |