ＬｅａｐＭｏｔｉｏｎ體感控制器的智能移動機械臂控制系統(tǒng)

2017-3-17  來源：北京理工大學珠海學院  作者：羅回彬，劉春麗，董思奇，陳錫柯，楊哲宇

      摘要：設(shè)計一種新型的移動機械臂控制系統(tǒng)，可以利用 Ｌｅａｐ?。停铮簦椋铮铙w感控制器替代傳統(tǒng)的人機交互方式，進行手部數(shù)據(jù)采集，將其識別到的手勢動作經(jīng)過計算機分析處理后，通過 ＷｉＦｉ傳輸給開發(fā)板，進而控制機械臂模仿人手的動作，同時由于機械臂的載體是一個加載攝像頭的移動小車，可以很好地結(jié)合機械臂執(zhí)行各種遠程遙控任務(wù)。實驗結(jié)果表明，該移動機械臂便捷靈活、操作簡單，能很好地應(yīng)用在各種領(lǐng)域。

      關(guān)鍵詞：ｌｅａｐ?。恚铮簦椋铮?；手勢識別；移動機械臂

      0.引言

      機器人是一種能夠進行編程并在自動化控制下執(zhí)行某些操作和移動作業(yè)任務(wù)的機械裝置，在工業(yè)、醫(yī) 學、農(nóng)業(yè)、建筑業(yè)甚至軍事等領(lǐng)域中均有重要用途［１－２］。目前機器人很少是通過體感操控的［３－４］，人機交互通常都是依靠鼠標、鍵盤、觸摸屏。因此，人與機器人交互方式不夠直接和簡單。基于這點提出了一種新的機器人控制方式———體感控制，即操作者可以通過手勢對機器人進行控制，讓人直接用自己的手來指揮機器人進行動作，完成需要人機協(xié)作才能完成的任務(wù)。本項目研究的智能移動機械臂可通過 Ｌｅａｐ　Ｍｏｔｉｏｎ控制，實現(xiàn)機械臂模仿人類所做的手勢動作的功能，同時小車搭載攝像頭模塊更方便地實現(xiàn)機械臂的可操作性，實現(xiàn)機器人控制方式上的創(chuàng)新和更加自然的人機交互。

      １.總體結(jié)構(gòu)與原理

      本項目主要利用 Ｌｅａｐ?。停铮簦椋铮畹男∏?而 且 識 別 度 精準的特性，通過其對手勢的動作進行分析轉(zhuǎn)化，并在機械臂及小車自帶搭載的 ＷｉＦｉ環(huán)境下，進行對機械臂的控制，如圖１所示。

圖１　整體效果示意圖

      本系統(tǒng)主要由上位機系統(tǒng)和下位機系統(tǒng)組成，上位機系統(tǒng)由 ＰＣ機、Ｌｅａｐ通過 ＷｉＦｉ把控制指令傳送給 Ａｒｄｕｉｎｏ開發(fā)板；而 Ａｒｄｕｉｎｏ開發(fā)根據(jù)不同的指令控制機械臂各關(guān)節(jié)的旋轉(zhuǎn)角度和小車的運動，從而完成預期的動作。同時，ＰＣ端和手機端也可以通過按鍵方式進行相應(yīng)的命令操作，控制機械臂和小車完成預期的動作。

圖２　系統(tǒng)結(jié)構(gòu)框圖

      ２.主要硬件模塊選型與設(shè)計

      ２．１ＬｅａｐＭｏｔｉｏｎ體感控制器

      Ｌｅａｐ?。停铮簦椋铮钍钱斚铝餍械囊允植窟\動捕獲為主的體感設(shè)備，利用紅外成像的原理獲取手的運動圖像，檢測并跟蹤手、手指和類似手指的工具，可以實時獲取它們的位置、手勢和動作，并將這些靜態(tài)與動態(tài)信息提供給操作者。利用 ＬｅａｐＭｏｔｉｏｎ根據(jù)每幀和前幀檢測到的數(shù)據(jù)所生成的運動數(shù)據(jù)，捕獲不同手勢和手勢的運動變化信息［５］。Ｌｅａｐ?。停铮簦椋铮畈捎昧说芽栕鴺讼担ǎ茫幔颍簦澹螅椋幔睢。悖铮铮颍洌椋睿幔簦澹螅鴺说脑c是設(shè)備的中心，坐標的 Ｘ軸平行于設(shè)備，Ｙ軸指向上方，Ｚ軸指向背離屏幕的方向，單位為真實世界的 ｍｍ［６－８］，如圖３所示。

圖３?。蹋澹幔稹。停铮簦椋铮畹牡芽栕鴺讼?/span>

      Ｌｅａｐ?。停铮簦椋铮顧z測 到 手 掌 或 者 手 指 等 目 標 對 象 的 時候，其軟件系統(tǒng)還會自動為這個對象分配一個獨一無二的標識符，在設(shè)備的視野范圍內(nèi)如果持續(xù)檢測到目標對象存在，這個標識符就保持不變。如果目標超出有效視野范圍，整 個 追 蹤 過 程 出 現(xiàn) 丟 失 或 者 失 而 復 得 的 情 況，ＬｅａｐＭｏｔｉｏｎ便會重新為目標對象分配一個新的標識符，同時使舊的標識符失效。

      ２．２機械臂模塊

      如圖４所示，機械臂主要由大臂、小臂、舵機和機械臂爪組成。當手勢信息或按鍵命令傳給 Ａｒｄｕｉｎｏ控制器后，它就先解析出動作指令再操控機械臂的舵機，讓機械臂做出相應(yīng)的動作，具體功能描述如表１所列。

圖４　機械臂結(jié)構(gòu)圖

表１　機械臂功能描述

      ２．３Ａｒｄｕｉｎｏ開發(fā)板

      Ａｒｄｕｉｎｏ開發(fā)板具 有 開 源，模 塊 化 組 裝，簡 單 實 用 等特性［９－１１］，本項目就是利用它的這些特性控制機械臂的舵機和小車的馬達，從而實現(xiàn)對小車和機械臂的控制，大大地縮短了開發(fā)的周期。

      ３.軟件設(shè)計及實現(xiàn)

      ３．１整體軟件設(shè)計及實現(xiàn)

      本項目在軟件設(shè)計與實現(xiàn)中，ＰＣ端采用 Ｗｉｎｄｏｗｓ系統(tǒng)、Ｃ＃ 語 言，手 機 端 采 用 Ａｎｄｒｏｉｄ 系 統(tǒng)、Ｊａｖａ語 言。 如圖５所示，主程序啟動后，進行 Ｌｅａｐ?。停铮簦椋铮畈僮骱?按 鍵操作的選擇界面，當操作者執(zhí)行一個手勢或者一個按鍵操作后，ＰＣ端或手機端會有相應(yīng)的函數(shù)對操作進行解析，再通過 ＷｉＦｉ通信發(fā)送給 Ａｒｄｕｉｎｏ開發(fā)板，然 后 Ａｒｄｕｉｎｏ開發(fā)板就會控制機械臂的舵機或者小車的馬達，從而讓它們運動。

      ３．２手勢識別

      手勢動作具有以下三個特點：

      ① 時間可變性：完成同一個手勢所用的時間不一致。

      ② 空間可變性：完成同一個手勢的空間差異性。

      ③ 完整可變性：缺少信息或出現(xiàn)重復信息。

      這些特點決定了動態(tài)手勢的識別難度，開發(fā)人員無法抽樣或?qū)⑵渥鳛橐粋€整體來識別。因此，本項目主要通過對一只手手指的運動來進行捕獲，再轉(zhuǎn)換為指定的字母，化繁為簡，來控制機械臂和小車。

圖５　總體流程圖

      在手勢轉(zhuǎn)換過程中，函數(shù) ＯｎＦｒａｍｅ（）為最 核 心 的 函數(shù)。在這個函數(shù)中，主要利用 Ｌｅａｐ　Ｍｏｔｉｏｎ?。樱模?開發(fā)包的函數(shù) Ｅｘｔｅｎｄｅｄ（）對獲得數(shù)據(jù)進行處理，提取手部的運動特征。本系統(tǒng)可識別兩類手勢：一種是手指在空間運動，獲得手指數(shù)量；另一種是手指在平面內(nèi)畫圈，包括順時針畫圈和逆時針畫圈。隨后，通過一個 Ｓｗｉｔｃｈ（）語句對手指數(shù)量的判斷來轉(zhuǎn)換為相應(yīng)的字母命令，每一個字母都有自己的指示動作，然后通 過 ＳｅｎｄＤａｔａ（）函 數(shù) 將 字 母 傳 送 到Ａｒｄｕｉｎｏ開發(fā)板，具體流程如圖６所示。

圖６　手勢轉(zhuǎn)換過程流程圖

      ３．３小車與機械臂控制

      進行手勢識別和轉(zhuǎn)換后，ＰＣ端將數(shù)據(jù)通過 ＷｉＦｉ傳 送至 Ａｒｄｕｉｎｏ，Ａｒｄｕｉｎｏ 開 發(fā)板會通過調(diào)用Ｓｅｒｉａｌ．ｒｅａｄ（）函數(shù)和 ｗｉｔｃｈ（）語句進一步判斷和指定機械臂或小車做出相應(yīng)的動作，具體流程如圖７所示。

圖７?。粒颍洌酰椋睿锟刂茩C械臂或小車操作的流程圖

      ３．４ＷｉＦｉ通信

      在 Ｉｎｔｅｒｎｅｔ 中，ＴＣＰ／ＩＰ使用一個網(wǎng)絡(luò)地址和一個服務(wù)端 口 號 來 唯 一 標 識 設(shè) 備。其中，網(wǎng) 絡(luò)ＩＰ 地 址 用 于 標 識網(wǎng)絡(luò)上的特定設(shè)備；端口號用于標識要連接到的該設(shè)備上的特定服務(wù)。根據(jù)上述原理，本項目的服務(wù)器可以理解為ＰＣ端和手機端，而客戶端則是 Ａｒｄｕｉｎｏ開發(fā)板。利用 Ａｒ－ｄｕｉｎｏ開發(fā)板自帶的串口 ＷｉＦｉ模塊構(gòu)建 ＷｉＦｉ局域網(wǎng)，將電腦或手機連接到已經(jīng)搭建的 ＷｉＦｉ環(huán)境中，實現(xiàn) Ｓｏｃｋｅｔ連接及通信。

      在本項目中，用指定的地址和端口號初始化 ＩＰＥｎｄ－Ｐｏｉｎｔ類的新實例，然后通過 Ｓｏｃｋｅｔ編程就可以實現(xiàn)連接并通 信。 其 中，設(shè) 置 的 ＩＰ 為 １９２．１６８．８．１，端 口 號 為２００１，協(xié)議是 ＴＣＰ／ＩＰ，ＩＰＥｎｄＰｏｉｎｔ類 主 要 有 服 務(wù) 器 的ＩＰ地址和端口信息，實現(xiàn)客戶端到服務(wù)器端的連接。Ｓｏｃｋｅｔ編程的基本過程如下：

      ① 創(chuàng)建一個 Ｓｏｃｋｅｔ實例對象。

      ② 運用 Ｃｏｎｎｅｃｔ（）方法將 Ｓｏｃｋｅｔ實例對象連接到ＩＰＥｎｄＰｏｉｎｔ。

      ③ 接收并發(fā)送信息。

      ④ 最后用 Ｃｌｏｓｅ（）方法來關(guān)閉 Ｓｏｃｋｅｔ。

      ４.實驗結(jié)果

      本項 目 在 Ｗｉｎｄｏｗｓ７ 系 統(tǒng) 和 Ａｎｄｒｏｉｄ 智能手機進行實驗，實驗演示過程具體如下：

      ① Ｌｅａｐ?。停铮簦椋铮铙w感控制器將 手 部 信 息發(fā)給 ＰＣ端，ＰＣ 端 經(jīng) 過 數(shù) 據(jù) 處 理 識 別 出 手 勢和手掌的 運 動 軌 跡，并 將 處 理 后 的 結(jié) 果 傳 輸給 Ａｒｄｕｉｎｏ，小車 接 收 命 令 和 數(shù) 據(jù)，然 后 做 出相應(yīng)的動作，如圖８所示。

      ② 手機端通過按鍵操作命令，將相應(yīng)的命令數(shù)據(jù)傳輸給 Ａｒｄｕｉｎｏ，機械臂和小車根據(jù)接收 的 命 令 和 數(shù) 據(jù) 做 出 相 應(yīng) 的 動 作，如 圖 ９所示。

圖８?。蹋澹幔稹。停铮簦椋铮羁刂菩≤囃Ｖ梗ㄗ螅┖拖蚯斑\動（右）

圖９　按鍵控制（上）攝像頭觀測顯示（下）

      實驗結(jié)果表明，在各功能部件連接通暢的情況下，通過 Ｌｅａｐ?。停铮簦椋铮铙w感控制能很好地識別操作手勢，實現(xiàn)對機械臂、小車的便捷控制。

      5.結(jié)語

      本項目設(shè)備成本低、體積小巧、操作簡便、便攜靈活,能適用于各種復雜環(huán)境和特殊任務(wù)，在軍事偵察、可疑物品排爆、工業(yè)操作、醫(yī)療應(yīng)用及日常生活等都有較好的應(yīng)用前景和實用價值?！?/span>