基于Jetson嵌入式的智能化洗鞋機研究獲獎科研報告

摘

要：隨著城市生活節(jié)奏的加快，人們對于自動化設(shè)備和智能家居的需求越來越多。如智能掃地機器人[1]，智能家居化空調(diào)[2]，洗鞋機[3-4]。傳統(tǒng)的洗鞋機僅從清洗和消毒的角度考慮了洗鞋機的實用性，并沒有考慮鞋的材質(zhì)，有些鞋子需精細(xì)護(hù)理，若對所有鞋子進(jìn)行相同方式的清洗，可能會對做工精細(xì)的鞋子形成磨損。本文以Jetson嵌入式系統(tǒng)為核心，基于OpenCV、TensorFlow的組合式框架，并結(jié)合多軸機器臂，設(shè)計了一種可以識別鞋子材質(zhì)類型，并根據(jù)這些類型使用指定的方式清洗保養(yǎng)的洗鞋機。

關(guān)鍵詞：洗鞋機;OpenCV;圖像處理;神經(jīng)網(wǎng)絡(luò);算法

1.Jetson簡介

Jetson是一款由Nvidia設(shè)計的新型SoC，它的GPU計算能力強大，功耗較低，擁有Wi-Fi、攝像頭接口和GPIO輸出接口，最新版的還有兩個攝像頭接口。現(xiàn)有的洗鞋機中大多使用80C51和STM32系列的芯片進(jìn)行控制[5]，若需實現(xiàn)分類和識別部分，使用JetsonNano嵌入式系統(tǒng)不僅可以控制機械臂，還可以在本地端識別鞋子的類型，并能根據(jù)新添加進(jìn)來的鞋子訓(xùn)練神經(jīng)網(wǎng)絡(luò)，生成更多材質(zhì)的鞋子類型，進(jìn)而使用合適的方案清洗，實現(xiàn)所設(shè)計的功能。

2.設(shè)計部分

機器設(shè)計部分參考了文獻(xiàn)[6]的部分設(shè)計，整個洗鞋機包括：Jetson嵌入式及配備的攝像頭模塊、Jetson與外設(shè)的通信模塊、電機模塊和外設(shè)模塊、伸縮支架、多種類洗滌劑、烘干風(fēng)扇、多種類毛刷、清洗倉。

洗鞋機可進(jìn)行上傳云端功能、清洗烘干并存放在存儲箱中等待客戶取走等流程。若洗鞋機檢測到物品不屬于認(rèn)識的任一類鞋子，洗鞋機會判斷是否為鞋子，若不是則會把鞋子退返，否則洗鞋機會把鞋子的材質(zhì)上報云端，待云端發(fā)送指令或根據(jù)洗鞋方式執(zhí)行一個最佳的清洗流程。完成流程后，洗鞋機詢問云端或機主是否需要待機。若不需待機，洗鞋機繼續(xù)工作。在需要節(jié)省功耗時，洗鞋機會進(jìn)入待機模式，只有洗鞋機收到需要工作、啟動的指令才會被喚醒。

3.識別算法

在本文的識別部分里使用開源的OpenCV庫來識別鞋子的基本類型，OpenCV庫可以調(diào)用Jetson的攝像頭模塊拍攝鞋子圖像，并用相關(guān)算法判斷鞋子類型，不同材質(zhì)的灰度分布特性不同，可使用不同模板檢測鞋子材質(zhì)、類型相關(guān)度。

3.1余弦灰度相似度算法

余弦灰度相似度算法利用灰度間相似性判斷圖像相似性[7]，借助直方圖灰度分布相似性確定鞋子類別，將測試集和模板集的余弦灰度相似算法記作下式：

（1）

式中是模板灰度級向量，是測試鞋子灰度級向量，當(dāng)和的圖像材質(zhì)較為相似的時候，將趨近于1，θ將趨近于0°。否則，將趨近于0，而θ將趨近于90°。基于以上分析，定義以下的準(zhǔn)則以判斷鞋子材質(zhì)分類。

（2）

（3）

當(dāng)測試材質(zhì)對應(yīng)模板材質(zhì)的余弦相似度大于閾值t時，材質(zhì)被歸為材質(zhì)類，后續(xù)部分加入了神經(jīng)網(wǎng)絡(luò)部分來輔助判別鞋子的信息。對于材質(zhì)不相似，灰度相似的圖片，該算法可以進(jìn)行較精確的分類，只要合理地設(shè)置閾值，洗鞋機就能正確地進(jìn)行分類。

3.2TensorFlow分類算法

當(dāng)OpenCV識別結(jié)果與所有類別鞋子不相似時，使用基于TensorFlow的ShoeClassifier[8]神經(jīng)網(wǎng)絡(luò)識別，此方式依賴Jetson的GPU模塊，功耗較高，若使用余弦灰度相似度算法，設(shè)定洗鞋機盡可能不使用TensorFlow。在實際訓(xùn)練中[8]，訓(xùn)練次數(shù)達(dá)到25000次后，精確度已達(dá)到90%左右。因此，洗鞋機只需要在云端訓(xùn)練好權(quán)重，將這個權(quán)重文件輸入給Jetson核心板即可識別。

4.結(jié)論

相比于傳統(tǒng)洗鞋機使用的單片機和