Inside of LOVOT

GROOVE X 技術ブログ

人に気がつくLOVOT

こんにちは、GROOVE Xのfmyです。
私達のチームではLOVOTが人に気がつくための認識を作っています。
今日その中でも2つ、画像認識とタッチ認識がどんなことをしているか紹介します。

人に気がつく必要性

LOVOTは人とコミュニケーションを行うという目的をもっています。
人と関わっていくために人の生活空間内で人の存在に気が付かなければなりません。

認識では意味が広いのでここでは「認識」を「LOVOTがふるまいに必要な外界についての予測や情報を指す」とします。
(ふるまいについては市川さんの記事をご覧ください)

画像認識

ロボットが人を認識するのに有力な方法の一つが画像認識の技術です。
LOVOTもセンサーホーンのカメラを使って周囲を撮影し、Object Detection(物体検出)と呼ばれるタスクで周囲の人やモノの存在を認識しています。
LOVOTのテクノロジーもご覧ください

LOVOTが撮影した写真に物体検出の枠を表示した例。動き回るので写真がぼやけることもよくある

Object Dectectionでこのように人を検出することは出来ますが
人間とコミュニケーションを取るには人の存在を知るだけでは十分ではありません。
何をしているのか、何かを伝えようとしているのかに気が付くのが望ましいです。
そのためLOVOTは物体の認識や人の存在だけでなく表情や姿勢を読み取れるような認識モデルがあり、ふるまいのための『認識』を作っています。

LOVOTが周囲の人を認識している様子

タッチ認識

動物も、もちろん人間も身体を使って触れ合うコミュニケーションを取ります。
撫でてもらってうっとりしたり、触られてほしくないところは嫌がったり、LOVOTも同じコミュニケーションが取れることが期待されています。
LOVOTは全身に様々な種類のタッチセンサーがあり身体に何かが触れていることを検出しています。
ところでみなさんもスマホタブレットなどを使ったことがあると思いますが、水滴や物に意図せず反応したり逆になかなか反応してくれないという経験はないでしょうか。
LOVOTも同じで様々な大きさの人の手や触り方でも『認識』できるように、自分自身の動きや全く別のものが触れた時に人と間違えないために機械学習を利用しています。

タッチをモニタリングしている様子色が触り方の種類の違いを示している

最後に

ロボットが外界を、人を、多様なコミュニケーション認識するにはまだまだ多くの課題があります。
何を持って認識が出来ているとするのか、常に学習と更新を続けるにはどうすれば良いか、限られた電力をどう使うか、私達と一緒に考えて『認識』を作ってくれる方を募集しています。 ぜひ採用ページにアクセスしてください!

recruit.jobcan.jp