強化学習による均質ロボット群の協調行動獲得

keywords.jpgマルチロボットシステム,協調,計算知能,強化学習 

保田 俊行 

TOSHIYUKI YASUDA

division.jpg工学研究院 機械システム・応用力学部門 知能化生産工学講座

position.jpg助教

研究概要

研究の背景

複数のロボットにより構成されるマルチロボットシステムは,並列作業による作業効率の向上や,協調行動による複雑なタスクの達成が期待されている.タスクの高難度化やシステムの大規模化に伴い,ロボットが直面する様々な状況を事前に想定して制御器を設計することは困難になる.

研究内容

一般的な組み込み型のアプローチに対し,ロボットに自律性を与えて行動を獲得させる研究が行われている.その代表的手法に強化学習法がある.強化学習するロボットは,環境との相互作用を通して適切な入出力関係を構築する.このとき,学習性能を大きく左右する状態・行動空間の離散化具合を事前に試行錯誤的に設計しなければならない.この問題に対処するため,ロボットが自らの経験に基づき連続な状態・行動空間を自律的に分割する機能を持つ強化学習法・BRLを開発した.さらに,この強化学習法で獲得した知識をより有効に利用しシステムの頑健性を向上させるため,BRLで保持しているルールサンプルを基にSVMによる行動選択を行う手法を提案した.

成果

均質なマルチロボットシステムの協調問題において,各ロボットが状況に応じた役割の生成・割当を適応的に行うことで適切な協調関係を構築することを確認した.また,リーダ・フォロワのいずれかの役割を持つ複数の被験者をパートナーとした実験を行い,人間・機械協調系への応用について検証した.

実用化に向けて(想定業界・用途、課題、企業への期待など)

モータライゼーション,コンピュータライゼーションに続く新産業技術はロボタイゼーションであると予測されている.そのようなロボットコンポーネントが日常生活に浸透する場面では,ロボット間,およびロボット内で知能的デバイスが情報交換することで,共同・協調動作が実現される.ここで必要となる機能の一つが,人工物の学習手法であるため,非常に巨大な潜在的市場を抱えている.

本研究の特徴・優位性

様々なロボット・人間が共存するための新技術潮流の中では,効率よくシステムが動作するようにあらかじめ設計しておく従来型アプローチはある範囲でしか適切に動作し得ない.最も重要な基本技術は,ロボットシステム同士またはロボットと人間との協調・協力関係を広範囲で生成するための適応行動学習法である.

detailsubtitle3.jpg

発明者:保田俊行・大倉和博, "機械学習システムおよび機械学習方法", 特開2013-205890 (出願人:国立大学法人広島大学, 公開日:2013.10.7)

T. Yasuda, K. Araki, and K. Ohkura, "Improving the Robustness of Instance-Based Reinforcement Learning Robots by Metalearning", Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol.15, No.8, pp.1065-1072 (2011)
J. Sakanoue, T. Yasuda, and K. Ohkura, "Preservation and Application of Acquired Knowledge Using Instance-Based Reinforcement Learning for Multi-Robot Systems", Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol.15, No.8, pp.1109-1115 (2011)
T. Yasuda, S. Nomura, and K. Ohkura, "Self-Organized Task Allocation between Reinforcement Learning Robots and a Human Partner", International Journal of Advancements in Computing Technology, Vol.4, No.22, pp.230-238 (2012)

お問い合わせ