近年，人間の生活環境での共存を目的としたロボットの開発が進んでいる．ロボットが人間と共存するためには，高度な認識機能を有することが必要不可欠である．必要とされる認識機能の一つとして物体認識が挙げられる．人間は物体を認識する際その物体の使われ方，すなわち，人と物体のインタラクション(相互関係)を特徴として用いていると考える．本研究では人と物体との基本的なインタラクションを検出し，インタラクションが発生した際の画像と相互関係(動作)を用いた物体認識手法の開発を目的としている．本稿では人と物体との関係性に着目し，人の関節位置情報，深度情報を用いた物体抽出手法を提案する．