実世界をすべて検索・説明可能とする技術を構築するために、大規模言語モデルを含む基盤モデルに基づく手法構築から、ロボット、テキスト付画像、ファッション、絵画などへの応用まで取り組んでいます。我々の対話的移動指示モデルは、CVPR2023 Embodied AI Workshopコンペティションで優勝しています。

日常環境において支援を必要とする方のための家庭用ロボットの研究に取り組んでいます。世界最大の生活支援ロボットのベンチマークテストであるロボカップ＠ホームで２度世界大会優勝しています。

自動運転において、「青いバンの後ろに止まって」のようにユーザが言葉でモビリティを操作できれば便利です。我々は3つのモダリティを扱うことが可能なTrimodal Navigable Region Segmentation Modelを開発し、既存手法を上回る指示理解性能を達成しました。

太陽フレア由来の地磁気嵐の想定被害額は40兆円と試算され、実際に2022年にはSpaceXの人工衛星49基中40基が落下するという事故が起こっています。我々は世界初の深層学習ベース実運用手法を開発し、専門家の予報業務に日々利用されています（2021年度は14回中13回的中）。異種センサデータを扱う予測手法Flare Transformerは、専門家を超える性能を世界で初めて達成しました。

理論的背景が未解明な物理現象の説明は、理論への洞察を与えるため重要です。また、画像分類の判断根拠を視覚的に説明したり、衝突などのリスクを事前に言語的に説明できれば有用です。我々はLambda Networksの解釈性を向上したLambda Attention Branch Networksを開発し、既存の説明生成手法を超える解釈性を達成しました。

大気汚染物質PM2.5等による早期死亡者数は全世界で年間330万人と言われていますが、現状では正確な予測が困難です。我々は、深層学習に基づく予測手法を2014年に開発し、本分野に世界で初めて導入しました。

ロボットの機能の一部をクラウド化することで、低コストで高性能な処理が可能になります。我々は、クラウドロボティクス基盤rospeexを構築し、2013-18年に50,000ユニークユーザ以上に利用されました。

人間の動作を解析し、ロボットに模倣させる技術を研究しています。模倣学習により、専門的知識が不要なユーザフレンドリな方法でロボットに動作を教示することが可能になります。

ロボットの身体上や環境へのセンサ配置を最適化することで、学習を高速化したり無駄のない情報収集が可能になります。我々は、劣モジュラ性を利用した期待相互情報量最大化手法を提案しました。

観光スポットを選択するためにガイドブック・地図・検索エンジンを使うことも多いですが、曖昧な嗜好を元に推薦してほしいというニーズもあります。我々は、ユーザの気分や雰囲気から観光スポットを推薦する手法を開発し、京都市観光局にライセンスしました。

ウェブ上には論文やデータが多く公開されるようになってきましたが、それらの検索精度はウェブページと比較するとかなり低いのが現状です。我々は、 時空間情報を用いた擬似適合性フィードバック手法を開発し、ウェブサービスとして公開しました。