スマートフォンで取れる日常のセンサーデータをLLMで分析し、生活を自然言語で記録する

本記事では、スマートフォンに標準的に搭載されているセンサーから得られるデータで自動的に生活記録を生成するシステムの設計を紹介します。 日常的に利用されているスマートフォンのセンサー技術と最新のLLM(大規模言語モデル)を組み合わせることで、写真や音声を使用せずに、ユーザーの行動や状況を自然な文章で記録することが可能となります。 従来の手動入力に依存した日記アプリケーションや、単純なデータ記録に留まるライフログシステムの限界を超え、新しい形の自動生活記録を実現するアプローチです。 スマートフォンとLLMの連携に関連する研究事例 Appleが開発 スマホに特化したマルチモーダルLLM『Ferret…