世のなかにあふれる「映像」を有効活用するサービス
NEC発「映像認識AI×LLM」が業務効率化・DX化推進の起爆剤に！
- TAGS.
市場で注目を浴びているトレンドを深掘りする連載「マネ部的トレンドワード」。今回のテーマは、「現代用語の基礎知識選 2023ユーキャン新語・流行語大賞」のトップ10に入った「生成AI」。
生成AIと聞いて「ChatGPT」をイメージする人は多いだろう。「ChatGPT」は、大量のテキストデータを処理し、自然言語（人間が扱う日本語や英語などの言語）を理解・生成する「大規模言語モデル（LLM）」の一種だ。
電機メーカーのNEC（日本電気）は、2023年7月に独自のLLMを開発。そして、同年12月にはそのLLMと映像認識AIを掛け合わせ、長時間の動画からユーザーの目的に応じた短縮動画と説明文を自動生成する技術を開発したことを発表し、2024年3月には試用版の提供を開始している。
「映像認識AI×LLM」の技術は、社会のなかでどのように活用されるのだろうか。NECビジュアルインテリジェンス研究所の劉健全さん、山崎智史さんに聞いた。
映像を活用し「自動車事故の原因」を推定できる生成AI
「『映像認識AI×LLM』は、当社がもともと持っていた映像認識AIとLLMを掛け合わせることで実現しました。これまでの映像認識は、カメラに映っている範囲内に人や物が存在するか、動いているかといったことを認識することはできましたが、LLMを掛け合わせることで、AIが映っている状況を理解して説明文を生成するところまでできるようになりました」（山崎さん）
応用事例の第一弾として公表されているのは、自動車事故の報告書を自動作成するというもの。車両に搭載されているドライブレコーダーの映像から、映像認識AIが事故が起きた瞬間だけを抜き出し、LLMが事故の状況や推定される原因を文章化するという活用法だ。損害保険会社がこの技術を導入することで、事故の報告書を作成する際に長い動画のすべてを見る必要がなくなり、説明文を書く時間の節約にもつながる。
「損害保険のための報告書には、事故原因の記載が必要です。今回の技術では映像認識AIが認識した細かな情報を統合し、原因の推定につなげています。例えば、交差点で起きた自動車同士の衝突事故の映像に青信号が映っていたら、青信号で交差点に進入した自動車の過失は少ないと推定できます。AIが生成した映像や文章を損害保険会社の担当者が確認し、その原因が正しいと判断できれば、そのまま報告書にできます」（山崎さん）
これまで長い映像を人の目で確認し、報告書を作成していたことを考えると、かなりの効率化につながりそうだ。
「街中にカメラは存在していますし、24時間365日にわたって映像が録画されています。複数のカメラをまたがって事象を把握しなければいけないケースもあるでしょう。そこに『映像認識AI×LLM』を取り入れることで、損害保険会社の業務効率化につながります。また、事故の動画をデータとして集めることでトラブルが起こりやすい場所や状況などの情報が蓄積されるため、自動車メーカーやベンダーのソリューション開発にも生かせると考えています」（山崎さん）
劉さんが中心となって「映像認識AI×LLM」のコンセプト“ユーザー視点の物語がある映像要約”をまとめた論文は、2022年10月に開催されたマルチメディア分野の最高峰国際学会「ACM Multimedia 2022」で「Best BNI Paper Award」を受賞。OpenAI社が「ChatGPT」を公開する1カ月前のことだ。
「映像認識技術を開発するなかで、豊富な情報を含んだ長尺の映像のなかから欲しい情報だけを抜き出したいというニーズが見えてきたのです。当時使われ始めていた深層学習（ディープラーニング）をうまく活用し、ユーザーの意図を理解して適切な答えを出すというコンセプトを打ち出しました。その直後に出てきた『ChatGPT』のような技術を使えば、ユーザー視点で情報を整理して生成した物語風の文章と短縮動画をセットで見せてあげられるのではないかと思い至りました」（劉さん）
AIに機械的な作業を任せると、人は別の仕事に注力できる
応用事例の第一弾として事故の報告書作成を取り上げ、検証を重ねてきたのは、ニーズに加えて既に蓄積されたデータもあったからだという。
「国内の車の多くにドライブレコーダーが搭載されてきていますが、その映像が十分に活用されていない現実があります。損害保険会社のなかには特約としてドライブレコーダーを貸し出しているところもあり、活用したいという想いは抱いているのです。ただ、映像を見ながら報告書をつくる業務は人力で行われていて、効率化が進まず、映像も活用し切れていません。この作業の9割をAIに置き換えられたら、業務がスムーズに進み、映像も活用されると考えました」（劉さん）
「当社では、安全運転支援サービス『くるみえ』を提供しています。社有車に搭載されたドライブレコーダーの映像を整理し、安全運転指導や業務効率化につなげるというサービスなので、ドライブレコーダー映像という素材が社内に蓄積されており、検証に活用できた点も大きかったと思います」（山崎さん）
この検証で重要なのは、劉さんが話してくれた「作業の9割を置き換える」という点。あくまで最終判断は人が行うシステムとなっている。
「AIが正確な情報だけを生成するとは限らないので、最終的なチェックは必要です。ただ、映像を見る、報告書をつくるといった業務の9割を代替してもらうことで、人の負担は減るとともに最終確認の精度は上がるでしょう。また、業務効率化やDX化につながるだけでなく、若手人材の育成にも貢献できるのではないかと思います。AIが要素を抽出してくれるので、経験の少ない若手の方でも判断しやすくなると考えています」（山崎さん）
「『AIが人の仕事を奪う』といわれることもありますが、実際はAIに機械的な作業を任せられる分、人はよりクリエイティブな仕事に注力しやすくなるといえます。そこの手助けをしていきたいですね」（劉さん）
事故の報告書作成以外にも、次のような場面での活用を検討しているという。
「ドライブレコーダーに限らず、街頭のカメラやスマートフォンのカメラで撮影した映像など、まだまだ活用できていない映像はたくさんあるので、それらを形式知化することでDXの役に立つのではないかと思います。国内の労働力が低下しているいま、人を増やす以外の方法で対応していく必要があるため、自動化できるところは進めていく必要があると感じています」（山崎さん）
航空の現場での活用においては、カメラに映ったスタッフや車、機材などを捉えて文章化することで、リアルタイムでそれぞれの動きを把握することができる。その結果、業務効率の向上や航空機の着陸から次の離陸までの時間の短縮につなげることが期待できる。
「それぞれの動きの把握を人の目や耳だけで行おうとすると、口頭で伝えていくうちに情報が誤って届いてしまってミスにつながる、という話を現場の方々から伺いました。そのような場面でも『映像認識AI×LLM』の技術は貢献できると感じています」（山崎さん）
2023年12月に技術開発を発表してからは、ユースケースに挙げた業界だけでなく、放送メディアや小売業からも問い合わせが来ているという。
「放送メディアからは、オンデマンド配信サービスで広告を打つ際に、ユーザーが見ている番組の内容をより具体的に把握して関連した広告を打つという使い方ができないかと相談をいただいています。小売業では顧客が商品を買った理由、買わなかった理由を把握するため、店内のカメラの映像を用いて検証できないかという話が来ています。個々のニーズに合わせて、開発を進めていきたいですね」（山崎さん）
目指すは複数のデータから状況を把握する「マルチモーダル生成AI」
試用版の提供が始まったばかりの「映像認識AI×LLM」だが、既に次なる構想が膨らんでいるようだ。
「5年先、10年先になるかもしれませんが、マルチモーダル生成AIを開発したいと思っています。マルチモーダルAI（複数の情報を統合して処理するAI）はありますが、さらに生成もできるのではないかと考えられるのです。いまは映像だけですが、音声データやセンサーデータなど複数の情報を連結させることで、新たな価値をつくり出せるはずです。例えば、LLMとセンシング技術を掛け合わせることで、お風呂やトイレ、寝室といったカメラを設置できないプライベート空間にいる人の活動や状態を文章で把握することができるかもしれません。介護の現場などで役に立ちそうですよね」（劉さん）
「劉が話したように複数のデータを掛け合わせると、面を立体で見ていくイメージになります。映像だけだと事故が起こった瞬間の状況しか把握できませんが、音声やセンサーデータも活用することで事故が起こった原因をより詳細に追及できるかもしれません。そのほかにも犯罪が起こった理由、顧客が商品を買わなかった理由など、データのなかから物語を見つけるという当初のコンセプトに近付くと考えています。ただ、複数のデータを掛け合わせるのは難しいチャレンジなので、まずは複数の映像をつなぎ、そこから物語を導き出すという挑戦を今後2～3年で取り組んでいこうと思います」（山崎さん）
世のなかにあふれている映像を活用し、業務効率化やDX化を推進する「映像認識AI×LLM」。さまざまな業界でなくてはならない技術となっていきそうだ。
（取材・文／有竹亮介（verb） 撮影／森カズシゲ）