「NHK放送技術研究所」が最新の研究開発成果を一般公開する「技研公開2023」が、6月1日（木）〜4日（日）に世田谷区砧で開催される。今年は、4年ぶりに事前予約なしで、誰でも来場できるリアル開催となる。
今年のテーマは「メディアを支え、未来を創る」。現行の放送サービスを支え、未来のメディアを創るための最新の研究成果から14項目が展示される。
詳しくはコチラ↓
https://www.nhk.or.jp/strl/open2023/

「技研公開2023」の展示の中から注目したい研究を担当者のインタビューを交えて紹介。今回は、AI活用技術（フロンティアサイエンス）のひとつ、展示⑩「画像解析 AI による番組映像自動要約システム」について、スマートプロダクション研究部・前澤桃子さんに聞いた。

――「画像解析 AI による番組映像自動要約システム」とは、どんな未来を目指している研究ですか？

現在、YouTubeやTikTokのような動画サービスの拡大と視聴スタイルの多様化により、短い動画コンテンツが好まれる傾向になりました。NHKでも、より多くの方に番組を視聴していただく機会を増やすため、番組から重要な情報や注目シーンなどを抽出した「まとめ動画」（要約映像）を制作し、SNSなどで配信を行っています。ニュース番組のまとめ動画をはじめ、NHKスペシャル、大河ドラマ、連続テレビ小説などの「5分で＊＊＊」シリーズなど、見たことがある方も多いのではないでしょうか。

実は、こういった「まとめ動画」の制作には、番組知識に加え、専門性の高い編集スキルと相応の編集時間が必要となります。そこで、番組制作現場の作業効率を高めるために、AI（人工知能）を活用して、自動的に要約映像を生成する技術の開発に取り組んでいます。

――今回の展示⑩では、どんな研究成果が見られるのでしょうか？

展示では、AIを活用した映像自動要約システムについて解説します。具体的には、ニュースやドラマのどのような部分が要約映像の編集として切り出されているかをAIに学習させる仕組みと、そこからどのように要約映像を自動生成するかについて紹介いたします。

簡単に説明すると、編集前の元の映像と編集後の要約映像を大量に準備し、それぞれの映像ごとに、要約に使われた区間と使われなかった区間を分けます。次に、それぞれの区間について、構図やカメラワークなどの「特徴」をデータ入力してAIに学習させていきます。

また、要約映像に使われた区間は使用確率を示すスコアが高くなるように、使われなかった区間に対してはスコアが低くなるように学習させることで、数値によって要約映像に使うか、使わないかを判断することが可能となります。「特徴」をデータ入力した際の出力値が高い、すなわちAIが「要約映像に相応しい」と判断した映像区間をつなぎ合わせて、要約映像の自動生成ができるようになります。

さらに、ニュース映像の自動要約では、音声認識によるキーワード解析も組み合わせ、アナウンサーのコメントと映像が一致するように自動生成の仕組みをつくっています。

要約映像の自動生成のなかで、番組の最初から最後まで、区間ごとのスコアをつける作業がいちばん重い（負荷がかかる）処理となります。ただ、一旦スコアが決まってしまえば、長い番組を半分にするのと4分の1にするのとでは、生成時間はほぼ変わりません。

このように、最終的にAIが判断した抽出箇所が出力されますが、編集は必ずしも正解があるものではないので、人が介入して簡単に修正できる機能が実装されているのが特徴です。AIと人、それぞれの優位性を組み合わることで、効率的でより充実した内容の要約映像の編集を可能にしています。

――その他の注目ポイントと今後の課題などを教えてください。

6月2日（金）に予定されている「ラボトーク」では、一般の方にもわかりやすく上記の内容をお話しさせていただきます。ぜひ、会場にいらしていただき、放送技術の進歩を体感していただければと思います。

ラボトーク「AIによる映像要約・サムネイル抽出 ～番組の早見・味見を実現～」
6月2日（金）午前10時30分～
https://www.nhk.or.jp/strl/open2023/lecture/labtalk1.html

私が入局して、初めて取り組んだのが、AIによる動画のサムネイル（動画の見本として使われる小さなサイズの画像）の自動抽出システムでした。AIにどのような学習をさせれば、より最適なサムネイルを抽出できるかという研究です。ここでも要約映像と同様に、「画像評価」が抽出の鍵となりますので、そのあたりをラボトークではお話しさせていただきたいと思っています。

今後、取り組みたいと考えている研究のひとつは、「画像解析」です。ある映像から撮影された場所や年代を推定するようなシステムです。これからも、AIの活用が進んでいくかと思われますが、研究に活用するうえでは、過信しすぎないことも大切だと考えています。最近、注目されているAIのChatGPTも、平気で間違った答えを出してきますので（笑）。目指す研究や作業のなかで、いかにAIを活用するかという観点を大事にしたいです。

NHK放送技術研究所・スマートプロダクション研究部
前澤桃子（まえざわ・ももこ/ 2019年入局）
学生時代は「画像処理」などを研究。
初任地は放送技術研究所。入社時より研究業務に携わる。

▼「技研公開2023」インタビュー記事▼
【研究者スペシャルインタビュー①】
「テレビ視聴ロボット」で、失われつつある“お茶の間コミュニケーション”を取り戻せ！ | ステラnet (steranet.jp)