画像・音声・動画とマルチモーダル

モダリティは、文章、画像、音声、動画など、情報の種類や表現形式を指します。マルチモーダルなモデルは、複数の種類の情報を受け取り、関係づけたり生成したりできます。例えば、写真と質問文から状況を説明する、音声から文字を起こして要約する、といった使い方があります。

ただし、すべてのサービスがあらゆる入出力を扱うわけではありません。画像を読み取れることと、画像を生成できることも別の機能です。入力形式と出力形式を具体的に確かめましょう。

拡散モデルは、データにノイズを加える過程と、そのノイズを取り除く過程に着目した生成モデルです。生成時には、ノイズから段階的に構造を作る考え方が用いられます。画像全体の作成だけでなく、一部を指定して描き直すインペインティングなどにも応用されます。

生成方法には他の方式もあり、すべての画像や動画AIが同一の構造とは限りません。見た目が自然でも、文字、指の形、物体の数、前後の場面の連続性などに誤りが生じることがあるため、目的に沿って点検します。

音声合成は文章から音声を作り、ボイスクローニングは特定の声の特徴を再現する技術です。本人の声に似て聞こえるからこそ、同意や利用範囲の確認が重要になります。動画でも、実在の人物が発言したように見せることができます。

制作物を公開する前に、素材の利用条件、人物の扱い、誤認を与える表示がないかを確かめましょう。来歴情報や電子透かしは確認の手掛かりですが、付いていないから偽物、付いているから内容が真実、と機械的には判断できません。