AI動画プラットフォームのRunwayが、驚異的な新ツール「Act-One」を発表した。これは、たった一つの動画を用いて人間の演技をコンピューター生成のキャラクターに変換する技術である。具体的には、スマートフォンで撮影した人が話す動画を入力に使用し、その演技をもとに魅力的なアニメーションを作成する。
従来、この手の技術は映画『アバター』に見られるように、複雑なモーションキャプチャ装置やフェイシャルキャプチャを必要とし、複数の映像を参照する必要があった。しかし、Runwayは「アーティストが新しい創造的表現の道を開くために、表現力豊かでコントロール可能なツールを構築する」ことを使命にしていると言う。
Act-Oneは、モーションキャプチャやキャラクターリギングがなくても、単一の動画から無数のキャラクターデザインやスタイルに渡って演技を翻訳できる。これにより、クリエイターは感情豊かなパフォーマンスを生み出し、以前は不可能だったキャラクターの深みを表現できるようになる。
Runwayによると、従来のアプローチの大きな課題は、参照映像からデジタルキャラクターへの感情や微細なニュアンスを保存することにある。これに対して、同社のアプローチは完全に異なるパイプラインを使用し、俳優のパフォーマンスだけを直接利用することが特徴だ。
Act-Oneは、アニメキャラからリアルなコンピュータ生成人間まで多様な参照画像に適用できるほか、カメラ角度や焦点距離の変化にも強力な出力性能を持つ。この機能は、視聴者がコンテンツに感情移入しやすい信じられるキャラクターを創り出すことを可能にする。
さらに、Act-Oneでは、視線、マイクロエクスプレッション、ペーシング、演出も忠実に再現される。Runwayは、ユーザーが消費者向けカメラと一人の俳優を使って高品質で物語性のあるコンテンツを簡単に作成できるようになると述べている。俳優は異なるキャラクターを演じることも可能であり、今後、このツールはRunwayユーザー向けに提供が開始され、間もなく一般にも利用可能になる。