ユーザーは異なるスタイルを組み合わせて「何が起こるか」を楽しむことができるほか、スマートフォンを前後に傾けることで編集した画像と元の写真を行き来する機能も搭載されています。これはレンズプリントのような仕組みです。アプリの説明文には「Lentilの写真はホログラフィックカードのように作動します。スマートフォンを傾けることで、現実の写真と新たに生成されたAIの世界に変わります。」と記されています。現在、Lentilは無料で、ユーザーは好きなだけ写真を作成できるが、サインアップにはスパム防止のために電話番号が必要です。

Lentilがどのように動いているのかは定かではありませんが、RedditのユーザーはこのアプリがAI画像生成器「Stable Diffusion」のimg2imgバージョンにControlNetを追加したものではないかと推測しています。スタジオジブリは、1985年に宮崎駿、杜撰高畑、鈴木敏夫の3人によって設立され、心を打つ作品と美しい手描きアニメーションで知られる日本のアニメーションスタジオです。今年の初めには、宮崎駿がAI技術を見た際に驚愕した様子が報じられました。

LottieFilesは、デザイナーがアニメーションを作成、編集、共有するためのアニメーションワークフロープラットフォームであり、JSONベースのアニメーションファイル形式であるLottieを使用しています。特に、ウェブサイトにLottieアニメーションを埋め込んで再生するためのnpmパッケージ「lottie-player」を開発しています。

会社によると、多くのユーザーがバージョンが固定されていないサードパーティのCDN経由でライブラリを使用しているため、侵害されたバージョンが自動的に最新リリースとして提供されてしまったとのことです。これらの悪意のあるバージョンには、ユーザーに暗号通貨ウォレットを接続させるコードが含まれており、資金を奪うことを狙っている可能性があります。バージョン2.0.5、2.0.6、2.0.7を使用しているユーザーには、2.0.8への更新が推奨されています。

LottieFilesは、これらのバージョンが開発者の権限を持つアクセス・トークンを使って、わずか1時間でhttps://npmjs.comに直接公開されたと説明しました。修正版をリリースするだけでなく、3つの悪意のあるバージョンはnpmパッケージリポジトリから削除されました。また、LottieFilesはインシデントへの対応計画を発動し、外部のインシデント対応チームを調査の支援に招いていると述べています。

従来、この手の技術は映画『アバター』に見られるように、複雑なモーションキャプチャ装置やフェイシャルキャプチャを必要とし、複数の映像を参照する必要があった。しかし、Runwayは「アーティストが新しい創造的表現の道を開くために、表現力豊かでコントロール可能なツールを構築する」ことを使命にしていると言う。

Act-Oneは、モーションキャプチャやキャラクターリギングがなくても、単一の動画から無数のキャラクターデザインやスタイルに渡って演技を翻訳できる。これにより、クリエイターは感情豊かなパフォーマンスを生み出し、以前は不可能だったキャラクターの深みを表現できるようになる。

Runwayによると、従来のアプローチの大きな課題は、参照映像からデジタルキャラクターへの感情や微細なニュアンスを保存することにある。これに対して、同社のアプローチは完全に異なるパイプラインを使用し、俳優のパフォーマンスだけを直接利用することが特徴だ。

Act-Oneは、アニメキャラからリアルなコンピュータ生成人間まで多様な参照画像に適用できるほか、カメラ角度や焦点距離の変化にも強力な出力性能を持つ。この機能は、視聴者がコンテンツに感情移入しやすい信じられるキャラクターを創り出すことを可能にする。

さらに、Act-Oneでは、視線、マイクロエクスプレッション、ペーシング、演出も忠実に再現される。Runwayは、ユーザーが消費者向けカメラと一人の俳優を使って高品質で物語性のあるコンテンツを簡単に作成できるようになると述べている。俳優は異なるキャラクターを演じることも可能であり、今後、このツールはRunwayユーザー向けに提供が開始され、間もなく一般にも利用可能になる。

最初のツール「Project Scenic」では、ユーザーがアドビのFireflyモデルによって生成された画像を詳細に操作できるようになります。単にテキストによる説明に依存するのではなく、Scenicは具体的な物体を追加、移動、サイズ変更できる3Dシーンを生成します。最終的に、この3Dプランに基づいて2D画像が生成されます。

次に発表された「Project Motion」は、さまざまなスタイルでアニメーションを作成できる二段階のツールです。最初の段階では、テキストや基本的な画像に動きの効果を追加することができ、アニメーション経験がない人でも簡単に扱えます。次の段階では、このアニメーション動画がテキストの説明やリファレンス画像を使用して変換され、色彩やテクスチャ、背景のシーケンスが追加されます。

「Project Clean Machine」は、画像や動画からカメラフラッシュやフレームに入ってくる人物などの気を散らす要素を自動的に除去する編集ツールです。これは、自動コンテンツ認識フィルに似ていますが、除去する視覚的要素によって引き起こされる不要な効果も修正します。例えば、背景の花火がシーンの数秒間を露出オーバーにした場合でも、Clean Machineはフラッシュを取り除いた後でも色味やライティングが一貫していることを保証します。

これらのツールは、アドビのMAXカンファレンスで「Sneaks」として発表されました。Sneaksは新技術を紹介し、公共の興味を測るための開発中のプロジェクトを指します。Sneakが正式リリースされる保証はありませんが、PhotoshopのDistraction RemovalやAfter EffectsのContent-Aware Fillなど、多くの機能はこれらのプロジェクトに起因しています。これらのSneaksの早期プレビューが行われたため、今日のデモでさらに詳しい情報が得られることが期待されます。現時点ではこれらのツールは一般ユーザーには利用できませんが、今後数ヶ月で状況が変わる可能性があります。