画像1枚でバーチャルYouTuberに⁉ Googleのエンジニアが画期的な技術考案

将来的には、キャラクターの画像が1枚あればバーチャルYouTuberになれるかもしれません。

2019年11月25日、「masterspark」(登録者数280人)のチャンネルで「一枚のキャラクター画像だけで簡単な顔アニメーションを制作するシステムを作ってみました【日本語版】」という動画が公開されました。

動画では、1枚の静止画(画面左側)をもとに、動画撮影者(画面中央)の表情や顔の向きといった情報を反映させ、画像のキャラクターが動く映像(画面右側)が出力されています。
その一例として、にじさんじ所属のバーチャルYouTuber「御伽原江良」(登録者数20万人)や「社築」(同14万人)、ホロライブ所属の「ときのそら」(同25万人)らの画像を動かしています。

Googleのエンジニアが開発

このシステムを開発したのは、GoogleJapanに勤務するシステムエンジニアのPramook Khungurn(プラムック・クングルン)氏。

かなりの日本オタクで、自身のプロフィールではアニメや漫画といった日本のポップカルチャーが大好きと公言しているほか、そのために日本語を勉強したり、コンピューターグラフィックスで博士号をとったことを明かしています。
これまでも、アニメや漫画のキャラクターの画像から関節の位置やポーズを推定する「2D articulated pose estimation」なるシステムを開発しています。

そして今回、日本のバーチャルYouTuberに「魅了された」と話すクングルン氏は、画像をバーチャルYouTuberのモデルのように動かすシステムを開発。
同日に公開した「Talking Head Anime from a Single Image」というタイトルの論文で、この技術についての詳細も公表されています。

技術としてはまだまだ発展途上?

動画では様々なバーチャルYouTuberの画像を動かしたクングルン氏でしたが、「今は可能な動きは限られている」と話しており、システム自体はまだまだ発展途上のようです。
例えば「社築」のような男性キャラクターの口の動きにはまだ対応していないほか、別の動画で35人のバーチャルYouTuberの画像を動かした際は「エクス・アルビオ」(登録者数12万人)の背負っている剣の動きが不自然になるなど、想定していないパーツの動きには完全には対応できていない様子でした。

画像1枚でバーチャルYouTuberになれる

現在は『アニ文字』をはじめ、簡単に撮影者の表情をキャラクターや絵文字に反映させることができるなど、バーチャルYouTuberに利用される技術を身近に感じられる場面も増えてきました。
しかしながらそういったソフトでは動かせるキャラクターに指定があったり、自分でキャラクターの3Dモデルを用意する必要があったりと、様々な制限がありました。

ところがこのソフトが必要とするのは、キャラクターの画像1枚のみ。
一例として、クングルン氏はオリジナルのキャラクターも他のバーチャルYouTuberと同様に動かしています。

YouTube 

また動画では、動かすキャラクターを手軽に切り替える様子も見せており、ユーザーに求められる手間の少なさも感じさせました。

クングルン氏は将来的に、このシステムが

バーチャルYouTuberのコンテンツを制作することができます。そして、ノベルゲー(ビジュアルノベル)の開発にも適用があると思います。

と話しました。
将来的には、画像1枚でバーチャルYouTuberになれるのかもしれません。