バーチャルアバターを作る方法について調べてみる【2D編】

schedule Published
Category folderJumble
format_list_bulleted Contents

メタバースが盛り上がっていますが、いきなりヘッドマウントディスプレイを利用したり、全身をトラッキングすることは無さそうなので、前哨戦で2Dのバーチャルアバターについて調べてみました。2DアバターでVtuberになったり、すぐに仕事のWeb会議にも使えそうなので自作するつもりです。

2Dのバーチャルアバターに必要なもの

既に一般的に使われているPCやスマートフォン、インターネットなどは省略します。
2Dアバターを作って使用するには、以下の3つを準備する必要があるようです。

  • モーションキャプチャシステム
    カメラで取得した被写体の動きをトラッキングして、アバターに反映するためのソフトやアプリ。
  • 2Dアバター
    平面のイラストに可動域やアニメーションを加えたもの。
    作る際はイラストに可動域やアニメーションを加えるソフトが必要。
  • 配信・録画ソフト
    トラッキングしたアバターを動画や配信で表示するために必要なソフト。
    こちらはベストソリューション的にOBSというソフトが利用されており、現状では悩む必要は無さそうでした。

3Dと比較すると、そこまで選択肢が多くないようです。
まずは利用するモーションキャプチャから決めていきます。

モーションキャプチャ

今回は2Dアバターの使用を前提として、1台のWebカメラやスマホのカメラでトラッキングできるものを調べてみました。OSやデバイス(PC/スマホ)の対応状況、デバイスによっての料金や機能の違いなどもあるので、気になるものは詳細をご確認ください。

  • Adobe Character Animator

    Adobe Character Animator

    Webカメラで身体の動きもトラッキングできる。
    Adobe製品なのでPhotoshopやIllustratorで作成した素材と同期できる。
    2Dアバター化のためのアニメーション設定もできる。

    実際は単品でのサブスクはなく「Creative Cloud コンプリートプラン」に加入するしかありません。 「Creative Cloud コンプリートプラン」に入っている方であれば、別のソフトやサービスの購入が不要で作れるのが良いなと思いました。

  • Animaze

    Animaze

    Vtuberが多く利用する「FaceRig」というツールの後継ツールだそうです。
    2D/3Dのモデルに対応。(2DはLive2Dのみ)
    Webカメラ(Windows)とiPhoneのカメラに対応。

    トラッキングから外れてベースのポーズに戻る際、モーションが自然なところなどが人気のようです。
    無料で使うこともできますが、料金体系はサブスクのようです。ウォーターマークの非表示、iPhoneのカメラを利用、90分の配信時間の制限解除などは、サブスクに加入しないとできません。

  • nizima LIVE

    nizima LIVE

    Live2Dの公式。WebカメラとiPhoneのカメラに対応。モデルの表情やモーションをクリック一つで動かせる。Live2Dモデルを取り込んだ後は、物理演算や動きの詳細設定がnizima LIVEでできる。

    料金体系はサブスク、無料プランあり。
    無料プランは商用利用NGやウォーターマーク表示など。

  • Vtube Studio

    Vtube Studio

    Live2Dモデル専用でフェイストラッキングができる。
    WebカメラとiPhone/Androidのカメラに対応。 無料利用だとウォーターマークが表示されるが、買い切りで削除可能(1,500円程度)。

  • 3tente(3tentePRO + Live2D)

    3tente

    3tente(ミテネ)はLive2D対応プランのみ2D対応。(基本は3Dモデル対応)
    フェイストラッキング(Webカメラ、iPhoneX以降)と腕の操作 (LeapMotion)に対応。

    個人利用の場合は買い切りで2,750円(税込)とあり、お手頃に始められそうです。

  • PrprLive

    PrprLive

    PrprLive(ペロペロライブ)は、基本無料で利用できて、ウォーターマークなども表示されません。
    より高精度なトラッキングや視覚化プログラミングシステムなどは、有料(買い切り)で追加できるようです。

2DアバターにおいてはLive2Dモデルを前提としたものが多いようです。
3Dアバターだと変わってくると思うので、2Dアバターを作った後に3Dアバターを調べてみようと思います。

iPhoneのカメラ利用については、iPhone X以降に搭載された「TrueDepth カメラ」を利用して、高精度なトラッキングを実現するためのようです。

TrueDepth カメラは、何千もの目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。

出典:先進の Face ID テクノロジーについて - Apple サポート (日本)open_in_new

2Dアニメーション(2Dアバター化)

イラストに動きをつけて2Dアバター化するソフトを調べました。
ゲームやアニメ制作を中心に使われるものは、最終的にアバターとして動かす難易度が高そうなので、除外しています。

  • Adobe Character Animator

    Adobe Character Animator

    モーションキャプチャでも紹介しましたが、イラスト素材にアニメーションを付けてアバター化する部分も担います。組み込みのパペットテンプレートを使用するか、IllustratorやPhotoshopから読み込むことも可能です。基本的にIllustratorやPhotoshopを併用してオリジナルアバターを作る方法になると思います。

  • E-mote/えもふり

    E-mote

    E-mote(エモート)は簡単にキャラクターアニメーションを作ることができるツールで、テンプレートのパーツ分けされたPSDファイルをインポートするだけで動き、調整作業が楽とのこと。

    個人での使用であれば、「E-mote」とほぼ同機能の「えもふり」を無料で使えるようです。
    ただし、前述で紹介したモーションキャプチャツールには対応してないので、トラッキングするにはUnityで色々やるしかないようです。トラッキングするアバター利用には、ちょっと厳しそう。

  • Live2D Cubism

    Live2D Cubism

    2Dアバター制作ツールの代表格のようです。2D対応のモーションキャプチャは、Live2Dで作成したアバターを前提としたものが多かったです。料金体系はサブスクのみでした。

    また、Live2Dモデルを購入・販売ができる公式マーケットもあるようです。

    公式マーケットで購入した方が、制作ツール代より時間もコストもお得になるかもしれません。

色々調べてみましたが、やはりLive2Dが強いようです。
Live2DにするかAdobe Character Animatorにするか。一旦は自作する方向で検討してみます。

録画・配信

OBS Studio

OBS Studio

オープンソースのソフトで、これ一択のようです。
OBS側で録画や配信する仮想カメラの選択をします。Adobe Character Animatorを使う場合は、仮想カメラ機能が付いていないので、NDI Toolsopen_in_newで仮想カメラを使えるようにしてOBSで録画・配信をすれば良いみたいです。

おわりに

ふわっと調べただけですが、お財布事情と相談しながら自作する方法を決めていきたいと思います。
3Dアバターの自作もやりたいので、3Dアバターを使うことも視野に検討してみます。

まずは2Dアバターを自作するにも、作業に耐えられそうなPCを持っていないので、クリエイターやVtuber並みのスペックのPCを買うところから始めます。。