2Dのバーチャルアバターに必要なもの
2Dアバターを作って使用するには、以下の3つを準備する必要がある。
- モーションキャプチャシステム
カメラで取得した被写体の動きをトラッキングして、アバターに反映するためのソフトやアプリ。 - 2Dアバター
平面のイラストに可動域やアニメーションを加えたもの。
作る際はイラストに可動域やアニメーションを加えるソフトが必要。 - 配信・録画ソフト
トラッキングしたアバターを動画や配信で表示するために必要なソフト。
こちらはベストソリューション的にOBSというソフトが利用されており、現状では悩む必要は無さそう。
3Dと比較すると、そこまで選択肢が多くなさそう。
まずは利用するモーションキャプチャから調べてみる。
モーションキャプチャ
今回は2Dアバターの使用を前提として、1台のWebカメラやスマホのカメラでトラッキングできるものを調べた。OSやデバイス（PC/スマホ）の対応状況、デバイスによっての料金や機能の違いなどもあるので、気になるものは詳細をご確認ください。
-
Adobe Character Animator
Webカメラで身体の動きもトラッキングできる。
Adobe製品なのでPhotoshopやIllustratorで作成した素材と同期できる。
2Dアバター化のためのアニメーション設定もできる。単品でのサブスクはなく「Creative Cloud コンプリートプラン」に加入するしかない。 「Creative Cloud コンプリートプラン」に入っている方であれば、別のソフトやサービスの購入が不要で作れる。
-
Animaze
Vtuberが多く利用する「FaceRig」というツールの後継ツールです。
2D/3Dのモデルに対応。（2DはLive2Dのみ）
Webカメラ（Windows）とiPhoneのカメラに対応。トラッキングから外れてベースのポーズに戻る際、モーションが自然なところなどが人気のようです。
無料で使うこともできますが、料金体系はサブスク。ウォーターマークの非表示、iPhoneのカメラを利用、90分の配信時間の制限解除などは、サブスクに加入しないとできない。 -
nizima LIVE
Live2Dの公式。WebカメラとiPhoneのカメラに対応。モデルの表情やモーションをクリック一つで動かせる。Live2Dモデルを取り込んだ後は、物理演算や動きの詳細設定がnizima LIVEでできる。
料金体系はサブスク、無料プランあり。
無料プランは商用利用NGやウォーターマーク表示など。 -
Vtube Studio
Live2Dモデル専用でフェイストラッキングができる。
WebカメラとiPhone/Androidのカメラに対応。 無料利用だとウォーターマークが表示されるが、買い切りで削除可能（1,500円程度）。 -
3tente（3tentePRO + Live2D）
3tente（ミテネ）はLive2D対応プランのみ2D対応。（基本は3Dモデル対応）
フェイストラッキング（Webカメラ、iPhoneX以降）と腕の操作 （LeapMotion）に対応。個人利用の場合は買い切りで2,750円（税込）とあり、お手頃に始められそう。
-
PrprLive
PrprLive（ペロペロライブ）は、基本無料で利用できて、ウォーターマークなども表示されない。
より高精度なトラッキングや視覚化プログラミングシステムなどは、有料（買い切り）で追加できる。
2DアバターにおいてはLive2Dモデルを前提としたものが多い。
3Dアバターだと変わってくると思うので、2Dアバターを作った後に3Dアバターを調べてみようと思う。
iPhoneのカメラ利用については、iPhone X以降に搭載された「TrueDepth カメラ」を利用して、高精度なトラッキングを実現するためのようです。
TrueDepth カメラは、何千もの目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。
2Dアニメーション（2Dアバター化）
イラストに動きをつけて2Dアバター化するソフトを調べた。
ゲームやアニメ制作を中心に使われるものは、最終的にアバターとして動かす難易度が高そうなので、除外した。
-
Adobe Character Animator
モーションキャプチャでも紹介したが、イラスト素材にアニメーションを付けてアバター化する部分も担う。組み込みのパペットテンプレートを使用するか、IllustratorやPhotoshopから読み込むことも可能。基本的にIllustratorやPhotoshopを併用してオリジナルアバターを作る方法になる。
-
E-mote/えもふり
E-mote（エモート）は簡単にキャラクターアニメーションを作ることができるツールで、テンプレートのパーツ分けされたPSDファイルをインポートするだけで動き、調整作業が楽とのこと。
個人での使用であれば、「E-mote」とほぼ同機能の「えもふり」を無料で使えるようです。
ただし、前述で紹介したモーションキャプチャツールには対応してないので、トラッキングするにはUnityで色々やるしかなさそう。トラッキングするアバター利用には、ちょっと厳いか。 -
Live2D Cubism
2Dアバター制作ツールの代表格。2D対応のモーションキャプチャは、Live2Dで作成したアバターを前提としたものが多かった。料金体系はサブスクのみ。
また、Live2Dモデルを購入・販売ができる公式マーケットもある。
公式マーケットで購入した方が、制作ツール代より時間もコストもお得かもしれない。
色々調べてみたが、やはりLive2Dが強い。
録画・配信
OBS Studio
オープンソースのソフトで、これ一択のようです。
OBS側で録画や配信する仮想カメラの選択をします。Adobe Character Animatorを使う場合は、仮想カメラ機能が付いていないので、NDI Toolsopen_in_newで仮想カメラを使えるようにしてOBSで録画・配信すればできる。
おわりに
ふわっと調べただけだが、お財布事情と相談しながら自作する方法を決めたい。
3Dアバターの自作もやりたいので、3Dアバターを使うことも視野に検討してみる。
まずは2Dアバターを自作するにも、作業に耐えられそうなPCを持っていないので、クリエイターやVtuber並みのスペックのPCを買うところから始めます。。