【Vtuber】2D・3Dモデルでフェイストラッキングをする3つの方法

Vtuber制作

こんにちは!

どうも、Vtuberの解剖学者(@obakasahara)です。

2020年以降、フェイストラッキング用のソフト・機材が増えてきました。

今回はフェイストラッキングに絞って、ソフトや機材をまとめていきます。

フェイストラッキングをする方法

今回紹介するフェイストラキングをする方法は以下の3つです。

  • webカメラ+PCソフト
  • iPhoneX(X以降も可)+アプリ
  • webカメラ+Unity

他にも方法はいくつかありますが、簡単にフェイストラッキングを使いたいならこの3つが王道のやり方でしょう。

それぞれ、詳しく解説していきますね。

webカメラ+PCソフト


2020年現在、個人でVtuberを始めるのであれば、webカメラ+PCソフトが一番多いと思います。

PCソフトを使うメリットとして、配信が楽にできるのがポイントです。

スマホでも配信・録画はできますが、特定のアプリしかできなかったりします。

また、PCならSwitchなどハードゲームと繋げることも可能なので、ゲーム配信をやりたい人にもPCソフトでフェストラッキングすることをおすすめします。

2DモデルならFacerig!

まず、フェイストラッキングと調べて1番最初に出てくるのが「Facerig」というソフトだと思います。

Facerigは約1500円でフェイストラッキングが可能になるソフトで、steamというサイトで購入することができます。

今までかなり使ってきましたが、めちゃくちゃ使いやすいソフトです。

精度も高くて、口や目の動きをきちんと検知してくれます。

Facerigでフェイストラッキングをするためにはwebカメラが必要ですが、逆にwebカメラだけあれば後は何も必要がありません。

Facerigに関して詳しく知りたい人はこちらを参考にしてください。

Live2Dモデルを動かそう!Facerigの使い方を徹底解説
こんにちは。 さて、今回の記事ではFacerigの使い方をまとめていきます。 Live2Dで作られたモデルの...

2Dモデルは簡単に導入可能!

2Dモデルの場合、Facerigに導入するなら導入モジュールがあります!

「Live2D」というソフトで編集したモデルであれば、簡単に導入が可能です。

このLive2D+Facerigで、Vtuberをやっている人はかなり多いので、2Dモデルをフェイストラッキングしたい場合はこの組み合わせがいいでしょう。

LIVE2DとFacerigを使った自作Vtuberの作り方!
こんにちは! フリーランスでVtuber制作をしているVtuberの解剖学者(@obakasahara)です。 ...

3Dモデルの導入もできるけど…

Facerigでは既存のキャラクターが用意されていますが、自作のオリジナルモデルを導入することもできます。

自作するキャラクターは3Dと2Dのものがあると思いますが、正直いって3Dモデルの導入は難しいです。

3Dモデルを導入するには、かなりの制限があります。

情報も少ないので、Facerigは3Dモデルを動かすソフトとしてはおすすめできませんね。

3Dモデルなら3tene!

3Dモデルをフェイストラッキングするなら3teneがおすすめです。

このソフトは無料で3Dモデルのフェイストラッキングができます。

VRM形式のモデルであれば動かせるので、導入も比較的簡単です。

また、VRやKinectなどモーションキャプチャの機材を用意すれば、全身を動かすことも可能です。

iPhone+アプリ

最近はフェイストラッキングができるアプリもいくつかリリースされています。

特にiPhoneX以降のiPhoneにはフェイストラッキング機能(ARkit)が付いているので、トラッキング精度が高いのが特徴です。

PCよりもトラッキング精度が高いので、綺麗にモデルを動かしたい場合はiPhoneX+アプリでフェイストラッキングするのがいいでしょう。

Androidなどでも動かせるアプリはありますが、トラッキング精度が低いです。もしスマホでフェイストラッキングをしたいのであれば、iPhoneX以降のものを使用しましょう。

2DならVtubeStudio

もし2Dモデルでフェイストラッキングをしたいのであれば、VtubeStudioがおすすめです。

こちらのアプリはLive2Dモデルが動かせるアプリで、機能的にはFacerigに似ています。

トラッキング精度はFacerigより高く、PCとの連携も可能(課金が必要)なので、このアプリを使ってゲーム配信なども可能です。

もしLive2Dモデルをスマホで動かすのであれば、このアプリがおすすめです!

Macと連動!Live2Dモデルを導入できるVtubeStudioの使い方!
こんにちは。 さて今回は2020年6月にリリースされて噂になった「Vtubestudio」の使い方を解説していきた...

3Dモデルなら3tenePRO

【自動表情変更】3teneV2 機能紹介

3teneの有料版ではiPhoneでフェイストラッキングしたデータをPCの3teneと連携することが可能です。

また、フェイストラッキングとは別に機材を用意すれば体も一緒に動かすことが可能なので、様々な表現が可能になります。

他にも「waidayo」などの他のソフトもありますが、他の機材と連携できる点で3tenePRO版がいいでしょう。

様々な機材に対応!3tenePRO+Live2Dプランを徹底解説!
最近、BeatSaberにはまっています。こんにちは。 さてさて今回は3tenePRO+Live2Dプランについて...

webカメラ+Unity

Unityを使って自分でフェイストラッキングの環境を整えることも可能です。

この方法のメリットはMacでもフェイストラッキングができることです。

こちらは技術力がないとできませんが、今まで紹介したソフトはWindowsにしか対応していません

UnityならMac環境でもフェイストラッキングをすることができます。

【VTuber 新作アセット】いつでもどこでも美少女や動物になれる人気アプリ「パペ文字」のようなフェイストラッキング系アセットがついに登場! 『バーチャルYoutuber』になるために作られたOpenCVで有名な日本作家さんの無料アセットが本日リリース! 「CV VTuber Example」 - Unity AssetStoreまとめ
CV VTuber Example 完成プロジェクト/チュートリアル Enox Software 新作無料 【リリース日】2018年5月28日 Open CVで有名な日本作家さんから、VTuberになるために作られたアセットが新登場!!! スマートフォンやWebカメラで自分の顔を映せば、 アバター(3Dキャラクター)が...

やり方に関してはこのブログを参考にしてみてください!

また、Macの人は以下の記事でUnity以外の方法も解説しているので、ぜひ参考にしましょう。

【2020年】Macを使ってVtuberになる5つの方法!
こんにちは! フリーランスとしてVtuber制作をしているかさはら(@obakasahara)です。 僕は普...

フェイストラッキングしてみよう!

フェイストラッキングをする方法は調べると色々出てきますが、今回は簡単でかつ王道の方法を3つご紹介しました!

unityでフェイストラッキングを行う方法もあるっぽいんですが、コード書けない人には導入が難しいっぽいんですよね…。(あと費用が結構かかる)

まあ3Dキャラでも2Dキャラでも、今回紹介した方法でやればフェイストラッキングはできると思います!

ぜひ、フェイストラッキングにチャレンジして、Vtuberデビューしましょう!

体を動かしたい人は…

フェイストラッキングでは基本的に顔の表情しかトラッキングすることができません。

体の動きをトラッキングするためには、モーションキャプチャーの機材やソフト・アプリが必要になります。

モーションキャプチャーについて知りたい人は以下の記事を参考にしてみてください!

Vtuberが動かせるモーションキャプチャー用機材とソフトまとめ
こんにちは! さて、今回はモーションキャプチャについて機材やソフトも合わせて詳しく解説していきます! モーション...

コメント

タイトルとURLをコピーしました