【Vtuber】3D,2Dモデルでフェイストラッキングをする4つの方法

Vtuberの作り方

こんにちは!

どうも、Vtuberの解剖学者(@obakasahara)です。

普段はVtuberを作ってまして、作ったモデルはテレビ番組で使われたりもしています。

さて、今回はフェイストラッキングの記事を書いていこうと思います!

フェイストラッキングをする方法はいくつかあります!

Vtuberをこれから作ろうとしている人はぜひ参考にしてみてください。

フェイストラッキングをする方法

今回紹介するフェイストラキングをする方法は以下の3つです。

  • webカメラ+facerig
  • webカメラ+Hitogata
  • iPhoneX+パぺ文字
  • Unity

他にも方法はいくつかありますが、簡単にフェイストラッキングを使いたいならこの3つが王道のやり方でしょう。

webカメラ+facerig

費用webカメラ代+約1500円(ツール本体の値段のみ)
フェイストラッキング精度高い
キャラクター2Dと3Dに対応

まず、フェイストラッキングと調べて1番最初に出てくるのが「facerig」だと思います。

facerigは1500円でフェイストラッキングが可能になるツールで、steamというサイトで購入することができます。

僕は実際に購入して使ってみたのですが、めちゃくちゃ使いやすいツールでした。

facerigにはいくつかキャラクターが用意されていて、そのキャラを自分の表情とリンクさせることができます。

精度も高くて、笑った表情とかもしっかり検知してくれます。

facerigでフェイストラッキングをするためにはwebカメラが必要ですが、逆にwebカメラだけあれば後は何も必要がありません。

オリジナルキャラの導入もできるけど…

facerigでは既存のキャラクターが用意されていますが、自作のオリジナルキャラクターを導入することもできます。

自作するキャラクターは3Dと2Dのものがあると思いますが、正直いって3Dキャラクターの導入は難しいです。

3Dキャラクターを導入するには、かなりの制限があります。

ボーンやマテリアルの名前の指定であったり、アニメーションの作り方の指定など色々制限があって、導入の難易度はかなり高めです。

僕は一回導入にチャレンジしましたが、断念しましたw

ぜひ皆さん、チャレンジしてみて成功したら教えてくださいw

僕はおすすめしませんが…

2Dキャラは導入モジュールがある!

自作の2Dキャラを作った場合、facerigに導入するなら導入モジュール(導入を簡単にするツール)があります!

もしfacerigに2Dキャラを導入する場合は「LIVE2D」というツールを使ってキャラを加工しましょう。

facerigにはLIVE2Dに対応したモジュールがあるので、LIVE2Dで作ったキャラを導入することは簡単です!

導入の仕方は、調べると色んなサイトが出てきます。

これらのサイトを参考にすれば、成功すると思うので、facerigで2Dキャラを導入したい人は参考にしてみましょう。

またLive2Dの使い方を知りたい人はこちら。

LIVE2DとFacerigを使った自作Vtuberの作り方!
こんにちは! フリーランスでVtuber制作をしているVtuberの解剖学者(@obakasahara)です。 なんと、先日僕が作ったLive2Dモデルがテレビで使われました。 今日の11時15分からの『ゲストは偉人さま』...

webカメラ+Hitogata

引用元:https://sites.google.com/site/vhitogata/

費用webカメラ代(ツールは無料)
フェイストラッキング精度普通
キャラクター3Dキャラのみ対応

この「Hitogata」というツールは有志で作られているツールで、なんと無料で使うことができます!

僕もこのツールは使ったことがありますが、無料の割にかなり使いやすいツールでした!

フェイストラッキングの精度や機能はfacerigに劣りますが、オリジナルキャラクターも導入できますし、フェイストラッキングをするには十分な機能が付いています。

Hitogataでフェイストラッキングをするにはfacerigと同じようにwebカメラが必要になります。

オリジナルキャラの導入も簡単!

facerigでは自作3Dキャラを導入するのは難易度が高かったですが、Hitogataでは簡単に自作3Dキャラを導入することができます。

僕も自作キャラを作って導入しましたが、すんなり導入できました!

ぜひ皆さんも導入にチャレンジしてみてください!

導入するときには、Hitogataのホームページにマニュアルがあるので、それを参考にしてみましょう。

録画は他のツールが必要

Hitogataのデメリットとして、録画をするには別のツールが必要ということですね。

facerigではツール内で録画が可能なのですが、Hitogataではキャプチャ録画をするツールが必要になります。

キャプチャ録画とは、PCで表示されている画面自体を録画することです。

Hitogataで録画・録音をしたいときには、音声と録画は別のツールを用意しましょう。

iPhoneX+パぺ文字

引用元:https://prtimes.jp/main/html/rd/p/000000014.000021062.html

費用iPhoneX代(ツールは無料)
精度高い
キャラクター2Dと3Dに対応

iPhoneXには顔認証の機能が付いているので、それを使ってフェイストラッキングを行うこともできます。

1番有名なアプリは「パぺ文字」だと思います。

パぺ文字ではiPhoneXを使って、自由にフェイストラッキングを行うことができます。

僕はiPhoneXを持っていないので、このアプリは試したことがないですが、試した人の動画を見る限りフェイストラッキングの精度は高いと思います。

また背景や声なども変更可能みたいなので、機能も豊富みたいです!

しかも、ツール自体は無料です!

スマホ一台でフェイストラッキングができちゃうので、いいですね。

他にもVtuberになれるアプリはあるので、気になる人はこちら!

【無料】スマホで簡単にVtuberを始められるおすすめアプリ6選!
こんにちは!フリーでVtuber制作をしているかさはら(@vtuber05539895)です。今回はスマホで簡単にVtuberを始められるアプリを5つご紹介します。最近になってスマホでもVtuberを始められるようになってきました!...

自作キャラクターの導入は…

パぺ文字というアプリにはキャラクターがいくつか用意されていますが、自作キャラを導入することができます。

しかし、オリジナルキャラクターを導入は個別対応だそうです。

もし自分で作ったオリジナルキャラクターを導入したかったら、お問い合わせフォームで連絡を取る必要があります。

調べた感じだと費用などはわかりませんでした…。

もし自作キャラの導入を本気で考えている人がいたら、以下のお問い合わせフォームから問い合わせてみましょ。

Unity

Unityを使って自分でフェイストラッキングの環境を整えることも可能です。

この方法のメリットはMacでもフェイストラッキングができることです。

こちらは技術力がないとできませんが、今まで紹介したツールはWindowsにしか対応していません

UnityならMac環境でもフェイストラッキングをすることができます。

【VTuber 新作アセット】いつでもどこでも美少女や動物になれる人気アプリ「パペ文字」のようなフェイストラッキング系アセットがついに登場! 『バーチャルYoutuber』になるために作られたOpenCVで有名な日本作家さんの無料アセットが本日リリース! 「CV VTuber Example」 - Unity AssetStoreまとめ
CV VTuber Example 完成プロジェクト/チュートリアル Enox Software 新作無料 【リリース日】2018年5月28日 Open CVで有名な日本作家さんから、VTuberになるために作られたアセットが新登場!!! スマートフォンやWebカメラで自分の顔を映せば、 アバター(3Dキャラクター)が...

やり方に関してはこのブログを参考にしてみてください!

フェイストラッキングしてみよう!

フェイストラッキングをする方法は調べると色々出てきますが、今回は簡単でかつ王道の方法を3つご紹介しました!

unityでフェイストラッキングを行う方法もあるっぽいんですが、コード書けない人には導入が難しいっぽいんですよね…。(あと費用が結構かかる)

まあ3Dキャラでも2Dキャラでも、今回紹介した方法でやればフェイストラッキングはできると思います!

ぜひ、フェイストラッキングにチャレンジして、Vtuberデビューしましょう!

体を動かしたい人は…

フェイストラッキングでは基本的に顔の表情しかトラッキングすることができません。

体の動きをトラッキングするためには、モーションキャプチャーの機材やツールが必要になります。

モーションキャプチャーについて知りたい人は以下の記事を参考にしてみてください!

モーションキャプチャーの機材とUnityを利用してVtuberになる4つの方法
こんにちは! フリーランスとしてVtuber制作をしているかさはらです。 最近、作ったモデルがテレビ番組に使われました!うれしっ! 前回告知し忘れましたが、テレビ朝日で本日深夜1時24分から放送の「ゲストは偉人さま!!」と...

Vtuber制作を承ります!

現在、Vtuber制作を承っております!

2D・3Dどちらも制作可能です。

また知識がない人も動かすまでのサポートもセットで承ります。

僕の制作実績や大体のお値段を知りたい人は以下からみれます。

【2D・3D】Vtuber制作実績一覧
こんにちは! 現在フリーランスでVtuber制作をしているかさはら(@obakasahara)です。 このページでは今まで僕が制作したモデルのポートフォリオをまとめてみます。 ご依頼を希望の方や採用担当の方は参考にしてみて...

依頼したい人は「お問い合わせ」かtwitter(@vtuber05539895でご連絡ください!

コメント

タイトルとURLをコピーしました