trkAR

AR camera tracking for virtual production

trkAR は、iPhone / iPad をバーチャルプロダクション用のカメラトラッカーにするアプリです。ARKit で求めたカメラの位置と向きを、OSC で PC (TouchDesigner、Blender など) へリアルタイムに送ります。

カメラの位置・向きを OSC で送信
カメラ映像の NDI® 送出と、PC からの NDI 映像の受信・重ね表示
LTC タイムコードの受信と、PC 側の収録の開始・停止 (カウントダウン付き)
深度 (LiDAR / TrueDepth) と人物マスクの送出
床の基準合わせ、ワールドマップの保存とサーバーへのアップロード
PC がなくても試せるデモシーン (動物の AR 表示)

App Store — coming soon

Blender アドオン

Blender でカメラを trkAR に追従させ、NDI の映像を受け、テイクを録って書き出すアドオン trkAR Camera を Releases で配っています。自分のクラウドやツールへのつなぎ方は連携を見てください。

サンプルのシーン

アドオンで試せる Blender のシーンを 2 つ、Releases で配っています (CC BY 4.0)。

終電間際の地下鉄ホーム (通勤客・電車・ホームドアの動きつき)

高校の教室 (放課後前の西日)

English

trkAR turns your iPhone or iPad into a camera tracker for virtual production. It streams the camera position and orientation from ARKit to your PC (TouchDesigner, Blender and more) over OSC in real time.

Camera pose over OSC
NDI® video output, and NDI input from your PC overlaid on the camera view
LTC timecode input, and start / stop recording on your PC with a countdown
Depth (LiDAR / TrueDepth) and person-mask output
Ground-plane calibration, saving world maps and uploading them to your server
Demo scenes (AR animals) you can try without a PC

The Blender add-on trkAR Camera (camera follow, NDI input, take recording and export) is on Releases. To connect trkAR to your own cloud or tools, see Integration.

Two sample Blender scenes (subway platform and classroom, CC BY 4.0) are on Releases.