DaydreamのコントローラーをHoloLensで使う #アセットアドカレ2017

この記事は「Unity アセット真夏のアドベントカレンダー 2017」 6日目の記事です。

昨日は baba_s さんのInspector をカスタマイズするエディタ拡張用アセット「Odin – Inspector and Serializer」を64件の記事に分けて紹介でした。Odin、Unityの標準機能で入っててほしい!
明日はKOBONE Works (@seisyuK)さんの揺れモノ制御アセット<Smooth Joint> の使い方です。Smooth Joint@seisyuKさん自身が販売されている揺れものをいい感じに設定できる国産アセットで活発にアップデートされており、Twitter上でのサポートも厚い!

Google Daydream Controller plugin for HoloLens Pro 1.0 (Jul 25, 2017)

https://www.assetstore.unity3d.com/jp/#!/content/95051

今日はHoloLensでDaydream View Controllerが使えるアセットを紹介します。Googleに怒られそう。

このアセットを使用することで、HoloLensにBluetoothで接続したDaydream View Controllerのすべてのセンサーやボタンの値をHoloLens上で動くアプリ内で扱うことができます。

ちなみにWindows Mixed RealityのImmersive headsetで対応するMotion controllersはHoloLensには対応していないので、HoloLensで使えるInputデバイスはXboxコントローラと、HoloLens Clicker、Bluetooth接続のマウスやキーボードやゲームパッド。IMUも使えるものについてはArduinoとかでごにょごにょしたものかDaydream View Controller+このアセットしかない(多分)

ちなみに無料で試せる試用版もある(IMUの動作に2分の制限あり)

バージョン1.0でできること

Daydream Viewコントローラーのすべてのデータにアクセス可能

  • 9軸のIMU(加速度、ジャイロ、磁気)とRAWデータ
  • タッチパッドの座標
    • controllerBridge.GetXTouch()、controllerBridge.GetYTouch()で0-256の値
  • 各ボタンの押しはじめ、離したイベント
    • メインボタン(タッチパッドエリアの押し込み)
    • タッチパッド(タッチパッドエリアを触れる)
    • アプリボタン(真ん中の横棒のボタン)
    • ホームボタン(下の〇のボタン)
    • ボリュームUP/DOWN

注意とか

  • アセット自体超高いが、IMUも使える完成度の高いコントローラがHoloLensで使えるようになることを考えると超安い(?)
  • HolotoolkitだけでなくMRDesignLabsも共存OK
  • 実際の動作はHoloLens実機にアプリをデプロイしなければ確認できない。
    Unityエディタ上で動作できないと開発がツラい。対応を期待。
  • Oculus Touchほどのトラッキング性能を期待してはいけない
    一応60fpsで、Youtubeの動画はCanvasに値を書き出していて滅茶苦茶遅くなっている(fpsが1/2にDOWN)値段ほどあまり期待しすぎてはいけない。

今後のバージョンアップでできるようになるっぽいこと

  • Daydream Viewを2台つなげて両手
    実装しようとしているコードはある。
  • Daydream Viewコントローラー自身のポジショントラッキング
    現在はCameraの手前に固定で、ホームボタンで位置リセットして最初に向き合わせ(位置ではない)して使用。
    ただコントローラのIMUのデータは来ているので自分で実装してもよさげ。

環境

  • Unity 2017.1.0f3

セットアップ

HoloLensにDaydream View ControllerをBluetoothで接続しておく

Unityプロジェクト

  • Google Daydream Controller plugin for HoloLens ProのアセットをImport
  • インポート後にプロジェクトビューで、SampleProject/Assets以下のMaterials、Models、Plugins、Prefabs、Scripts、Texturesフォルダをルートへ移動
  • シーンにHandheldControllerBridgePrefab.prefabとHandheldController.prefabを配置
  • CapabilitiesのBluetoothをON
  • 次のスクリプトをシーンに置いたGameObjectへアタッチして、handheldControllerBridgeにシーンのHandheldControllerBridgePrefab.prefab。controllerDisplayにシーンのHandheldController.prefabをインスペクタービューで設定

機能はコントローラの向きとホームボタン(〇ボタン)のキャリブレーションのみ

タッチパッドでスワイプを実装する

工事中

つかんで操作を実装してみる

Coming Soon

コントローラのポジショントラッキングを実装してみる

作成中

ミンナニハヒミツダヨ

アセット買わずに全部自力でやってやるぜ!って人へ

» How I hacked Google Daydream controller – Hacker Noon
https://hackernoon.com/how-i-hacked-google-daydream-controller-c4619ef318e4

 

HoloLens Spectator Viewのはじめかた

魅力的にHoloLensの体験を共有するSpectator View(すぺくてーたーびゅー)について、Unityプロジェクトに導入する手順をご紹介。

アプローチとしてはビデオカメラにViveのTrackerを付けたMixed Reality Videoや、Oculus RiftのCV1を被せてビデオカメラの位置をトラッキングしているものと同様。
余談としてOculus Rift Release 1.16からTouchをビデオカメラにくっつける形のものが正式にサポートされた様子。

続きを読む HoloLens Spectator Viewのはじめかた

HoloLens Spatial Consoleのつくりかた

妹のクラウドファンディングにご支援いただきありがとうございました!

 さん、@hecomi さん、@z_zabaglione さんのご支援により無事妹のクラウドファンディングが成功したので、HoloLensアプリ開発のデバッグにめちゃくちゃ便利なアプリ内にUnityのコンソールウインドウを表示する方法を公開します。

 

続きを読む HoloLens Spatial Consoleのつくりかた

Microsoft MVP for Windows Developmentになりました

2017年1月1日からの初受賞となります。みなさまどうぞよろしくお願いします。

今年はWindows Holographicをしゃにむにやっていきます。お楽しみに!

お祝いは実妹がはじめたクラウドファンディングの支援がいいです!お願いします!!£1(=150円)でもいいので!

カメラはじめてから今まで泳いだ沼の話

カメラにドハマりしたここ2か月くらいの記録

実はカメラについては2015年の夏にCANON EOS 7D Mark Ⅱを買ったものの一眼レフのデカさに持ち歩くこともなくなってしまっていた。

確かデジカメを買ったきっかけは「たまゆら」を観て。『これを買えば引きこもりの生活から脱却できるかも?』という思惑どおり、当初は撮影旅行へも行ったが一人旅のツラさで次が続かず。さらに普段のお出かけもデカくて気軽に携帯できるものではなかった。

アルバム / 当時のTweet

α7RⅡ買った

確かPS VRの予約にソニーストア銀座へ立ち寄ってα7を目にしちゃったのがきっかけ。

漠然とフルサイズへの憧れがあった。

7D MarkⅡはデジタルカメラの画質を決める(まぁそう単純な話だけではないけど)イメージセンサーが23x15mm前後のAPS-Cサイズ。それに対してフルサイズと呼ばれる36x24mmの一回り大きいものが存在するという事実と、7D MarkⅡの解像度に若干の不満があってもやもや。
なんとなくフルサイズというものに漠然とした憧れが心のどこかにあった。

そんなこともありソニーストアでちらっと見かけたα7のフルサイズの一眼カメラを手にもって試してみたら憧れが爆発。

まずフルサイズなのに光学ファインダーがないミラーレスだからすげー小さい。なにこれ普段のお出かけにカバンに突っ込んで気軽に持ち歩けるじゃん!と更にカタログを読むと「α7に採用されているEマウントレンズは小型・コンパクトサイズ」ななな!?!パーフェクトじゃねーか!!(後に誤りに気づく

とりあえず買って帰ろうと思ったけど、スマホ転送機能が使えず。ちょうどiOS10リリース直後でPlayMemoriesアプリがiOS10に未対応でダメじゃんこれっとすっかり興味をなくしてその場は帰った。

で、帰ってぼーっとしてたら行動ターゲティング広告かなんかで表示されたα7の情報を目にする。
偶然昨日価格改正があり、さらに調べてみたらiOS10は近日対応するという話。

あ。買いそう。

 

2016年10月26日 α7RⅡ購入

 

Twitterでご覧になっている方は知っての通り、2か月で一通り必要なレンズを全部揃えたほどのハマり様。

ちょうど仕事で大阪に出張が決まり、ついでにあこがれの京都で一週間くらいぶらぶら撮影しながら回ることにした。

アルバム / 当時のTweet

カメラで渡り歩いた沼

レンズ沼

  • Vario-Tessar T* E 16-70mm F4 ZA OSS SEL1670Z
  • FE 24-240mm F3.5-6.3 OSS SEL24240
  • FE 90mm F2.8 Macro G OSS SEL90M28G
  • FE 24-70mm F2.8 GM SEL2470GM
  • FE 50mm F1.8 SEL50F18F
  • FE 70-200mm F2.8 GM OSS SEL70200GM + SEL20TC

あとはSTFレンズと1670GMを購入予定。

三脚沼とか

  • Velbon 一脚 ウルトラロック ULTRA STICK SUPER 8
  • Velbon 三脚 ウルトラロック ULTREK UT-653
    普段使い。小さくて最高。
  • Manfrotto コンパクト三脚 Befree アルミ 4段 ボール雲台キット MKBFRA4-BH
  • Manfrotto ギア雲台 ギア付きジュニア雲台 アルミニウム製 410
    初日の出とかガチな時に。
  • Manfrotto ミニ三脚 PIXI ブラック MTPIXI-B
  • Manfrotto ミニ三脚 PIXIシリーズ PIXI EVO
    PIXI EVOのサイズだと普段出番の多いカメラバックであるELECOM off tocoに縦にして入らなくて困る。MTPIXI-Bはピッタリ。
  • Beholder DS1
    旅行先で4K動画撮ろうと思ったけど使ってない。

カメラバッグ沼とか

  • ELECOM off toco 2styleカジュアルバッグ メッセンジャータイプ グレー DGB-S024GY
    よく普段で歩くときに使うのはELECOMのメッセンジャータイプで、 カメラと一緒にULTREK UT-653か MTPIXI-B+交換レンズ1つを入れてコンパクトに持ち運べる。
  • ELECOM off toco カジュアルカメラバッグ バックパック ハイグレード ブラック DGB-S028BK
    次いで同じくELECOMのバックパック。これは交換レンズ4本と3脚と更にノートPCのフルセットを持ち歩ける。
  • Lowepro バッグアクセサリー S&F デラックステクニカルベルト S/M
    他は手ぶらで行きたい場合は上着の下にデラックステクニカルベルト付けてLoweproのレンズケースぶら下げたり。
  • Lowepro カメラバッグ トップローダーズーム 50 AW2 4.3L
  • Lowepro カメラ リュック プロタクティック 450 AW 19L
  • Lowepro レンズケース S&Fレンズエクスチェンジケース100AW
  • Lowepro ボディバッグ インバース 100AW 6.9L
    テクニカルベルト使い始めて思いのほか腰で支えるアプローチが素晴らしいので買ってみたけど、支える重量にも限界があった。流石に全部は無理で補助のショルダーベルトを着けることになる。結果出番はない。
  • とれるカメラバッグ
    +ノートPCを持ち運べる最小装備。
  • かわるビジネスリュック
    HoloLensも持ち歩きたい場合は、ELECOM off toco カジュアルカメラバッグではなくこれ。
  • PeakDesign エブリデイバックパック20L
  • PeakDesign エブリデイスリング10L
    届いたら一番使用頻度が高くなりそうで楽しみ。

アクセサリ沼

  • PeakDesign スライドサミットエディション ラッセン(レッド) SL-L-2
  • PeakDesign クラッチ ハンドストラップ CL-2
    基本装備。PeakDesignのアンカーリンクスのサクッとつけ外しできるシステムは最高に便利。
  • Peak Design シェルM SH-M-1
    普段カメラを持ち歩く際、カメラを裸で持ち歩くのはなんか目立つし雨風や砂とか埃で結構汚れるのでシェルを普段つけて使っている。
  • Peak Design キャプチャープロパッド PP-1
  • Peak Design キャプチャープロカメラクリップwith PROプレート CP-2
    おそらくカメラを一番体への負担なく楽に持ち運べてしかもすぐに撮影に移れる方法。リュックを使うときに使用。
  • PeakDesign プロドライブカメラコネクションスクリュー PDS-2
    六角なく締められるベンリなネジと思いきやこれは失敗だった。似た製品に付属する↓のネジが素晴らしい
  • COWEEN カメラホルスター クイックリリース アルミ合金製ウエストバンド カメラ用クイックリリース
    PeakDesign純正よりいい。ネジはデフォで手で絞められるタイプで、つまみを寝かすとスペースが狭いので、純正では指で起こすことは不可能。ただしこれは溝が切ってあるので爪で軽く引っ掛けるとカンタンにつまみを起こせる。
    それにクイックリリースとアンカーの紐が干渉しずらい構造になっており使い勝手も素晴らしい。しかも純正品より安い。
  • NEEWER 一眼レフカメラ 有線/LCD/タイマー機能付/シャッターリモートコントロール
  • SONY リモートコマンダー RMT-DSLR2
    他にも色々買った気がしたけど使っているのはこの2つ。
  • KORG USB MIDIコントローラー NANO KONTROL2
    Adobe LightroomでRAW現像するのに大活躍
  • Peak Design キャプチャーレンズ ソニー E/FEマウント CLC-S-1
    使える場面がありそうで今のところない。
  • DSTE® アクセサリーキット NP-FW50 互換 カメラ バッテリー 2個+充電キット
    α7はバッテリーがアホみたいに一瞬でなくなる。純正品がすげー高い。互換でも問題なし。
  • サンディスク Extreme Pro SDXCカード 633倍速 (95MB/s) Class 10 UHS-I U3対応 256GB SDSDXPA-256G-G46
    SDXCカード持ってるから買う必要ないヨユーと思ってたら4K動画撮影の条件が64GB以上だった。

フィルタ沼

レンズを保護する目的で使うMCフィルタで変なゴーストが発生することに気付き、逆光で撮影するときとかは使わないようになった。
あと初日の出撮りに行ったらNDフィルタの必要性を感じた。増える予定。

  • MARUMI フィルター EXUSC-PL82P.L82mm
  • MARUMI カメラ用フィルター EXUS レンズプロテクト 62mm
  • Kenko PLフィルター Zeta EX サーキュラーPL 72mm
  • Kenko レンズフィルター PRO1D プロテクター (W) 72mm

自転車沼?

  • DAHON PRESTO SL
    旅行先で乗り回そうとしたけど、止める場所はないわ手荷物でつらい思いをすることのほうが多く旅先で使うのは失敗だった。
    あとぶっちゃけ「ろんぐらいだぁす!」の影響で買った。カッコいいので後悔はしていない。

防湿庫沼

予定

ストロボ沼

ポトレに興味が出たら買う予定

これから

いい写真を撮るにはその場所へ赴けばいいと改めて気づきました。2017年はいろいろなところに足を運んで写真を撮りまくろう。カメラを始めてから明日が楽しみにみちあふれている。

 

HoloLensでXboxのコントローラーを使ってみる #アセットアドカレ

この記事は Unity Assets Advent Calendar 2016 19日目の記事になります。

今日はHoloLensでXbox One S Wireless controllerが使えるアセットを紹介します。

Xbox Controller Input for HoloLens  1.0 (Sep 01, 2016)

使い方

1. Bluetooth接続に対応した Xbox One S Wireless controller を入手。(AmazonではXboxOneコントローラーの表記で紛らわしい。2016の表示があればOK)

※Xbox 360コントローラーやOculus Rift CV1に付属したXbox Oneコントローラー、Xbox Elite ワイヤレス コントローラーは使えない。

なお、うまくHoloLensとBluetooth接続できなかったり、入力が取れない場合はXboxコントローラーをPCにUSBで接続して、Xbox Accessories appでファームのアップデートを行う。

Update Xbox One Controller
http://support.xbox.com/en-US/xbox-one/accessories/update-controller-for-stereo-headset-adapter#16a037d8dadf48409a0634fa6f796ba6

2. PlayerSettingsのPublishing SettingsにあるCapabilitiesで InternetClient と HumanInterfaceDevice をチェック

3. ExampleSceneデモシーンを実機に転送して確認してみましょう。

 

ちなみにWindows.Gaming.Inputでも動くそうで自力でも実装できる。

Has anyone gotten a controller to work on Hololens/Unity yet? | Unity Community
https://forum.unity3d.com/threads/has-anyone-gotten-a-controller-to-work-on-hololens-unity-yet.414122/

HoloLensのAir-TapでuGUIのButtonを押せるようにしてバナナを降らせる Incremental Clicker Game – Bananarama #アセットアドカレ

この記事は Unity Assets Advent Calendar 2016 7日目の記事になります。

今回はアセットストアで入手した2Dの完成プロジェクトを、HoloLensアプリにカスタマイズしていく手順を説明します。

主にuGUIのButtonなどをHoloLensのAir-Tapで押せるようにしていきます。

続きを読む HoloLensのAir-TapでuGUIのButtonを押せるようにしてバナナを降らせる Incremental Clicker Game – Bananarama #アセットアドカレ

Oculus Touchで酔わない移動※の実装詰め合わせセット VR Movement System for Oculus Touch #アセットアドカレ

この記事は Unity Assets Advent Calendar 2016 6日目の記事になります。

Oculus Touch発売日ということで、VRで酔わない移動方法の実装がカンタンできちゃうアセットをご紹介。

続きを読む Oculus Touchで酔わない移動※の実装詰め合わせセット VR Movement System for Oculus Touch #アセットアドカレ

holotter