Kinect ハック 2台目
需要無いかも知れないが立ててみた
いまは反省していない このスレッドは天才チンパンジー「アイちゃん」が
言語訓練のために立てたものです。
アイと研究員とのやり取りに利用するスレッドなので、
関係者以外は書きこまないで下さい。
京都大学霊長類研究所 OpenKinectのソースの中にC#版があるがモーターの上下制御だけ対応して放置されてる。
過疎り具合からして、たぶんカメラとマイクの制御は永遠に実装されない。
https://github.com/OpenKinect/libfreenect/tree/master/wrappers/csharp/ ミク3
http://www.youtube.com/watch?v=0mEHKFibv0g
http://www.youtube.com/watch?v=JQvLt7DQhaI
http://www.youtube.com/watch?v=MZHEzDmXO2w
108 102 [sage] 2010/12/23(木) 18:19:21 ID: Be:
動いたー ＼(^o^)／
Ubuntu 10.10 amd64 ではどうやっても動かなかった(SSE3に対応したCPUまで買ったのに)ので、
あきらめてUbuntu 10.10 32bit版をインストールして最初から全部やり直したら、うまく動くようになりました。
NITEのサンプルにあったボーントラッキングも出来ています。
長い道のりだった…
環境はML115, Athlon X2 5000+, Kubuntu 10.10 x86(32bit)
インストールしたのは
- OpenNI 1.0 Alpha build 23 binaries for Ubuntu 10.10 32bit
- avin2-SensorKinect-b7cd39d.tar.gz
- PrimeSense NITE version 1.3 Beta Build 17 for Linux x86
の3つをこの順で。NITEはインストールする前にDataの下のxmlファイルを書き換える必要あり。
これを忘れるとサンプルが起動しない。詳しくはここを。
http://www.keyboardmods.com/2010/12/howto-kinect-openninite-skeleton.html
基本的には3つも./install.shを叩くだけだがavin2とNITEはその前に少し作業が必要。
詳しくはREADMEに書いてある。
そしてデフォルトでSSE3を使うので手持ちCPUの確認を。
/proc/cpuinfo に "pni" の文字があればOK (sse3ではない!)
109 デフォルトの名無しさん [sage] 2010/12/24(金) 07:00:56 ID: Be:
動画うｐしてスゲー、付属のサンプル動かしてスゲーだけじゃなくて、ちゃんとプログラミングに
ついて語るスレ無いの?
サンプルソースとAPI Referenceと海外の掲示板読んである程度使えるようになったけど、
API多すぎレファレンス説明簡略化しすぎで一人で網羅するの辛い。
110 デフォルトの名無しさん [sage] 2010/12/24(金) 08:52:08 ID: Be:
depth.GetAlternativeViewPointCap().SetViewPoint(image);
でRGB画像に合うように調整された形で深度イメージが出力されるようになるけど、
この調整済み深度イメージ上の座標を、元の調整される前の座標に戻す方法ってない？
例えば関数にポンっとx,y座標投げれば元のx,y座標が返ってくる的なの
キャリブレーションデータから計算すればいいんだろうけど、面倒くせぇ
APIあるだろうとリファレンス見て探してるけど見つからない
111 デフォルトの名無しさん [sage] 2010/12/24(金) 09:01:54 ID: Be:
ここだろ。プログラム板だし。
俺はやっとサンプルが動いた所なのでもう少し待て 112 デフォルトの名無しさん [] 2010/12/24(金) 11:04:45 ID: Be:
NITE
113 デフォルトの名無しさん [] 2010/12/24(金) 11:05:27 ID: Be:
NITEなぞすぎる
114 デフォルトの名無しさん [sage] 2010/12/24(金) 12:49:24 ID: Be:
>>110
「Open〜」系のライブラリで提供されるのは基本的にハードウェアを使えるようになるAPIだけだから
その辺のアルゴリズムは自前で実装が基本
115 デフォルトの名無しさん [sage] 2010/12/24(金) 13:33:44 ID: Be:
これ操作中の自分を1.8m以上離れて写すようにkinectを設置するのが難しいな。
付属のケーブルは3.3mあるけど結構きつい。
USB延長ケーブルを使って+1mまでなら何とか動作する。
+3m足してやるとデータ取りこぼしまくりで正常動作しなくなる。
基本的に延長しない方がいい。
NITEサンプル楽しい。
116 デフォルトの名無しさん [sage] 2010/12/24(金) 13:41:14 ID: Be:
Kinect使うときのよくある失敗はOpenNIだけ入れてドライバー入れ忘れることだな。
俺はavin2/SensorKinectドライバーを使っている。 119 デフォルトの名無しさん [sage] 2010/12/24(金) 17:14:41 ID: Be:
とりあえず一番簡単そうなSample-SingleControlは理解した。
自分でプログラミングするときはインクルードパスを
/usr/include/ni
/usr/include/nite
に通してlibOpenNI.soとlibXnVNite.soをリンクする。
main.cppでは最低次の２つをインクルードする。
#include <XnOpenNI.h>
#include <XnVSessionManager.h>
あとは検出したいゼスチャーに相当するクラス。このサンプルではWaveDetector.hを使っているので
#include <XnVWaveDetector.h>
120 デフォルトの名無しさん [sage] 2010/12/24(金) 17:20:35 ID: Be:
基本的なフローは
1. コンテキスト（xn::Context）を作る
2. セッションマネージャー（XnVSessionManager）を作る
3. 検出したいゼスチャーのコントロール(ここではXnVWaveDetector)を作る
4. 2-3にコールバック関数を登録する
メインループはこんな感じ。
while (!g_bQuit) {
context.WaitAndUpdateAll ();
pSessionManager->Update (&context);
}
ドキュメントは次の３つ。
NITE Controls 1.3 - Programmer's Guide.pdf
NITE Algorithms 1.3.pdf
NITE 1.3.0 - API Reference.chm
とりあえずProgrammer's Guideだけ読んでおけばプログラミングの基礎としては十分。 121 デフォルトの名無しさん [sage] 2010/12/24(金) 17:36:27 ID: Be:
いくつかの重要な概念。
セッション： トラッキングが動作中の状態が「in Session」
フォーカス・ゼスチャー： 特定の動作を行うとトラッキングが有効になり「in Session」状態に変わる
"Wave"： 手を左右に移動する動作
"Click"： 手を前後に移動する動作
コンテキスト： そのままの意味
セッションマネージャー： そのままの意味
コントロール： ゼスチャーの検出器。PushDetectorとかWaveDetectorとか多数。
検出したい動作のコントロールをセッションマネージャーを頂点とするツリーでつなぐ。
イメージ的にはキャプチャーされたデータはセッションマネージャーから流れ出して各コントロールに流れ込み、
一致していればそこに設定されたコールバック関数を呼び出す。
124 デフォルトの名無しさん [sage] 2010/12/24(金) 19:58:24 ID: Be:
>>119-121 はNITEミドルウェアを使った場合ね。
OpenNIのみでKinectから生データ（RGB, Z, 加速度）を取得するのとは別の話。
そっちは今調査中。NITE使いつつ生データにアクセスってできるのだろうか。 前スレコピるくらいなら、まとめwiki作った方が早くね？ 126 デフォルトの名無しさん [sage] 2010/12/24(金) 23:06:42 ID: Be:
C言語からOpenNIを使う場合
#include <XnOpenNI.h>
C++からOpenNIを使う場合
#include <XnCppWrapper.h> (この名前はどうかと思う）
コンテキストを作る場合XMLファイルを読み込んで作るのが簡単。
画像とデプスを取りたい場合は該当するNodeを作る。
<ProductionNodes>
<Node type="Depth">
<Configuration>
<MapOutputMode xRes="640" yRes="480" FPS="30"/>
<Mirror on="true"/>
</Configuration>
</Node>
<Node type="Image">
<Configuration>
<MapOutputMode xRes="640" yRes="480" FPS="30"/>
<Mirror on="true"/>
</Configuration>
</Node>
</ProductionNodes>
rc = context.InitFromXmlFile (SAMPLE_XML_FILE); 127 デフォルトの名無しさん [sage] 2010/12/24(金) 23:09:33 ID: Be:
これでコンテキストにNodeが登録されているので、あとはFindExistingNodeするだけ。
rc = context.FindExistingNode (XN_NODE_TYPE_IMAGE, imageGenerator);
rc = context.FindExistingNode (XN_NODE_TYPE_DEPTH, depthGenerator);
データの作成を開始して、
context.StartGeneratingAll ();
新しいデータが来るまでブロック。
while (!g_bQuit) {
context.WaitAnyUpdateAll ();
// ここで画像、デプスデータの取り出し
}
非常に簡単。 128 デフォルトの名無しさん [sage] 2010/12/24(金) 23:17:26 ID: Be:
取得したデータをどうやって表示するか？
サンプルでは全てOpenGL、glutを使っている。
カメラを平行投影、視野領域が(0,0)-(WIDTH,HEIGHT)に設定して画面全体を覆う四角型ポリゴンを１枚書く。
データはすべてテクスチャーにしてglTexImage2Dで毎フレームGPUに転送。ogehoge;
ちなみにデプス値は自分でヒストグラムを作って手前が１で奥が０になるように描画している。 >>13
見てなかった。ごめん。
そうですね。wikiあると良いですね。 新スレ記念
Kinect ？で空中のゴミを検出して箱でキャッチ
ttp://www.nicovideo.jp/watch/sm18391671/ なんだろ、各方面で自慢して回ってるのね
よっぽど作って嬉しかったんだね
かわいい もし作ったひとがここ見てるなら
次回作はトランポリン風にして
ピンポン玉を拾いながら移動してみてほしい >>19
ものはいいのに人がだめなので、残念極まりない >>19が素直じゃないからそれを見たやつも素直にならない 技術的には可能
そんなことよりもleap motionの方がフェイクっぽくてイライラする
sdk公開してコードが一行も出てこないなんてありえない フェイクって何のために出すんだろうね。。
嘘なのに、すごーいって言われても何にも嬉しくないんだが あそこまで本物っぽい偽物をわざわざ作る意図が分からんわ。
しかもあれKinectじゃないらしいぞ。 Xtionだな。前スレでも出てた話題だ。
Kinect PrimeSense＋Microsoft
Xtion PrimeSense＋ASUS フェイクだと仮定するとコントロールを手動でやってることになるけど
人間にはタイヤがどの方向を向いてるかを前もって知るのはできても、コントロールするのは難しい。
ということは、投げるほうが正確にその方向に投げなければならない。
何度もやればできなくはない。
2’31’’のシーンにPC画面が映っていて、人が投げ上げた瞬間に左上に画面が出てくる。
これが加工でないとしたらキネクトが物体を認識した印なんじゃないかと思う。
また、音声は入っているので、ゴミ箱が動き出すときにタイヤの向きを変えているかを聞き取ることができる。
人間が正確にハンドルを切ることは出来ないので、コンピュータによる処理が行われている証拠になる。
僕の耳では動き出す瞬間、1’35’’にテストしている、向きを変えるときの甲高い音が聞こえる。
ゆえに本物。
ちなみにこれの構想は10年くらい前に俺が２ちゃんねるに書き込み済み。
制御ソフトは簡単そうだから映像から省かれるのは仕方が無い
>簡単ですね（キリッ
同じようなことをやってる奴からは嫌われるセリフだな
スキンメッシュくらい簡単だろ
物理演算くらい簡単だろ
bullet使えばすぐできる
当たり判定ぐらい簡単だろ
○○ならやってる
あいつが簡単だって言ってた
その簡単なことに何年も費やした俺はバカだったということだ
人生無駄にした死にたい ボブの「ね、簡単でしょ？」は許せる
まぁ自分とは分野が違うからかもしれないが >>42
命中精度がよくないと言う話を聞いて納得。
ゴミ箱の位置とか向きをどうやって特定しているのかがよく分からなかった。
一応電子コンパスとモーター自身の回転数で現在の向きとタイヤ向きは分かるし
多分キネクトでゴミ箱の位置も分かるんだろうけど、正確なものではないから。
あと、タイヤの向きが微妙にずれてたし。
ちょうど数日前にブラシレスモーターの制御ICがモーターの回転角度をある程度把握する仕組みのページ見てたから
センサーらしきものが見当たらなくてもなんとかなるってことは知ってた。
精度を上げるには電子コンパスだけじゃなくキネクトの画像認識でもっと正確な位置や向きを計算したり
移動中にゴミ箱の位置を微調整したりが必要かな。
ハンドルの向きを固定するのは自然とロックするんだろうか。
でも無駄だな。
ゴミ箱にカメラつけて物体を認識したらそれに向かって突撃したほうが簡単に精度は上がる。
問題はバッテリーの持ちか。
待機中通信だけなら大して電気食わないが、画像認識だと結構な電気食いそう。
そうでもないかな？
いや、奥行き見るために赤外線照射してるからこれが結構電気食うはず。
いや、奥行きを見るために赤外線照射しないといけないんだからドットパターンが写り込まない小さな物体は捕らえられないはず。
まあこれは衝突防止とかでやってる２カメラ使った物体認識を使うことでだいぶ現実的にはなるかな。
ゴミ箱のままじゃすぐ飽きられて商売にならないと思うけど
キャッチボール出来るようにしたら案外金になるかも。
その場合かなり耐久性が必要になるけど。
>>43
壁に取り付けたXtionと、それにつながったデスクトップPCを使って、
ラジコンのごみ箱を操縦していると思うんだが… >>44
そうだろうね。それで？
外観を見ただけではゴミ箱のタイヤがどっちを向いているか分からないので
その制御について僕は話したつもりだけど。
1:55辺りにコード出てるけど、ゴミ箱の(Xtionから見た)初期位置、姿勢は固定で
深度画像から落下予測点を求めた後、方向と距離を送信してる感じかな ゴミ箱はもう秋田から
次は空中ゴミ攻撃防御用ミサイル迎撃システムを見たい >>45
ああ、そういう意味ね。
赤外線照射がバッテリを…って言ってるから、ごみ箱だけで完結する
システムに持っていきたいっていう話をしてるのか、どっちなのか
よくわからなかった。 >>48
> ごみ箱だけで完結する
> システムに持っていきたいっていう話をしてるのか
うん、その後そういう話をしたね。
実際に車の衝突防止に使われてるのはカメラ２つと制御チップですよ。あとは固定金具。
パソコン本体も手のひらサイズのやつがあるからゴミ箱に搭載することは可能だけど
無線LANで接続してパソコンに計算させたっていいわけで。
まあ、受信だけしてればいい現状から見れば送信とか計算とか電気食いまくりだけど、
拾うべきものがあるかどうかはコンセントにつながったヤツで判断して
物体が浮いてたらゴミ箱を起動してゴミ箱は自律的にそれを探してキャッチすれば電池の心配はいらなくなる。
しかし、それだとシステムが二重化して無駄になるのでやっぱり単純なラジコンがいいとなるのかな。
>>44
１０回に１回しかキャッチに成功しないのだと。 うちの由佳は綺麗じゃないから
100%遊べない自身がある
ttp://www.sharp.co.jp/corporate/ir/event/policy_meeting/pdf/shar100517_1.pdf#page=18
モバイル型３Dカメラ
小さいな
問題は奥行き精度だけど。
それ見てて思ったけど赤外線使わなくても距離取れるな
二つのRGBカメラと距離が判明している一つの点A
Aに焦点を合わせた状態で
距離観測対象の二つの映像を画像解析して二つの映像の同一点BC
ABとACの距離から物体との距離が測れる
これなら太陽が出ててもいけるし、RGBカメラ二個でもできる
画像解析をはさむから赤外線よりも遅くなるけど安く作ることはできる ステレオマッチングはモバイル向けだと専用にFPGA（StratixII）開発して2010年時に1312*688で150fps出してる東工大のペーパーがあるな
>>55
スレチだが清算や部門売却にあたり、知財がどうなってくるのか
懐にとっておいても台所事情が悪いと研究開発も鈍化するからな
小型3Dカメラや視差カメラとHMD組合されれば電脳コイルのメガネが実現するので
MS、Google、Oculus以外にも頑張って欲しいんだけどね
この分野はソフトだけでもダメでfoxconnのような組み立てるだけの会社だけでもダメで
間に必ず部品の研究、実用化、小型化を行ってる会社がいて、なおかつ元気でないとダメだと思う 点Ａのキャリブレーションとか、動体の特異点抽出・追従とか、
カメラ３個あ距離の測定誤差とか、いろいろ疑問浮かばないか？
ていうか三角測量で安く作れるならＭＳの技術者がとっくに採用してるだろｗ 「カメラ３個あ」これは書くの面倒になって消し忘れた部分だからカットで >>60
それでできるんならさっさと作ってくれんかね。
レーザー測量は機材が高いんだよね。 いちおー車載の距離測定カメラは、単眼がトップシェアだね
よくこれで距離が測定出来る物だと不思議だが ホビーユースならWindows用のキネクトより箱○用のキネクトのほうが利用範囲が広いかな？ 箱○のほうは箱○に繋げられるけど、PC用のキネクトは無理でしょ？ 上のレスと完全に重複だけど、まあ邦訳ということで
Kinect for Windows SDKは10月8日アップデート、さらに7か国で発売 - Engadget Japanese
http://japanese.engadget.com/2012/09/05/kinect-for-windows-sdk-10-8-7/
Kinect 4台接続に成功した方はおられますか?
ttp://d.hatena.ne.jp/logion/20120907
3台まで何とか成功したのでメモを晒してみますが、
相性問題が大変でもう疲れたよパトラッシュ…orz >>74
LANでつないだ複数のPCを使う方法はビジョン系の論文で見かけますので
よく使われてるようですね。
MSが公言している「1台のPCでKinect 4台まで対応」、
というのを実機で試してる人は(こちらで探した限り)見つけらなかったので、
なんとかやってみたい所です…。 Kinectを4台同時に使う用途が謎だが、そういうのは嫌いじゃないｗ
つーかほとんど相性問題の検証になってるのな >>76
やはり、キネクトの最大の弱点である、仰向け・うつ伏せに対応するんじゃないかな 投げられたゴミを受けるゴミ箱
今日の「めざましてれび」で検証してた
30個投げて入ったのは5個らしい ttp://thinkit.co.jp/story/2012/07/30/3633
kinectでマウスポインタを動かすのに上のサイトを参考にしてやろうと思ったんだけれど
途中の＞MultiTouch.Behaviors.WPF4.dllがどうしても準備できない
誰か試してみてくれると助かる >>82
アホすぎ
モジュールの入手手段が分からんとか、氏んだ方がいいんじゃね？ >>82
> MultiTouch.Behaviors.WPF4.dllは下記のURLより[DOWNLOAD] ボタンを選択して、MultiTouchBehaviorSource.zipをダウンロードしてください。
> →参照：Windows Phone, Silverlight and WPF Multi-Touch Manipulations（CodePlex）
リンク先からダウンロードできるプロジェクトがビルドができない…。
具体的には、System.Windows.Interactivity とか Microsoft.Expression.Interactions とかのコンポーネントが見つからない。
ttp://msdn.microsoft.com/ja-jp/library/system.windows.interactivity(v=expression.40).aspx
ググって見つかるヘルプによると…もしかしてExpression Studio 4 がいるのか? >>84
体験版インスコすればOK
お試し期間過ぎても、アセンブリ参照は無問題ｗ >>73
メモ読ませていただきました. 参考になります
こちらはマザボのUSBポート+USBハブだけで
3台同時使用、SDKでdepth,color画像取得までできました
マザボはASUS P8Z77-Vです >>86
すばらしいです。
こうして成功例の構成を公開して頂けると(私を含め)嬉しい人がたくさんいると思います。
そちらの例は、P8Z77-Vのスペック表を見ると、
ttp://www.asus.co.jp/Motherboards/Intel_Socket_1155/P8Z77V/#specifications
- ASMedia USB 3.0 controller
- Intel Z77 chipset (USB3.0)
- Intel Z77 chipset (USB2.0)
で3つのコントローラが載っていたということなのでしょうか…。
あるいは、KinectSDKに書かれているUSBコントローラ1つにつきKinect1台、
という制限を乗り越えられたということであれば前代未聞の偉業だと思います。
(あと、こちらの4台目を接続する話は諸事情によりなくなりました…) >>87
おそらくホストコントローラ3つのおかげだと思います
接続する場所によってはうまく動作しなかったのですが、
USB3.0のところだけ組み合わせとしてうまくいく例が多い、ということに
経験的に気づき何とかたどり着きました.
こちらは4台必要そうなので、後はPCI-Expressあたりでどうにかしようかと考えてます 「Kinect」を使って試着なしでピッタリのジーンズを選ぶことができる新技術「Bodymetrics」 - GIGAZINE
http://gigazine.net/news/20121107-bodymetrics/
USBカメラに写したジェスチャーでマウス操作できる「NPointer」
手や身体全体を動かすことでマウスカーソルを移動できるほかクリックなども可能
http://www.forest.impress.co.jp/docs/review/20121119_573593.html >>95
公開したってのが重要だけど、内容はたいしたことないよな インターフェース今月号がめっちゃ良かった(小並感)
CQ出版以外も来いよ
オライリーはいいかげんMaking Things See翻訳してよ 女子中高生がKinectとScratchでインタラクティブな作品作りを楽しむ
www.kumikomi.net/archives/2011/08/rp34fem.php 
