【統計分析】機械学習・データマイニング22
■ このスレッドは過去ログ倉庫に格納されています
機械学習とデータマイニングについて語れ若人
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured >>569
こないだ暇だったからmnistで計測してみたから間違いない
スペックも実測値も、ほぼGTX960〜GTX970当たりの性能
K80のGPUが1/2になる事を考慮すると、スペック的にも大体合うはず >>572
それはすまない。GTX1060Tiよりも速かったので、俺の組み方が悪かったのだろうな。メモリが少なかったせいかもしれない。 mnistとかなんのベンチマークにもならんわ。imagenetくらい回してくれ。 GPUに辿り着く以前にラーニングの前処理で異様に時間がかかる
ひょっとしてcolaboratoryのCPU1コア?
データ読み込んで特徴量増やしてるだけなんだが・・・ >>575
zip解凍も結構時間かかってるよ。CPUやファイルアクセスは貧弱っぽい。 >>573
モデルによるかな
小さなモデルでバッチサイズ大きめな学習はK20速いけどモデルが大きくなると遅い >>568
ネタなのは分かるけど、共感できなくてどこがおもしろいのかわからない >>568
Correction
If it is written by Kyoto Common Lisp, it maybe AI. >>552
いや会社でIEとedgeでしかブラウザ使えないからchromeもvivaldiも使えなくて困ってるのよ
もちろん、家では普通にchromeで読めるんだけどな まず何から始めればいいの?
なんちゃって理系で高校で数VCまではやったけど数学がとても苦手
とりあえず機械学習のための数学って本は買った 大して知らない人だが。
大して数学しらなくてもできるとはおもうが。
数学部分はライブラリに内蔵されてて、ブラックボックスでも操作はできるかと。
環境設定と動かし方では。 大事なのは「読む」力だ!〜4万人の読解力テストで判明した問題を新井紀子・国立情報学研究所教授に聞く
https://news.yahoo.co.jp/byline/egawashoko/20180211-00081509/
論理的に考えろと言ってるだけw >>581
まず
・目的
を決める
mnist(チュートリアル)なら後述のグラボは無しでも良い
・予算の設定
mnist以降はグラボ必須
既にあるならそれを使えば良いが、無ければ買う必要がある
無いままやろうとすると人生が終わるゾ
・環境設定
ある意味恐らく一番の難関
windows、mac、linux、それぞれで設定の仕方が違う
とにかく最初は聞きまくり検索しまくりながら気合でやりきる >>586
2・3日前にテレビの報道特集みたいなやつでそれやってたわ
言葉の定義があいまいなまま中学校で教育してるのが問題らしい
教師のレベルが全国的に可笑しいんだろうな ディープラーニングには
CNNだのRNNだのLSTMだのオートエンコーダだのGANだの色んなアルゴリズムがありますけど
「よくこんなに色々と考えるよなあ」と感心しますよ!
考えた人、天才かよ! あと、深層学習には画像や文章生成といった
一種の創作も出来るみたいですけど、質問。
ディープラーニングは4コマ漫画が描けますか?
例えば『コボちゃん』のデータを大量に学習させて
絵と台詞を自動生成させて、面白い4コマ漫画を自動で生み出せますか? >>588
色々な観点があるけど、高校までの国語教育がひどい、読書感想文意味不明w >>586
次の文を読みなさい。
アミラーゼという酵素はグルコースがつながってできたデンプンを分解するが、
同じグルコースからできていても、形が違うセルロースは分解できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
セルロースは( )と形が違う。
(1)デンプン (2)アミラーゼ (3)グルコース (4)酵素
1-4 どれ選んでも正解やな 前提知識がなくても正しく答えられるだろうか
次の文を読みなさい。
?アルパド・イロというバルギルはプレブルがつながってできたニヤ鎮をアラーモンするが、
同じプレブルからできていても、Ap4Aが違う?ダヤナラ・トレスはアラーモンできない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
?ダヤナラ・トレスは( )とAp4Aが違う。
(1)ニヤ鎮 (2)??ダヤナラ・トレス (3)プレブル (4)バルギル >>600
1
名詞に「?」等の記号が入ると読むのが辛い 田中というコックさんは思いやりがつながってできたシチューを調理するが、
同じ思いやりからできていても、色が違うタンポポは調理できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
タンポポは( )と色が違う。
(1)シチュー (2)田中 (3)思いやり (4)コックさん
作ってみた AIの立場だと簡単に解けるが
人間だと解けない問題もいっぱいあるな 「買い物にいって牛乳を1つ買ってきてちょうだい。卵があったら6つお願い!」 読解力とか論理的把握力を問うとか言ってるけど現実でこんな文章書いたり会話してたらちょっと頭おかしい?ってなるだろうな >>607
603の問題で言うとどれを選択しても色が違うは真になるんじゃないかな? >>605
卵があったらの条件付きで
買う対象の分布を学習すれば解決するんじゃね?
卵なのか牛乳なのか >>608
「同じ思いやりからできていても」がそれ以降の文の対象を思いやりから出来てるものに制限する用法だから、
「(〇〇とは)色が違うタンポポ」の〇〇に田中や思いやりが来ることは無いんじゃないかな >>610
思いやりは思いやり1つから出来ているし
田中が思いやりから出来ているか出来ていないかはこの文章からだけでは特定できないんじゃね? >>612
無意識の先入観で可能性を限定しすぎている >>613
選択肢から一つ選ぶんだからよりソフトマックスかけるなりしてより蓋然性の高いものを選べよ
この場合文中で100%思いやりから出来てるって確定してるシチューがあるのに他の選択肢選ぶのは人間としておかしいわ >>614
蓋然性が高いってどうやって数値化できるの? シチューを黄色くしたらタンポポになるみたいに学習しそう >>618
その通りだと思うし、そもそも現在AIを使うときは
大きな枠組みがまず必要と思う。
そこではアプリオリな情報が必要となる。
制約があるからこそ最適化が成り立つところに似ている。
いかに周辺(仕事なら業務知識)が重要かってなところかな。 >>528
>Signateは賞金安いのに権利全部よこせとか、優秀だけど安く雇える学生だけ探してるわとか、
>訓練画像20枚な、とかで絶望しか感じないんだが
画像データ20枚ってのはファインチューニング用のコンペってこと? NHKの方から来ましたって言われて
集金詐欺に引っかかりそう AIカーが来てる! 自動運転でラジコンカーを走らせよう!
https://weekly.ascii.jp/elem/000/000/422/422742/
おもちゃの自動車がAI で動く時代。
これもRaspberry Pi とpython で学習して自動運転してる。 関係ない質問なんだけどみんなはDBとかネットワークとかフロントエンドとかの技術も持ってるの?
色々出来る人はすげーよ… >>624
DBなんてどうとでもなるぞ
joinが鬼門って程度だし、そもそも機械学習はDBほとんど使わない
セキュリティと速度求めだすと底なし沼だけどな
フロントとか更にどうでもいい
bootstrap辺りいれときゃそれっぽく見えるし、まぁ見えなくてもいい モザイク消しを試している者だけど、なかなか良い物ができた。
機械学習にあんまり詳しくない俺でもここまでの画像ができるんだから、実はみんな隠れてやってるだろ。
俺はこの重み付きのモデルを公開する事は決してないが、ググれば初学者でもすぐに作れるようになる物なので、時間の問題だと思っている。
マジで悪用厳禁だ。これは気軽に使えるようにしちゃいけない。 >>627
モザイク消すのはあんまり魅力感じないけど、強化学習みたいな感じで学習して気持ちよくマッサージしてくれるオナホを作りたいとかは考えてる 顔分類面白そうと思ってスポーツ選手の画像集めてみたところまでは良いけどopenCVの正面顔のカスケード分類器?使ってみたら400枚で4枚しか顔の識別してくれなくて驚いた
一枚一枚トリミングするわけにも行かないしどういうやり方が良いんだろう >>629
HMDと合わせて神名器作ったら天下取れそう >>631
一枚一枚トリミングする
「python 顔 抜き出し」
辺りで検索すれば、それなりなものが出てくると思うけど、アカンか >>631
そんなもんかもね
訓練データを自動収集したいなら動画がいいね
秒間30枚あるので1分でも頑張れる 動画いいよね
スクレイピングでネット画像収集するより手っ取り早い
ただ小数の動画だと偏りが生じるから、いい感じの塩梅が必要 >>624
組み込み、DB、ネットワーク、サーバ周りは出来るけどフロントエンドは無理だなぁ
最近のJavaScript事情に全然ついて行けてない
機械学習はそれなりにやれる方だと思うけど、確かにDBやサーバの知識はほとんど使ってない
スキルセットが違いすぎるから別物と考えた方が良いね >>631 です
>>633
>>634
その辺ひと通り検索して真似してみるんだけど処理の部分はopenCVで用意してる分類器使うからスクレイピングしてくる部分以外は大差ないように感じる…
記事で見かけるのはアイドルの写真が多いみたいだけど、グラビアとかも顔見せるのが仕事だから正面向いてるのが比較的多いのも良い点なのかもしれない(自分はスポーツ選手の画像でやって動きの中のものが多い)
あとはdetectMultiScaleのパラメータもminNeighborsとかminSizeとか指定出来るんだけど何も指定しない方が画像は多く検出してくれるからこの辺の設定も難しい上によく分からない…(検出出来るだけで顔以外のところがほとんど) >>633
>一枚一枚トリミングする
AI使ったらどうだ?
(--; 皆さんどんなグラボ積んでますか?
購入検討の参考にさせて頂きたく
私は今はGTX650という化石のようなグラボです…
趣味でMLを楽しむくらいなので下記が今のところ購入対象です。
GTX 1050ti
GTX 1060
GTX 1660(今月発売予定の1060後継機) >>639
参考にならないかもしれないけど一応
GTX 1080
RTX 2080Ti
業務ではP100x2 >>640
豪華で羨ましいですw
本格的にMLにハマったら上級機を買いたいです >>640
1080 と 2080Ti の差はどんなものですか?
今1080を使ってるけど、
2080Ti の 11GBメモリと TensorCore に惹かれる・・・ >>639
GTX1070
以前は750辺り使ってたけど、仕事前や就寝前に回し始める→帰ってきたら完成、
のサイクルが楽しかった
回してる間は勉強できるしな
今はすぐに終わってしまうから超大変 >>624
あたりめーだろ、AI以前、ITの基礎、飯の種だぞ >>628
確かに、たまに暇つぶしで
一攫千金山師の戯言を眺めに来ているだけだわw >>642
同じくTensorCoreにものすごい期待していたので、期待よりは低かったというのが正直なところ
ディープラーニングばかりでもないしね >>646
GANはあくまで学習方法の一つ
簡単に超精度があがるから利用者が多い みんなバックプロパゲーションの数式とか分かるの?
微分祭りで訳が分からない… CNNの上位互換なGANは無いの?
学習データが少なくても学習成功するようなの >>646
自動運転の研究で用いられている例
道路画像から特徴を抽出してセグメンテーションするネットワークを学習するときに
道路画像から抽出した特徴から道路画像が実画像かシミュレータ画像か判定するDiscriminator入れて、抽出器(Generator)をそのadversarial lossで学習すれば
実画像とシミュレータ画像の違いによらない本質的な特徴を抽出することができる
結果的にシミュレータでの学習をそのまま実世界で利用することができる >>651
なるほど。
気になるのは本物と見分けがつかない実在しない人の顔や動物のリアルな画像生成ですけど
凄い技術だけど、人や動物の場合は何の役に立つの?
同時に恐ろしさも感じます。
写真に証拠能力はなくなるのかな? >>650
モデルの上位互換なアルゴリズムってどういう事? アクセスするたびに架空の顔が出てくるサイト
https://thispersondoesnotexist.com/
>>652
AVの場合は女性の苦痛がなくなる >>647
そうなんですね・・・
ここは冷静になって、GCPあたりで TensorCore を試してから
考えることにします。 TPUはコードい自体をTPUに最適化すれば猛烈な速さを誇るんだが
いかんせんそこまではなかなか >>650
CNNとGANは比較できるレイヤーにない >>649
よくわかってないけど、勾配さえわかれば確率的勾配降下法で局所最適に引っかかるだろうけど
一応何かしら解はでるだろうなぁ程度の理解 >>649
微分の記号が連なっているのが分かりにくいって人はいるよね
はっきり言って難しいことは一つも言っていない
三次元で絵にするとアホみたいに簡単
数式でより汎用性高く記述すると本質と違うところで分からない人が発生する
アルファベットをロシア語アルファベットにしたら理解に時間がかかるようなもん >>652
ドラマとか映画の制作で使われるようになるよ、
俳優使わずにだれでも簡単に生成できるようになる GANの応用で幾つかのドラえもんの道具が現実化するな
映画の登場人物をしずちゃんやジャイアンに変える秘密道具があったはず >>666 オーメンナンバーだな
>ベッキーが生成された・・・
納得。混ざり合うとそうなるかも お、両親の顔画像から子供の顔を生成するアプリあればうれんじゃね!?
→あった
「子供の顔 AI」で検索検索ぅ・・・ >>656
gcpでもawsでもまずはクラウドでいくらか使ってみるのが一番良いと思う。
変な環境依存問題で悩まされることも少ないし、本格的なグラボ買うくらいの金額使う前に
だいたい飽きたりもういいやってなるから。 保存されたモデルを読み込むのにメッチャ時間がかかっちゃう
コマンドラインでの使用だったらinput関数で次々渡していけるのですが、モデル読み込み済みの別プロセスに引数わたして、標準出力を得るにはどうすればいいでしょうか ■ このスレッドは過去ログ倉庫に格納されています