【統計分析】機械学習・データマイニング26

■ このスレッドは過去ログ倉庫に格納されています
2019/09/15(日) 09:23:06.34ID:bjsiNRs40

機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured
527デフォルトの名無しさん (ワッチョイ ff10-Lc5z [153.131.102.129])
垢版 |
2019/11/10(日) 17:14:27.32ID:iNYMutj60
>>525
人間が車を運転しても死亡事故は発生する
自動運転の方が死亡事故率が低い事が分かったら
自動車保険で自動運転の場合の保険料が安くなるだろう

社会的な影響は理解できる
だから実証実験のドライバーが動画を見ていて良かったのかが疑問
2019/11/10(日) 17:22:52.75ID:j8ULpgDb0
保険も思い付きで上げた事例。
実際にそれですむかは知らん
2019/11/10(日) 17:58:05.20ID:si2lOYY4a
自分が自動運転アルゴリズムの開発責任者なら何があっても全責任をユーザー(とユーザーが契約した保険会社)が負う条件でないと販売できないな
何故ならバグ皆無のプログラムなど存在しないのだからそれを了解した上で使えよとしか考えられない
で、そんな条件で自動運転車を使おうとする人がいるのかどうか
2019/11/10(日) 17:59:45.60ID:FBzaMbQQM
機械学習の仕事はなくならないどころか増えてるけどな
だから人が増えても単価落ちてない
2019/11/10(日) 19:30:46.14ID:FBzaMbQQM
でもJavaとCで不良品検査する単価の安い仕事はもうしたくないな
つらたん
2019/11/10(日) 19:44:33.69ID:zgABv+Qd0
>>530
具体的に何の産業での仕事よ
2019/11/10(日) 19:56:07.47ID:FBzaMbQQM
少なくとも、画像処理の仕事は増えてる
2019/11/10(日) 20:03:19.56ID:MbFf7EI60
まあテスラならテスラが全額賠償するんだろう。
日本じゃ無理だな。
2019/11/10(日) 20:09:35.21ID:zgABv+Qd0
>>533
それはただの要素技術でしょ
工場とかの不良検品?医療のサポート系?それとも色んな分野のpocが来てるだけ?
2019/11/10(日) 20:19:42.03ID:FBzaMbQQM
>>535
不良品検査で伸びてる。データ集めだるくて
今までシステムを導入してなかったところが、上にせつかれてようやく動きはじめた
2019/11/10(日) 20:26:29.68ID:zgABv+Qd0
やっぱりその辺だよなあ
ありがとう
2019/11/10(日) 21:41:34.53ID:Ni2n1I0Oa
荒稼ぎさせてもらったがそろそろ逃げる準備かな
そもそも機械学習なんて外注してる時点で終わっとるのよ
本当にビジネスに生かしたいなら
海外のIT企業の様に業務プロセスに入れなきゃ
活かせるわけないんだよね
2019/11/10(日) 22:52:41.28ID:FBzaMbQQM
pythonで組んだtensorflowのモデルをjavaで実装するだけという底辺の仕事もあるよ。そんで外向けにはDL4Jを使ってることになってる
最初Cが苦手でそんな仕事ばかりやらされたわ
2019/11/11(月) 05:12:56.35ID:4B7iuPHw0
ちくっとしちゃうよ!
2019/11/11(月) 05:25:18.59ID:tX5kGdXzH
データ分析も人出足りてないよな
2019/11/11(月) 14:12:42.36ID:KOoLqfbJa
>>539
Web経由で結果だけ返すとか
system関数などでpython起動するのじゃダメなのか?
543デフォルトの名無しさん (ワントンキン MM7f-qVE0 [153.154.54.55])
垢版 |
2019/11/11(月) 15:28:27.51ID:6RvD5GOFM
モデルだけ再利用?
よく分からん
2019/11/11(月) 18:52:23.73ID:Oegy0lSI0
https://tech.nikkeibp.co.jp/atcl/nxt/mag/rob/18/00003/110600045/
545デフォルトの名無しさん (ワントンキン MM7f-qVE0 [153.154.54.55])
垢版 |
2019/11/11(月) 19:19:21.18ID:6RvD5GOFM
これだったら
小さい工場でも気軽に導入できるね?
2019/11/11(月) 20:45:45.13ID:EVqu4APJ0
推論のためにモデルを軽くするってのはあるけど、
精度を考えるとそもそもそこまで大きなモデルで学習する必要なかったんじゃね?
みたいな話はある。
てか誰も精度なんか興味なかったって話も。。
547デフォルトの名無しさん (ワントンキン MM7f-qVE0 [153.154.54.55])
垢版 |
2019/11/12(火) 15:52:52.24ID:5J5yqkZqM
hackerxてなんのイベントなの?
2019/11/12(火) 15:59:09.63ID:c/ZpUwOW0
リクルートみたい
2019/11/13(水) 15:33:05.22ID:hApsuBpcr
ハッカー村(そん)
550デフォルトの名無しさん (ワッチョイ fde6-iZ7S [14.3.161.84])
垢版 |
2019/11/15(金) 08:48:30.37ID:y4RyaYdh0
gpt-2の発表は変だった
期待外れ

あの大袈裟な発表は
イーロンマスクが入れ知恵したからなのかな
551デフォルトの名無しさん (ワッチョイ 8d82-IR5O [124.40.110.128])
垢版 |
2019/11/17(日) 21:27:39.70ID:Qw4Ltt1k0
形式ニューロンとパーセプトロンの違いがよくわかりません。
552デフォルトの名無しさん (ワッチョイ 2b10-k7Fv [153.131.102.129])
垢版 |
2019/11/18(月) 07:41:28.00ID:9aN5YyV+0
>>551
ニューロンは一つの素子で
ニューロンを層状の2層構成にしたのがパーセプトロンじゃないかな
553デフォルトの名無しさん (アウウィフ FF11-/nAh [106.171.85.218])
垢版 |
2019/11/18(月) 09:52:47.05ID:ahZzeXy3F
割とマトモなこと言ってる
https://www.youtube.com/watch?v=OLkoIsuxg8k
2019/11/19(火) 06:35:07.83ID:cfYOxE8L0
むんどくさい
https://ainow.ai/2019/11/18/180603/
2019/11/19(火) 10:12:41.66ID:49NB1ryfM
要するに定期的な性能評価と再訓練が必要だから、作って終わりじゃないよって話だよね
あたりめえの話だ
2019/11/19(火) 12:10:48.90ID:2mjMv6uSa
作って放置して劣化しないものなど存在しない
技術の進歩の速いソフトウェアの世界ならなおさら
557デフォルトの名無しさん (ワイーワ2 FF13-/nAh [103.5.142.235])
垢版 |
2019/11/19(火) 12:20:05.56ID:8naC8O/UF
過学習で馬鹿になるパターンは人間でもよく居るよな
2019/11/19(火) 18:54:57.23ID:Y8qF6Kw60
増加しているアジャイルもAIも従来のSI型の発注では無理だけど、
いつまでこの慣行が続くんだろうね
559デフォルトの名無しさん (ササクッテロ Spc9-k7Fv [126.35.69.142])
垢版 |
2019/11/19(火) 19:12:20.06ID:s40irKmEp
>>555
運用中に処理対象になるデータが
開発中に扱ったデータと違う分布になっているとか
開発中のデータがもともとたりなかったってことじゃ無いの?
560デフォルトの名無しさん (ササクッテロ Spc9-+iTV [126.33.37.160])
垢版 |
2019/11/19(火) 20:25:28.12ID:Ag+TvSO9p
ここで聞くのもなんなんですがdeep learningの手法とかテクニック系を話してる板はどこでしょうか?
561デフォルトの名無しさん (ワッチョイ 8d82-IR5O [124.40.110.128])
垢版 |
2019/11/19(火) 20:31:02.32ID:nEj8UkU30
どうしたらディープラーニングで言語理解出来るようになりますか?
2019/11/19(火) 20:46:18.90ID:FKsBQDds0
>>561
ママンに自然言語をも一度おしえなおしてもらってからだな
2019/11/19(火) 21:02:01.44ID:cfYOxE8L0
https://www.itmedia.co.jp/news/spv/1911/19/news098.html
2019/11/19(火) 21:03:39.09ID:bUPqVsUtM
>>555
つまりはしばらく食いっぱぐれ無いってこったな。ええこっちゃ。
2019/11/19(火) 21:30:03.49ID:z1WwUVuJ0
SIerが滅びないと日本のITに未来はない
2019/11/19(火) 21:33:22.55ID:EAp6ZFS60
滅びない。そして未来はない
2019/11/20(水) 00:19:44.54ID:fEAcQWwmp
すいません。まったくのど素人なのですが、質問させてください。

システム構築というか、コンピュータに望むような動きをさせるため、どのプログラムをどのように組んだらいいのか、ってことについて勉強をしていきたいと思ってます。

アルゴリズムや機械学習などの基本知識を学んだ上で、プログラミングを勉強していけばいいでしょうか。

よくわからないなりに考えたので、何を言ってるのかわからないかもしれませんが、何をすべきか、ご教示ください。
568デフォルトの名無しさん (ワッチョイ fde6-iZ7S [14.3.161.84])
垢版 |
2019/11/20(水) 07:06:48.48ID:zvVE5hEg0
>>567
こういうのをやってみたら?
https://www.codexa.net/
2019/11/20(水) 07:43:05.33ID:akFTsaUH0
>>567
適切なスレに誘導してもらう
2019/11/20(水) 08:22:58.48ID:xoh76b7Fp
>>568
ありがとうございます。できれば最初に地図というか全体を俯瞰して理解したいのですが、それは可能でしょうか。

>>569
ありがとうございます。どこらへんで聞くのが適切でしょうか。教えていただけると助かります。
2019/11/20(水) 09:45:01.14ID:hrstG49p0
>>570
システム構築をゼロから学ぶつもりってこと?
どこかの情報工学科のシラバス一回見てみるとか
習得範囲が広すぎるような気もするので、とりあえず望んだプログラム動かすまでとか範囲決めるといいかも
あとは身近で詳しい人捕まえて素人質問たくさんぶつけた方がよさそう
572デフォルトの名無しさん (ワンミングク MMe3-f9Up [153.235.108.33])
垢版 |
2019/11/20(水) 11:54:50.74ID:8uwrhbuIM
東大に入ればいいんじゃない?
2019/11/20(水) 12:22:19.49ID:QpxHOQL8d
ライフワークになってしまう
2019/11/20(水) 15:56:49.87ID:fDyJS9pg0
>>567 >>570
続きは↓へ移動汁
スレ立てるまでもない質問はここで 152匹目
http://mevius.5ch.net/test/read.cgi/tech/1573214616/
2019/11/20(水) 22:43:33.41ID:xoh76b7Fp
遅くなりました。皆さまありがとうございました。
とりあえず、全体像を見て、どこらへんを目指すか考えていきます。
>>574のスレッドでいろいろ聞いてみようと思います。
それでは。
576デフォルトの名無しさん (ワッチョイ 56bb-tIGp [217.178.3.78])
垢版 |
2019/11/23(土) 11:06:54.12ID:EMpawcHE0
>>567
>「コンピュータに望むような動きをさせるため」

その『望むもの』を自分で先に見つけ出したほうがいい
これ自体はコンピューターと直接の関係はない。
まずは、コンピュータにとらわれない実務に触れてみたら
ヒントがでてくるんじゃないかな。
じゃないと、何やっていいかすらわからないから、
何から覚えるかもわからないことになる。
2019/11/23(土) 14:23:27.39ID:pr0bhlVh0
意匠権について
https://youtu.be/nXdkZafRzyY


2020年4月に法改正
https://youtu.be/5YS0TLS37Zs
2019/11/23(土) 14:52:00.77ID:UeAxjNOJa
大澤昇平 :: AI 救国論 🇺🇳 @Ohsaworks:

AI の場合は単に精度が高ければ何でもいいんですよ。
設計時に人間が主観(「事前分布」といいます)として差別的な情報入れたら NG ですけど、
ラーニングの結果として差別が生まれるのであれば、それは単なる自然の摂理です。
https://twitter.com/rysyrys/status/1197764388691689472
https://twitter.com/5chan_nel (5ch newer account)
2019/11/23(土) 15:07:28.15ID:PHGQW6IUa
特任准教授なのに准教授と自称している人だな
2019/11/23(土) 19:34:36.75ID:rr4WRS2d0
> 称号 経済産業省認定 未踏天才プログラマー/スーパークリエータ
(つд⊂)ゴシゴシ
( ゚д゚ )
2019/11/24(日) 00:38:43.56ID:2vFps37N0
>>580
これが何の意味もないことを証明してしまったな
2019/11/24(日) 08:46:55.06ID:wKi7JOLd0
清水某とかもそうだろ
2019/11/24(日) 13:27:18.72ID:WoLlse2Fa
東大から正式に切り捨てコメント出たな
こういう胡散臭い人はどんどん切ってほしい
2019/11/24(日) 13:30:34.69ID:G+scijNw0
つくばが出発点で
政府系のあやしープロジェクトにガンガン応募して
りっぱにうかってるところも一緒ダナーw > >>578の人&「トロイのつくば」の作者

>>581
だなw

>>583
東大以外からも
どんどん探し出してポイしてってほしい
2019/11/26(火) 08:01:06.64ID:g0fKFAs1r
cudaがらみはくだpyスレがいいのかな
2019/11/26(火) 19:02:05.57ID:pgCzIwzp0
>>585
【GPGPU】くだすれCUDAスレ part8【NVIDIA】
http://mevius.5ch.net/test/read.cgi/tech/1465969275/
587デフォルトの名無しさん (ワッチョイ ff82-CqbB [124.40.110.128])
垢版 |
2019/11/26(火) 19:32:56.95ID:xV5ChpD10
文章から画像を生成するGANがあるけど
例えば「机の上にリンゴが1個あります」という文章から画像が生成されたら

機械は人間のように、言葉の意味を理解したと言えるのでしょうか?
588デフォルトの名無しさん (ワッチョイ d610-b4Py [153.131.102.129])
垢版 |
2019/11/26(火) 19:36:56.31ID:cmZeJbzH0
>>587
机、りんご、上、1個、ある
とかの個別の概念と
それらの関係を人間が意図したのと同じように
解釈して図示できたら
通信ができたことになるのではないでしょうか?

通信が出来ることを理解すると解釈するなら
理解したことになりそうな気はします
589デフォルトの名無しさん (ワッチョイ d610-b4Py [153.131.102.129])
垢版 |
2019/11/26(火) 19:38:45.07ID:cmZeJbzH0
xmlとかでちゃんと書いてやればコンピュータでも解釈できると思う
画像からXMLなりを生成するのもできそうな気はするな
590デフォルトの名無しさん (ワッチョイ d610-b4Py [153.131.102.129])
垢版 |
2019/11/26(火) 19:41:33.35ID:cmZeJbzH0
センター試験か何かを解かせたとかニュースになってた気がするけどな
一応問題文を理解して答えを見つけられるようにはある程度なってるんじゃないの?
2019/11/26(火) 20:21:16.43ID:4LG/NuNj0
理解、ってなに?ってことだよな
2019/11/26(火) 22:54:22.47ID:qL3WJ7tta
まあ、人間も問題の意図している理解をしているとは限らないからな
2019/11/27(水) 09:01:28.12ID:dU+ct8c00
入試問題を解くのは条件反射、出題の意図を理解するのは無駄(笑)
594デフォルトの名無しさん (ワンミングク MM82-Gedh [153.235.108.33])
垢版 |
2019/11/27(水) 14:25:38.08ID:pvWhqXzvM
curriculum learningてどうよ?
効果を感じないんだが。。。
2019/11/27(水) 14:44:38.10ID:R3eAH8fN0
>>594
にんげんさまが指示してやらねばならん部分・・・
階段の刻み方(どういう方法で難しさを順位付けするか)
が悪いんでね?

あるいは
これもやっぱりにんげんさまが指示してやらねばならん部分・・・
レベル1の勇者にいきなりたまにはぐれメタルエンカウントさせちゃう的な、
試練の与え方が悪いか。
596デフォルトの名無しさん (ワンミングク MM82-Gedh [153.235.108.33])
垢版 |
2019/11/27(水) 14:50:18.75ID:pvWhqXzvM
nlpなんだけど
ミニバッチ作るときに自然にもうcurriculum learning的になっているのかな?
2019/11/28(木) 22:01:34.94ID:Y+wConzQ0
訓練データとテストデータの相関性がほとんどない問題とか
当てずっぽうで適当に振るところから始めて反応見て方向性定めているのか?
パワーと投稿数の勝負になっている気がしてならないけど
598デフォルトの名無しさん (アウアウウー Sa23-8b9h [106.161.209.107])
垢版 |
2019/11/28(木) 22:37:12.05ID:fUP9hRZYa
>>590
2019年大学入試センター試験英語筆記科目においてAIが185点を獲得 
https://www.ntt.co.jp/news2019/1911/191118a.html
599デフォルトの名無しさん (ワッチョイ 5fad-q7p1 [110.130.184.72])
垢版 |
2019/11/29(金) 00:17:47.54ID:lLJmxOHf0
Kaggleとかの機械学習コンペで主催者(依頼者)が持ってるマシンよりも参加者(優勝者)がコンペで使ったマシンのほうが性能良いってことあったりするの?
2019/11/29(金) 02:03:47.84ID:ZRMLeeOO0
主催者がもってるマシンってなんぞ
2019/11/29(金) 02:04:56.14ID:WPSMNOiN0
マシン持ってない可能性も高いだろう
602デフォルトの名無しさん (アウアウクー MM33-O/Gm [36.11.225.189])
垢版 |
2019/11/29(金) 09:49:10.05ID:gYWo3w4cM
Deep Learning散々騒いだ割には結局テーブルデータじゃGBDTにボロ負けな現状なんとかならんの
せいぜいGBDT様にお情けでensembleさせて頂く程度
603デフォルトの名無しさん (ワンミングク MMdf-LjR8 [153.235.108.33])
垢版 |
2019/11/29(金) 12:49:35.84ID:9onQejqxM
つ適材適所
2019/11/29(金) 16:11:35.42ID:WPSMNOiN0
>>602
テーブルデータの解析で話題になったわけじゃないぞ
2019/11/29(金) 19:08:43.15ID:rfU0XW80r
>>604
多分だけどニューラルネットワークは汎用性が高いだけで、画像系でももっと良いほうがあるけど見つかってないだけと思ってる
2019/11/29(金) 19:15:32.09ID:Ab9Y7Svv0
>>605
画像処理で高精度が出るDNNのモデルサイズを精度をあまり下げずに削減するような研究が出てきてるから、それを突き詰めると決定木的なルールが取り出せるのではないか
607デフォルトの名無しさん (ワンミングク MMdf-LjR8 [153.235.108.33])
垢版 |
2019/11/29(金) 19:18:55.66ID:9onQejqxM
えーまた同じ間違いを?
2019/11/29(金) 21:04:43.23ID:i2+wAL7T0
>>602
データテーブルでも回帰の滑らかさではnnが上だけどな。
2019/11/29(金) 23:37:12.91ID:ZRMLeeOO0
>>602
調律師次第ではNNもGBDTに精度で並ぶ
しかもNNとGBDTではGBDTの方がモデルの劣化が早い
2019/11/30(土) 09:04:53.45ID:DZbtLtp60
回帰がなめらかじゃないと困るって、たぶんあるとは思うけど具体的にどういうケースだろう
2019/11/30(土) 09:36:17.16ID:Uqy6J8Cl0
>調律師次第ではNNもGBDTに精度で並ぶ
んなわけねーだろ。。データが 2000,3000程度の場合、NNなんてまともに動かんわ。
612デフォルトの名無しさん (アウアウウー Sa23-29PW [106.154.127.208])
垢版 |
2019/11/30(土) 09:52:40.58ID:vuvC9RZIa
>>609
モデルの劣化って汎化能力が低いってこと?
2019/11/30(土) 10:17:22.90ID:g/CprbiQ0
overfitじゃない?
614デフォルトの名無しさん (アウアウウー Sa23-nO0S [106.154.136.36])
垢版 |
2019/11/30(土) 10:53:06.13ID:xqSKATFaa
>>611
それもNNの規模次第でゎ。。。
615デフォルトの名無しさん (アウアウウー Sa23-nO0S [106.154.136.36])
垢版 |
2019/11/30(土) 10:54:38.50ID:xqSKATFaa
>>609
劣化が早いってどゅこと?
モデルって腐るの。。。?
2019/11/30(土) 12:02:50.26ID:Uqy6J8Cl0
>>614
そんな小規模でNNチューニングしてまで使ううまみはないだろ?
ばかなの?
それとも本気で現場でそんな主張してんの?
2019/11/30(土) 12:09:04.69ID:A+rR0WU8a
はい
618デフォルトの名無しさん (アークセー Sx33-O/Gm [126.149.48.137])
垢版 |
2019/11/30(土) 12:58:50.37ID:YcFQTR8Rx
なんか悪かった
どう考えてもGBDTの方が精度出る案件でクライアントがでぃいぷらあにんぐ使いたいですってほざくから
むしゃくしゃしてやっただけなんだ

NGBoostは学習も推論も遅いし予測分布も分類じゃそんなに嬉しくないし結局LightGBM/CatBoostは超えられなさそうだよなぁ
2019/11/30(土) 13:03:41.07ID:OO2kPiiB0
>>618
> どう考えてもGBDTの方が精度出る案件でクライアントがでぃいぷらあにんぐ使いたいですってほざく
発注元の責任で このでぃーぷするとです って
明文化しとけよw
あとから責任おっかぶせられそうになると
ブチ切れちゃうぞw
2019/11/30(土) 13:57:35.50ID:kDVEf3m10
政策もビッグデータで決めるようになるらしい
2019/11/30(土) 13:59:00.59ID:OO2kPiiB0
>>620
テラ保守スwww
しっぱいするみらいしかみえないぞ・・・
2019/11/30(土) 15:42:08.94ID:NbIvukTW0
>>610
例えば学習データでは整数しかないけど、小数点の数値も予想したいときとか。
パラメータ変えた時に結果が同じだと説明の整合が取れないようなものにも使う。
2019/11/30(土) 16:47:02.28ID:n3PjdAM0a
数万程度のデータでNNは流石に無理だろう
過学習して終わるイメージ
2019/11/30(土) 17:12:57.03ID:369/mHN+0
パンピーには関係ない話だけど、
Kaggleで賞金狙えるレベルの人の中には、稀にNNでGBと大差ない精度を出す者もおるんだ
これはたびたびカーネルに出る話題だから間違いない
GBで特徴量を400程度使って出す精度と、ほぼ同等の精度を特徴量20~50程度で出すらしい
NNは前処理もパラメーター調整もシビアだけど、この少ない特徴量でモデルを組めれば、
実装後にデータの傾向が多少変わっても、GBDTよりは精度が落ちない
2019/11/30(土) 17:34:03.26ID:CwbTtXvfH
そんな怖いモデル使えないっす
2019/11/30(土) 17:54:56.02ID:U4j9IED8a
長期に渡って現場で使い続けられるかという観点ではパラメータをやたらと増やした力ずくモデルの方が信用ならない危険なモデルなんだけどな
627デフォルトの名無しさん (アークセー Sx33-O/Gm [126.149.48.137])
垢版 |
2019/11/30(土) 18:09:44.73ID:YcFQTR8Rx
実務上は精度追い求めるよりFeature Importanceが出せるかどうかの方が重要なんだよなぁ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況