【統計分析】機械学習・データマイニング26

2019/09/15(日) 09:23:06.34

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured

2019/12/04(水) 16:54:35.12

コリアン・ニュース・ネットワーク。

2019/12/05(木) 20:26:03.41

chainerやめちゃうのか
chainerXとかリソースメチャクチャ使ってたのに
やはりマーケティングの失敗だよなあ
非常に残念

2019/12/05(木) 20:36:15.87

マジかよChainerの勉強もそこそこ進めてた矢先に

まあPyTorchが類似部分が多いから何とか

2019/12/05(木) 20:52:35.88

PyTorchに統一して欲しいね
TF2.0も今更感あるし
初心者向けのKerasとプロ用のPyTorchの２つでいいと思う

2019/12/05(木) 21:11:16.43

粘着してたkerasの作者大勝利だな

2019/12/05(木) 21:55:53.24

chainet-rlの代わりは何がよいの？
cupyとoptunaは開発継続らしいよ

2019/12/06(金) 01:37:39.24

マーケティングじゃなくてマンパワーの差。

2019/12/06(金) 04:01:13.87

何といっても深層学習の数学的な枠組みが分かってないと
使いにくいのがChainerとPyTorch
だが細かくカスタマイズし易いのがChainer＆PyToｒｃｈ

kerasは「何かこのタイミングでこれっぽい事したら上手く動くんじゃね？」ぐらいの理解でも
何とか動いてくれる
でも細かなカスタマイズは出来ないからTensorflow丸ごと弄ることになって、
そうなるとChainer＆PyToｒｃｈより更に上のレベルの数学的な理解と
そのプログラミング上の実装を知っておく必要が出来てしまう

2019/12/06(金) 07:42:41.87

まあ、良いのではないでしょうか
マイナーチャンジに力を注ぐより、より良きものを求めることが立場

2019/12/06(金) 07:43:08.75

できる立場

2019/12/07(土) 09:11:16.92

tf2.0とpytorchってシェアほぼ互角じゃない？
どっちに統一されるかは知らん。自分の使ってる方がマイナーになったら
あきらメロン

2019/12/07(土) 09:44:14.90

メロンです、請求書です。

2019/12/07(土) 09:58:04.39

ツールが使えるだけで機械学習や統計を理解した気になっている人は危険だと言うことだ
本当に理論から理解していれば多少記法が変わったところですぐ順応できるが、特定のフレームワークを使った単なる作業者だとそのフレームワークが下火になった時に移行するのにかなりの労力が必要

2019/12/07(土) 10:43:12.55

はじパタ本とかゼロから作るで適当にベースを作っただけでも
複数のツールを使うぐらいならワケないけどな
でもそのレベルだとこれからは機械学習を専門職にはできない感じがする

2019/12/07(土) 12:39:37.05

ハードウェアサポートが広い方を使いたいからtensorflowって感じになってる。
分散環境での学習とか、クライアント機でどれだけ動くのかがこれからの焦点なんじゃないかね。
コード内容自体はどっちも大して変わらん。バカは大騒ぎするけど。

2019/12/07(土) 15:48:15.19

ゼロから作るやっとくメリットで具体的になんですか？

2019/12/07(土) 15:58:51.31

自動微分を自分で実装すると手間だなというのが実感できる。

2019/12/07(土) 16:41:02.63

あ、はい

2019/12/07(土) 16:52:12.95

>>653 NN、畳み込みNNやLSTMのロジックを一から理解できる
逆にいえば、そこ完璧にわかってるならやる意味ないだろうなあ

2019/12/07(土) 17:00:30.01

「ロジック知って何の意味あるの？知らなくても使えてるよ？」みたいなことを言う奴が出てきそう

2019/12/07(土) 17:06:56.43

お前が使えるレベルならそうなんだろうとしか言いようがないな

2019/12/08(日) 08:50:34.91

つまり意味はない、ってことだな

2019/12/08(日) 09:09:03.18

>>659
好き

2019/12/08(日) 09:36:02.76

ハイパーパラメータの自動調整をまともに使うには背景にある統計理論の知識がいるよ

2019/12/08(日) 13:55:46.22

chainerは単純に人員が足りてなかったと思う
リリース版にバグがあるままリリースしてる
リリース版の更新が多すぎ
で離れて使わなくなった

2019/12/08(日) 15:40:26.42

いうてtfもバグなしじゃないだろ

2019/12/08(日) 16:05:40.36

>>661
あんまり関係ないがな。
hyperoptなりoptunaなりにつっこむだけだろ。
しかもそんな変なチューニングするくらいなら論文のままのもの使った方がいいっていうおまけつき。

2019/12/08(日) 16:11:39.81

automlで適当に調整してくれるしな

2019/12/08(日) 17:12:03.76

>>662
いよいよ倒産が見えてきたのかな？
受託もしないし自社サービスも出さないし
それでやってられるとは思えん
とにかくユーザーが使えるサービスをリリースしないと

2019/12/08(日) 17:15:40.02

ハイパーパラメータ調整ツール自体の調整能力まで把握した上で使うならいいが
理論も分からない、ツールがどうやって調整したのかも分からないだと困るな
「どうしてこのハイパーパラメータが最適なのか？」の質問に対して「ツールがそう算出したから」「論文に書いていたから」を回答にせず説明できるなら問題ないとは思う

2019/12/08(日) 17:26:18.38

>>667
それは生産性も価値もない話だと思う
理論について勉強することは必要だけど、重箱に隅のような知識を大切にするよりは
機械学習の外に目を向けた方がいい

2019/12/08(日) 17:31:13.86

>>666
嫉妬じゃん

2019/12/08(日) 19:49:05.17

pfnってなんか仕事はしてるだろ
トヨタとの共同研究ってまだ続いてるんじゃないの

2019/12/08(日) 20:50:44.18

オコボレ狙いの企業が未だに群がってるから、財源の心配は無いだろう

人材に恵まれていないのか成果がパっとしないけど、
それでも日本のSI企業に頼るよりPFNに投資した方が賢い

2019/12/08(日) 20:59:04.48

>>667
試した中で一番いい結果だから
じゃダメなんですか？

2019/12/08(日) 21:32:17.42

PFNみてるとgoogleが広告やらなかったらこんな風にじり貧になってたんだろうなってのが想像できる。

2019/12/08(日) 22:44:35.51

googleは元々広告で食ってるだろ

2019/12/08(日) 23:18:41.13

>>669
嫉妬というかこれだけの技術力あるのになにをしてるんだ？という気持ち
結局第三者から見たchainer以外のアウトプットはないわけだし
それを切るってもう何も残らん

2019/12/08(日) 23:30:34.77

いちいち公開してないだけで色々案件はやってるだろ

2019/12/09(月) 00:20:35.28

>>675
技術力って何？具体的に何のこと？

2019/12/09(月) 01:54:46.39

第三者ってどの程度のこと言ってるか分からんけどCuPyとかoptuna使ってる人そこそこいるだろ

2019/12/09(月) 13:00:46.54

機械学習で日本の人名を生成したい
どうすればできる？

当方しがないエンジニアでpythonはできるが、
機械学習周辺のキーワードがわからなくて調べられずに困っている
GANとかいうのは画像用だから使えないんだよな？程度の知識

2019/12/09(月) 13:09:35.22

日本の人名は戸籍に使える文字が決まってるから
そこから選べ

2019/12/09(月) 13:14:56.65

>>680
ありがとう
ただこれの用途はキャラクターの命名なので、
現実に使える文字かどうかはあまり重要じゃない
むしろ実際にはありえなさそうな方が良い

2019/12/09(月) 13:55:54.49

>>681
保険会社かなんかが姓名ランキングしてるから
まずは使える文字からランダムして
よくある苗字や名前になってたら再抽選

2019/12/09(月) 15:05:03.48

ディープなことするよりマルコフ連鎖とかでやった方が良さそうだけどな

2019/12/09(月) 15:14:40.70

条件後出しは失格

2019/12/09(月) 16:25:34.13

ああ、同人誌みたいなライトノベルみたいなどうしようもないやつに使いたいのね
乱数でいいんじゃね？

2019/12/09(月) 19:24:47.20

ランダムな個人情報を生成するプログラムなら既にあるが
テストとかに使うらしい

2019/12/09(月) 21:39:53.12

人名ジェネレーターで良くない？
辞書リストと乱数で成り立っていてAI不要な

2019/12/10(火) 04:20:23.19

デスノートのいじめが発生しないようにって配慮スゲーって思ったな

2019/12/10(火) 14:05:49.73

阿部進次郎

2019/12/11(水) 19:37:08.57

ご質問なのですが、機械学習の回帰問題において、教師信号が特定の範囲内にある時の重みを重くするような損失関数はありますでしょうか？

私が解きたい問題においては、教師信号の値が0~1の間の値を取るように基準化しているのですが、
例えば、RMSEを下記のようにカスタマイズした損失関数を使用したいのです。

False Positive:学習器の出力は0～0.2の範囲だが、教師信号は0.2より大きい　or
学習器の出力は0.8～1の範囲だが、教師信号は0.8未満

False Negative:教師信号の出力は0～0.2の範囲だが、学習器の出力は0.2より大きい　or
教師信号は0.8～1の範囲だが、学習器の出力は0.8未満　　

とTrue negativeとFalse Negativeの場合にのみ損失関数を計算するか、重みを大きくした損失関数を使いたいのです。

もしご存じでしたら、この損失関数を使用可能な学習器やライブラリなどを教えていただけますでしょうか。
ライブラリなどが無くても最悪論文などがあればそれでもかまいません。何卒ご教示をお願いいたします。

2019/12/11(水) 21:41:26.98

わかんない

2019/12/11(水) 21:52:30.04

知らない

2019/12/11(水) 22:27:12.29

andで繋げたら？

2019/12/11(水) 22:52:42.17

損失関数自分で定義すればいいじゃん

2019/12/12(木) 00:35:12.72

>>690
まず教師信号とはなに？ベクトル？時系列？
＞教師信号が特定の範囲内にあるとき…
ヘビサイト関数(ステップ関数)の重ね合わせで表現可能

＞RMSE
二乗平均？(RMS)
よくわからん。一般的でない。

＞false positive, false negative…
応答だけ書かれてもわからん。±で4パターンあるだけ？

2019/12/12(木) 06:56:14.26

>>690
fpに分類をよせたいということであれば重み付けカッパ係数で評価する方法はある。
ttps://qiita.com/tand826/items/4d1fb2045f2b48d21b7d

求めているものと全くちがうかも

2019/12/12(木) 07:02:30.85

理解してない人が繰り出す小手先の改善ほど効果のないものはない

2019/12/12(木) 07:37:25.30

>>695
RMSEは一般的だけど。。

>>690
やり方は主に2通りある
一つはサンプルをいじる方法、もう一つは関数をいじる方法だけどもっと詳しく聞きたい？

2019/12/12(木) 08:02:27.31

うんこレベルに無知なくせに回答しようとするゴミって
どういうメンタルなんだろうなw
機械学習は分かるけどウンコの考えは謎だわ

2019/12/12(木) 09:22:48.99

文句いうだけのうんこよりマシって程度

**690** (ﾍﾟﾗﾍﾟﾗ SD4b-uKDx [110.163.140.118]) · 2019/12/12(木) 12:56:19.08

皆さん、お忙しい中返信をありがとうございます。

>>698
知りたいです。是非教えてください。
>一つはサンプルをいじる方法、もう一つは関数をいじる方法だけどもっと詳しく聞きたい？

2019/12/12(木) 17:43:51.02

>>701
サンプルをいじる方は2パターンあって、重みを付けたい範囲のデータを水増しして増やすか、逆に重みを付けたくない方のデータを間引くかのどちらかを行う

関数をいじる方は、使ってるライブラリのオプションにweightみたいなのがたぶんあるはず。無ければ自分で実装しかないんじゃないかな

2019/12/12(木) 21:49:18.95

違う話になってない？

2019/12/12(木) 22:07:40.49

損失関数を変えるってより真の目的は特定のデータ範囲だけ重み付けしたいということだと解釈したけど、違ってたらすまん

2019/12/12(木) 23:49:42.64

>>702はあほか
ただステップ関数だけやん

2019/12/12(木) 23:50:24.59

訂正
>>702はあほか
ただステップ関数かけるだけやん

2019/12/12(木) 23:52:33.17

>>702はうんこにも負けるお馬鹿さん

2019/12/12(木) 23:58:44.94

>>702の方法を詳しく聞きたいです。
どのレベルのものが出てくるのかな？

2019/12/13(金) 00:03:20.51

>>698
＞やり方は主に2通りある
一つはサンプルをいじる方法、もう一つは関数をいじる方法だけどもっと詳しく聞きたい？

聞きたいです。
どのくらい短いコードになりますか？

**690** (ﾍﾟﾗﾍﾟﾗ SD4b-bWwy [110.163.140.118]) · 2019/12/13(金) 00:07:11.37

>>702
ありがとうございます。私が阿保でした…。色々と難しいことを考えていましたが、普通に分類問題における不均衡データの扱いと同じように考えれば良いのですね…。

2019/12/13(金) 00:10:21.56

>>698いわく方法は２つあるらしいけど、僕ちん一番始めに思い付かなかったな。長過ぎて。

2019/12/13(金) 00:21:47.33

>>698のどや顔のわりに出題者の意図を組んだ回答になってなくて笑うわ

2019/12/13(金) 00:28:36.82

>>699は>>695の始め四行を理解できましたか？

おそらく意図に沿った最適解ですよ？

2019/12/13(金) 00:52:32.77

ところでさ、>>690は>>695の最後の一行だけで解決できたって認識はある？

2019/12/13(金) 08:26:43.93

>>710
ID変わっちゃってるけど

>>698は俺で、>>702で回答したつもり
そうそう不均衡データ知ってるなら話は早い。それと同じに考えればいいんじゃないかな

2019/12/13(金) 08:47:13.93

オライリーのPythonによるデータ分析とデータサイエンスハンドブックってどっちがおすすめですかね？

2019/12/13(金) 11:10:40.03

前者

2019/12/15(日) 11:25:39.35

オライリー本の機械学習本大杉
俺にも初心者向けのお勧め教えてほすぃ
趣味でやる程度で、プログラムは問題なくて数学はソコソコ程度でやんす

2019/12/15(日) 11:27:48.03

どうせ無理

2019/12/15(日) 16:36:37.82

夢見る機械学習
夢見る深層学習

あたり

2019/12/17(火) 17:57:23.97

neuripsは、にゅうりっぷす、でいいの？

2019/12/17(火) 21:22:33.32

夢見るって何だよw

2019/12/18(水) 08:37:06.46

アンドロイドは電気羊の夢を見るか?　フィリップKディック

2019/12/19(木) 16:18:27.57

>>723
この板では常識みたいな本のタイトルだよな

2019/12/19(木) 19:13:19.10

攻殻機動隊は？

2019/12/19(木) 20:08:23.64

>>725
アニメという時点でダメですね、紙の本を読みなよ

2019/12/19(木) 20:36:41.48

コミックです。。。

2019/12/22(日) 12:35:04.23

pythonの入門書を終えてtensorFlowとかkerasとか学びたいんだけど、
よい入門書教えろください。 orz

2019/12/22(日) 13:30:25.72

>>728
いきなり深層学習フレームワーク触るより深層学習の基礎勉強しなさいよ
つ　ゼロから始める～

2019/12/22(日) 13:47:20.09

せんせー、pythonの文法知ってるだけの人がいきなりゼロからはじめるやって分かるんですかー

2019/12/22(日) 13:50:53.01

tensorflow触ったって理屈何も分からんでしょ

2019/12/22(日) 14:19:38.73

tensorflowに触ってごらん、AIだよ

2019/12/22(日) 14:24:41.20

>>729
説明不足でした。
ニューラルネットで修士号とってますが、
全然関係ない分野で働いてたので、
プログラムのリハビリ状態。

統計学と昔の機械学習は理解しているので、
新しいトピックと実際の動かし方を学びたい。

2019/12/22(日) 14:32:55.35

統計学は応用数学だが
機械学習に数学はいらない

2019/12/22(日) 14:38:25.43

>>734がｲｲ（・∀・）こといった！

2019/12/22(日) 14:54:20.51

何をどう調べてどこまで身につければ十分なのかを自力で把握できなければダメ
何も知らない中学生・高校生ならまだしも、大学出た社会人が「何から学べばいいか？」とか聞くこと自体がアウト

2019/12/22(日) 15:02:08.75

いや、Tensorflowの全体像を知るための定番の入門書を知りたかっただけなんですが・・・。

2019/12/22(日) 15:13:24.42

>>733
「scikit-learnとTensorflowによる実践機械学習」などどう？