【統計分析】機械学習・データマイニング20

レス数が1000を超えています。これ以上書き込みはできません。
2018/08/07(火) 18:56:37.59ID:sGPH9ejna
機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
907デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/26(金) 10:38:04.98ID:XMhrCttAa
>>906
学習の時は計算量かかるけど使うときは大した事ない
理論保証とブラックボックスさだと思う
2018/10/26(金) 15:22:53.19ID:6HAQawqDM
>>905
すべてのラベルが既知ならそれはしなくない？
上の質問者の意図が全くわからん
2018/10/26(金) 15:26:11.38ID:6HAQawqDM
>>900
上の人が言うように、基本的にその場合クラスタリングとは呼ばない。クラスタリングは教師なしだから。

それで質問に答えるとしたらあるデータX（Xはベクトル）にラベルがあるとして、X以外のデータが入力されたときに例えばaとする。そのaとXとのユークリッド距離を測り（k近傍法）、どのx_iと近いのかを判定したりはする。
2018/10/26(金) 16:56:27.75ID:65losNFXM
https://teratail.com/questions/152987

今CNNの学習をしていて、
このページの1つめの結果画像のような状態なのですが、
原因は何だと思いますか？
2018/10/26(金) 17:22:17.83ID:gM4hGWhWM
>>907
個性っぽくて面白いよな。
2018/10/27(土) 15:09:34.95ID:v0X4VL4w0
これって何か斬新なのか？
http://www.itmedia.co.jp/news/articles/1810/26/news077.html

GANとしては出来が悪いし、レンブラントのAI画のようなテーマも無いし
2018/10/27(土) 15:36:19.64ID:y1YlZFrSa
Jupyterってジュパイターと発音するんだな
pythonのpyなのは分かってたけどなぜかジュピターって読んでた
914デフォルトの名無しさん (ﾜｯﾁｮｲ 7d23-qsqE)
垢版 |
2018/10/27(土) 18:17:25.38ID:Rhmyt2K70
こういうのに最初に大金を出した人が美術史を作っていくのや
2018/10/27(土) 18:22:26.40ID:YLSwYbPjd
>>912
著作権とかどうなるんだろうな
2018/10/27(土) 20:53:05.83ID:+ZkL2hzfF
まあ、AIはお金になるという実績を作ってしまったな
2018/10/27(土) 21:33:01.74ID:uuDSt7d3M
>>910
わかる人おねがいします
2018/10/27(土) 21:41:30.48ID:0HglwheTa
>>917
一目瞭然じゃん、教えて欲しいのか、試してるつもりなのか。
2018/10/28(日) 10:52:14.40ID:ZEyjWc9P0
どうみても過学習だろ
920デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/28(日) 11:39:15.80ID:EoM4jV8ha
>>913
わかる
921デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/28(日) 11:41:19.59ID:EoM4jV8ha
>>910
そのページ内で結論出てるやん
2018/10/28(日) 21:57:26.97ID:U2zUowxY0
train か少ないとか、val と train の性質が違うとかもあり得るが
2018/10/28(日) 23:48:27.52ID:Got3VCGwM
>>919
これも過学習なのですか？
ページの人が答えてるように下にあるresnet34の結果が明らかに過学習なのは分かるのですが
こんなに振動する過学習もあるのですか？
2018/10/28(日) 23:50:29.50ID:Got3VCGwM
あと、accがほぼ100%近いのにlossが10もあるのが理解出来ないのですが
こんな状態あり得るのですか？
2018/10/29(月) 00:14:41.57ID:MQrExvvX0
https://bit.ly/2ELs5Zp
2018/10/29(月) 06:28:46.79ID:kXYWj2tR0
>>795
＞>>792
＞そこまで高いの買わなくても、
＞サブ機に1050Ti積んでますけど
＞inceptionv3の199層〜のファインチューニングでも
＞32000枚を100エポック回して大体5時間で終わりますよ
＞低価格でいろいろ試すには悪くない性能だと思うので検討してみてはいかがでしょうか。

ありがとうごさいます
そこそこのグラボ買ってみます
927デフォルトの名無しさん (ﾜｯﾁｮｲ 1bd2-e7ji)
垢版 |
2018/10/29(月) 08:06:16.95ID:62KNlyE40
↓これって日本版Kaggleみたいなもの？

https://signate.jp/competitions
2018/10/29(月) 10:26:37.08ID:8gX7Io6i0
>>924

https://stackoverflow.com/questions/46561531/why-does-the-validation-performance-have-large-fluctuations-during-deep-cnn-trai

上記以外にも似たような話がいくつかあったけど明確な回答はないみたい
データセットの側の問題ということのようだけど

単純にデータ数が少ないだけのような気もする
2018/10/29(月) 10:55:56.04ID:8gX7Io6i0
NNは最小限の構成から始めて
学習曲線を確認しながらレイヤー数を増やして複雑にしていくのが常道だから
まず3層ぐらいの単純な構成だとどうなるのか見るべきじゃないのかな
teratailの例を見れば少ないレイヤー数なら普通に過学習で見られる学習曲線なわけだし

いずれにせよどんなデータを使って何を分析しようとしているかもわからない
ネットワークの構成もわからないで学習曲線だけ出して的確な回答を期待する
というのも無理があるかと
930デフォルトの名無しさん (ﾜｯﾁｮｲ abe7-gZJR)
垢版 |
2018/10/29(月) 11:31:50.05ID:VxCr7qKV0
あらかじめ結論を決めておくのは意味が無くね
931デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/29(月) 11:38:09.69ID:tXMYusEla
でかいネットワークで学習するとむしろ汎化性能が上がるって説もあるよね
932デフォルトの名無しさん (ﾜｯﾁｮｲ 1d80-SUE8)
垢版 |
2018/10/29(月) 21:39:26.10ID:JGxixszg0
むしろ期待通りの結論に到達するように
学習させてるのがいまのｳﾝｺAIだからな
2018/10/29(月) 21:58:32.07ID:zEESrYYqa
むしろ期待通りになるように学習させないでどうするんだよw
間違った教科書で勉強したら間違った答えを出すだけ
934デフォルトの名無しさん (ﾜｯﾁｮｲ 1d80-SUE8)
垢版 |
2018/10/29(月) 22:12:20.15ID:JGxixszg0
つまりｵﾏｴが作ったAIは
ｵﾏｴより賢くなることはない
ｱﾎのまま
2018/10/29(月) 22:18:10.77ID:FSHl5k4M0
教師あり学習なんだからそんなの当たり前やん何言ってんのこの人
2018/10/30(火) 00:39:20.03ID:NTdM/MUxa
作り手の想像を超えた知性が得られたとしてそのことを数値で評価することなど不可能なんだから、そもそも作成に成功したかどうかすら誰にも分からないわけで
937デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/30(火) 02:23:18.40ID:82wxAJF9a
>>936
強化学習なんかだと、例えばゲームで人間の思いもよらない戦略を学習する事もあるし、スコアとかの客観的な評価軸もあるぞ
2018/10/30(火) 08:59:49.24ID:R0rHQSFYa
強化学習は報酬を与えるルールさえ決めれば後は膨大な計算コストがかかるだけで結果は決まっているわけだから作り手を超える賢さを得たと言って良いかどうかは微妙なところ
939デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/30(火) 11:21:40.67ID:82wxAJF9a
賢さとは
2018/10/30(火) 12:07:17.38ID:BPezb0mna
賢さの定義などないけど>>934が賢さについて言ってたから使ってみただけ
2018/10/30(火) 13:55:45.69ID:jHKI7OLI0
この分野、売り逃げがしにくい。
それが良さでもあり悪さでもある
2018/10/30(火) 16:34:11.40ID:MWqKC0Xe0
本当に初心者ですけど質問です。
他クラス分類してて線形モデルを考えてるんだけどグリッドサーチしてCを出すプログラムを書いた。
そのプログラムを数回走らせると毎回違うCが出てくるんですがそう言うものですか？
ちなみにaccuracyはおんなじ値が何回も出てたまに低かったり高かったりします。
2018/10/30(火) 17:24:22.04ID:6RcW7/vQ0
Cとはw
2018/10/30(火) 17:27:41.62ID:MWqKC0Xe0
>>943
正則化パラメータです
2018/10/30(火) 17:48:49.55ID:6RcW7/vQ0
>>942
プログラムがどうなってるか分からないけど（毎回乱数で変わる値をしようしてるとかあったら）、普通は何度実行しても同じ結果正則化パラメータCを出力しなければいけないと思うよ。
プログラムを見て乱数で設定してるところがないかを確認してみては
2018/10/30(火) 18:06:39.94ID:MWqKC0Xe0
>>945
乱数シードは固定してないです
固定してなくても同じ値が出るってことですか？
2018/10/30(火) 18:18:52.14ID:6RcW7/vQ0
>>946
固定してなければ違う値が出ると思う。固定してればもちろん同じ値が出ないとおかしな話だとは思うけど。。。

（そういう乱数の次元の話じゃないかなと思ったので）
2018/10/30(火) 18:30:56.53ID:MWqKC0Xe0
>>947
研究で、もらったデータセットでやってるのでなんかおかしいのかなと思ってました。
irisのデータでも同じような挙動だったので関係なかったです。毎回違う値(振れ幅もバラバラ)なのは普通ということなのですね。
2018/10/30(火) 19:26:16.58ID:9tuKGKcX0
random_state=42で解決やな
2018/10/30(火) 22:43:15.66ID:GavdUYiJp
みんな普段勉強してる？
仕事外は一切やらない？
951デフォルトの名無しさん (ﾜｯﾁｮｲ 2385-UzDQ)
垢版 |
2018/10/31(水) 01:39:51.29ID:sES2GFEm0
機械学習知らん人に説明する度にAIって便利な言葉だと実感する
最適化じゃなくて学習とかクッソ曖昧な言葉で納得してくれて本当助かる
2018/10/31(水) 01:41:22.42ID:t08oq/or0
学習って用語廃止したほうがいいわ
kerasみたいにfitって言えよ
2018/10/31(水) 04:49:39.73ID:JXVBQ0WM0
>>951
「餌を与えると勝手に学習してくれる」っていうと素人にも分かりやすい
954デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-QYDm)
垢版 |
2018/10/31(水) 06:41:10.96ID:pccA+Jbua
>>951
本当に「最」適かどうかは判らないんじゃね？
2018/10/31(水) 10:06:16.97ID:TAKFrudE0
「AIが考える」って、使っていて違和感を感じる表現だけど
そう形容するのが適切なんだな
2018/10/31(水) 11:33:47.84ID:9AveOwUAM
適当な説明すると勝手に妄想を暴走させてしてしまう人もいる
2018/10/31(水) 11:35:46.20ID:DM2hlzCN0
椅子を学習したら切り株に座れる機能がある事も分かるAIはよはよ
2018/10/31(水) 15:05:10.91ID:AfZsWIp40
パブロフの犬ｗ
2018/10/31(水) 16:12:18.23ID:9rURn1wWa
そんなの椅子の認識のさせ方次第でどうにでもなるだろ
背もたれのある普通の椅子しか学習させなければ切り株を椅子と認識できるわけないが座れそうなものを片っ端から学習させれば何とかなる
2018/10/31(水) 17:37:08.95ID:DIO1Zi0x0
ラベリングは誤魔化すために重要。
トヨタのTNGAとか便利便利
2018/10/31(水) 18:27:00.41ID:DM2hlzCN0
>>959
これはただの例で汎用的にやりたいんです。
シンギュラリティ!
2018/10/31(水) 18:38:23.95ID:PS6I4Eoja
切り株画像に「イス」ってラベル付けなくても
切り株に人が座ってるラベルなし画像から推測できるぐらいにはなって欲しいね
963デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-resC)
垢版 |
2018/10/31(水) 21:01:56.61ID:HmfWxI/4a
生まれて初めて切り株を見た人間でも、切り株に椅子としての機能を見出せるだろうけど、これは「座れそう」→「座れた！」という環境とのインタラクションがあるからなんだろうか
前にNHKの番組で東大の松尾先生が「体を持たない知能は存在するか？」的な事を言っていたな
2018/10/31(水) 21:15:33.30ID:N9TdgOC+0
兎が転げるかどうかを判定して下さい
2018/10/31(水) 22:09:58.39ID:2LY4gCsVM
>>961
だからほんなら汎用的なデータ食わせろって話ですわ
まさか学習データが画像しかないとか思ってるわけでもあるまい
966デフォルトの名無しさん (ｵｯﾍﾟｹ Srb5-resC)
垢版 |
2018/10/31(水) 22:18:31.69ID:P5/vr7Wfr
>>965
データがない未知の場面に出くわしても人間みたく持てる経験と知識を応用出来るかって話だろ
データさえあればって身も蓋もない話
2018/10/31(水) 22:21:11.84ID:DM2hlzCN0
>>965
そうなのね。
昨日辺りの日経新聞に書いてあったのよ。
2018/10/31(水) 22:41:28.97ID:XzHEjZDYM
>>966
切り株に座れるか判定の可否を議論してる時にドラえもん作りたい話されても知らんがな
969デフォルトの名無しさん (ｵｯﾍﾟｹ Srb5-resC)
垢版 |
2018/10/31(水) 23:07:24.47ID:P5/vr7Wfr
>>968
切り株はあくまでも一例だって>>961が言ってるやん
2018/11/01(木) 05:25:09.80ID:KHSnGnhJ0
>>961
そしたら身体持たせて学習(実体験)積んで
痛い目に合わせないとダメやろ
2018/11/01(木) 08:43:51.58ID:6C/JpYju0
なるほど
2018/11/01(木) 10:47:02.18ID:z733lC2q0
産まれてすぐからちんちんあったけど生殖に使うものだって気付いたのは十年以上経ってからだしな
2018/11/01(木) 11:00:15.65ID:HdmsTef60
>>969
意味を把握した思考もどきがやりたいなら
多分、言語処理のKingとQueenの話の方が例題として適切

切り株と椅子だと形状の特徴で学習してるだけぽい
2018/11/01(木) 14:19:21.88ID:aGO292A70
猪が来たらどうする？
2018/11/01(木) 15:02:24.07ID:TL6Ac/Cx0
質問です
評価基準をaccuracyでやってるんですが、交差検証するたびに60%〜80％の幅で出ちゃうんですが、こういうときは例えば10回プログラム走らせて平均取るみたいな評価をすればいいですか？他に評価方法がありますか？
2018/11/01(木) 15:04:59.66ID:K++eZGijM
>>969
別に例なら切り株でもベンチでも何でも同じやがな
欲しいと想定される機能を実現するため相応のデータ(センサ)と学習は必要やろが
生まれつき視覚以外の感覚がない人間が椅子ばっかり教えられて果たして切り株に座れると思うかどうかや
椅子の画像データ学習させるだけでドラえもん作りたいくらい頭クルクルパーなこと言ってるの理解してるんか
2018/11/01(木) 15:14:35.11ID:K++eZGijM
>>975
学習終了後の評価でそんだけバラつきあるならちゃんと収束してるかとかデータ数大丈夫かとかいろいろ見直してみたらどうじゃろか
2018/11/01(木) 15:42:41.91ID:TL6Ac/Cx0
>>977
データ数はどうにもならないんですよね。自分でも少ないってのは分かってるのですが。
収束してるかどうかってのは、線形svmでやってたので怪しいかもしれないです
2018/11/02(金) 07:26:51.97ID:R64W7CuQ0
質問です
人工知能用のPCを買おうと思っているんですが、
Linuxがベストとして
クソOSと言われているUbuntuでいいんでしょうか？
Fedoraのほうが評判良いですが・・・？
2018/11/02(金) 09:23:48.57ID:lRUrxC7ia
linuxはほとんど無料で手に入る
2018/11/02(金) 09:42:29.33ID:7B/VUhwC0
両方試してみたらいいのでは
LTS版があって情報も多いUbuntuが無難な気はする。
982デフォルトの名無しさん (ﾜｯﾁｮｲ 9723-VEUj)
垢版 |
2018/11/02(金) 16:11:27.17ID:ggr9EF3w0
Fedraの方が糞
2018/11/02(金) 17:00:09.45ID:kFSDuH24d
ど素人かよ…
2018/11/02(金) 19:31:48.96ID:EV14OdoL0
んなもん買うよりawsかgcpで試してみたらいい。
2018/11/02(金) 19:36:26.30ID:o5NYXwZJ0
>>979
どのディストリでも大して違いはないと思いますが
986デフォルトの名無しさん (ｱｳｱｳｴｰ Sa52-VrcX)
垢版 |
2018/11/03(土) 00:10:53.31ID:mBAfemi8a
>>979
無難なの選んどけばいいんでない
むしろ悩みどころはスペックとかどのライブラリ使うかとかでは
2018/11/03(土) 01:59:27.38ID:sOGll4gf0
>>979です
皆さんご回答ありがとうございます
わかりました
とりあえずUbuntu使おうと思います
PCのスペックはだいたい決まっています
ライブラリは主にTensorFlowを使います
2018/11/03(土) 07:19:41.13ID:HkPHzurE0
xeon phi はいいぞう
2018/11/03(土) 14:53:35.78ID:Is/adptI0
https://blog.tinect.jp/?p=35489
2018/11/03(土) 19:11:44.45ID:fz7zsIZd0
安ｗ
Xeon Phi? 7210 (64コア)　\3,585,600
991デフォルトの名無しさん (ﾜｯﾁｮｲ a3d2-OMPP)
垢版 |
2018/11/04(日) 00:03:11.36ID:EyE9WGn+0
>>984
＞　んなもん買うよりawsかgcpで試してみたらいい。

横からスマンけど、研究費が無尽蔵にあるならaws、gcp、またはazure
でもいいけどさ、俺のように金がなくなってすぐ頓挫となるぞ？
データ入れて回してたらすぐ100万使っちゃうから。
PC買ったほうが絶対にいい。
2018/11/04(日) 00:12:52.08ID:GZek0SD/0
ＧＰＵ稼働率高いと割高だよね
2018/11/04(日) 00:32:48.74ID:DgRqIkT0d
すぐ100万てどういう使い方してるんだよ、16gpu でも使ってるのか
2018/11/04(日) 09:52:52.56ID:vHuLXd67a
素人がGPU大量にぶん回している場合、機械学習の理論面をしっかり学習すればかなり無駄なデータ・処理を削れることが多い
2018/11/04(日) 11:43:37.01ID:Wbg0dK2l0
アホかｗ
2018/11/04(日) 12:19:53.02ID:yioi4JUk0
てかgcpなら1日毎でいくらかかってるか見れるわけだし、とりあえず3万円分でやってみたらいい。
費用感を把握してからgpuハード買うってのでも別に遅くはないだろ。
997デフォルトの名無しさん (ﾜｯﾁｮｲ a323-VEUj)
垢版 |
2018/11/04(日) 13:37:21.91ID:5RY1Lh2I0
実際デプロイしたときに
実行前にプログラムスキャンして
あなたのアルゴリズムは最適化が足りません
提出しなおせとか
このまま実行すると少なくとも100万円以上になりますが
よろしいですかとか逝って欲しい
2018/11/04(日) 14:36:58.44ID:W830XVm1a
次

【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/l50
999デフォルトの名無しさん (ﾜｯﾁｮｲ a323-VEUj)
垢版 |
2018/11/04(日) 14:40:43.49ID:5RY1Lh2I0
ねむねむ
1000デフォルトの名無しさん (ﾜｯﾁｮｲ a323-VEUj)
垢版 |
2018/11/04(日) 14:41:29.39ID:5RY1Lh2I0
うめうめ
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 88日 19時間 44分 52秒
レス数が1000を超えています。これ以上書き込みはできません。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況