【統計分析】機械学習・データマイニング29

■ このスレッドは過去ログ倉庫に格納されています
2020/08/20(木) 09:16:43.41ID:Av1Lrhjm0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
50デフォルトの名無しさん (ｱｳｱｳｳｰ Saa1-5Jwh [106.154.136.116])
垢版 |
2020/08/31(月) 00:40:23.30ID:TLukFCLYa
>>46
この辺読んどけ
http://www.cs.toronto.edu/~madras/presentations/fairness-ml-uaig.pdf
2020/08/31(月) 01:01:45.29ID:qTifi9+k0
>>49
ゴリラの方は学習データと予測対象の母集団が一致していないという、単なるサンプリングの失敗じゃない？
2020/08/31(月) 02:57:09.77ID:ZjNZbeyO0
ポリコレだろ
2020/08/31(月) 08:51:09.63ID:rh09MRWzM
MS のtayなるchatbot逝ってたな
2020/08/31(月) 11:51:45.74ID:fcm3kmNm0
polymer clay collectionか
2020/08/31(月) 14:33:01.05ID:qTifi9+k0
>>50
ありがとう。
発展途上でまだしっかりとした問題設定はできてないと理解しました。
2020/08/31(月) 23:58:59.03ID:/Li06f9z0
名大会話コーパス読み込んでseq2seqやってんだけどめっちゃ重い
メモリ16ギガ　gtx1060ってスペック不足?
それともコードが悪い?
2020/09/01(火) 01:21:04.58ID:0wb8S5nmM
>>56
ディープラーニングで画像処理するならメモリとグラボの性能
ようするに右脳系処理だけど
自然言語文字列処理はストレージの読み書きとCPUの性能による
いわゆる左脳系処理だから
M.2やSSDとXeon phiね
2020/09/01(火) 02:03:10.61ID:XQoGkxZd0
>>57
m.2 ssdではあるけどcpuは第８世代のi5-8500を使ってる
初めて作ったaiだから普通どれだけリソース食うのかわからないけど、エポックが後半になってくるとメモリもcpuも99%に張り付く
xeonに買い替えたほうがいい?
2020/09/01(火) 20:19:08.65ID:zh+D+/I/0
>>56
seq2seqでなにやるの？
60デフォルトの名無しさん (ﾜｯﾁｮｲ 6501-JFwp [60.86.178.93])
垢版 |
2020/09/02(水) 08:27:13.44ID:65NJoCJF0
>>58
自然言語をAIでごにょごにょーってやろうとすると
最終段階一歩前くらいが
メモリ爆食いでCPU負荷もモリモリかかるのが普通っぽいぞ。
おれさまの経験によれば。
61デフォルトの名無しさん (ﾌﾞｰｲﾓ MM6b-svb1 [163.49.204.127])
垢版 |
2020/09/02(水) 08:57:32.90ID:cf3sTGi+M
朝鮮人に統計分析は無理ゲーw
2020/09/02(水) 18:06:31.19ID:xBgCxpNPM
pytorchを少しいじってみた
こんなに簡単にニューラルネットワークを定義できることに驚き
みんな自分でnn.Moduleを継承したクラスをごりごり書いてるの？
自分に出来る気がしない。。。
2020/09/02(水) 20:23:13.12ID:r7qllEy10
そこまでやってる人は少ないんじゃないかな
上位のAPI使うだけでも結構いろいろできちゃうし
俺も必要に迫られるまでは手を出す気がしない
勉強してもすぐ陳腐化しちゃうしね

しかしAttentionはもっと簡単に使えるようにならんものか
64デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-7b63 [106.154.139.237])
垢版 |
2020/09/02(水) 22:32:11.11ID:YLujANXVa
>>62
nn.Sequentialでじゅうぶん
2020/09/02(水) 22:52:02.42ID:vLXI24iz0
モデルをゴリゴリに作り込むのは趣味でやってほしい。
実務だと引継ぎ不能に…。
66デフォルトの名無しさん (ﾗｸｯﾍﾟﾍﾟ MM4b-I/wA [133.106.93.227])
垢版 |
2020/09/02(水) 22:55:19.06ID:Amkv9tJOM
pytorchに鞍替えすっか〜
2020/09/02(水) 23:43:57.93ID:yEUnVEXO0
仕事だろ（）
2020/09/03(木) 00:33:16.06ID:nz5qMTye0
モデルをゴリゴリに作り込むことでそれに見合うリターンが得られるならいいんだけど、

・そもそも目的関数の選択が適切でない
・予測対象の母集団が定義できていない
・偏ったデータを考えもなく使っている
・簡単な特徴量を1つ追加した方が精度が改善する

だったりして、粗大ゴミが作られるのが怖くて…。
2020/09/03(木) 02:10:35.74ID:nez+JOaA0
そしてライブラリのバージョンアップで動かなくなるという罠
70デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/03(木) 07:58:01.68ID:qNk1tjNB0
kerasの英仏翻訳のサンプルプログラムにattentionぶちこむにはどうすればいいんだ？
2020/09/03(木) 08:32:39.06ID:2cBStg5R0
>>68
うまく作れば
複雑怪奇にならなくない？
2020/09/03(木) 10:15:35.69ID:JShKaXVVa
うまく作るってのが一番難しいんだけどな
2020/09/03(木) 10:34:00.34ID:nez+JOaA0
>>70
Attentionを使うための便利なものはKerasには用意されてないっぽい
実装してる人のコード見ると、ベクトル演算とか組み合わせてグラフ繋げて自力で作ってたりする
あまりに大変すぎるので、そのうち何かサポートが追加されるんじゃないかと期待してるが

誰か簡単な方法知ってたら教えてくれ
74デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/03(木) 21:01:30.17ID:qNk1tjNB0
kerasではなくpytorchのほうがいいのかな
face book嫌いだから使いたくないけど
2020/09/03(木) 21:05:35.93ID:2cBStg5R0
kerasのサンプルあるよね？
2020/09/03(木) 21:08:09.53ID:oPPXaQOW0
attentionて普通に組んだら計算コスト洒落にならなそう。
2020/09/03(木) 21:31:54.12ID:nez+JOaA0
うお、KerasにAttentionレイヤー用意されてたのか
tf.keras.layers.Attention
いつの間に
78デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-7b63 [106.154.139.120])
垢版 |
2020/09/03(木) 21:34:25.70ID:H4JjWibDa
>>74
坊主憎けりゃ、だな
お前が使ってもfacebookは1ミクロンも得しないから安心して使え
2020/09/04(金) 02:46:34.87ID:JFyn8ysD0
エロ動画のモザイク取り除くai作りたい、てかなんで誰も発売しないんだ
2020/09/04(金) 03:47:31.78ID:mDofFZHor
それはAI界最大級の難しいテーマだからな。
コンピューターには性欲がないからw
81デフォルトの名無しさん (ﾜｯﾁｮｲ 6501-JFwp [60.86.178.93])
垢版 |
2020/09/04(金) 07:19:00.27ID:jvrr6lZ70
>>79-80の流れに朝からﾜﾛﾗｻﾚﾀｰﾖ（・∀・）
2020/09/04(金) 07:50:08.83ID:4FjIUW730
発想が童貞みたい
2020/09/04(金) 08:02:56.49ID:WvWinIJxM
>>79
つ
https://i.imgur.com/Lysnw37.jpg
2020/09/04(金) 09:56:18.30ID:VQ6sIcSE0
>>79
あるよ
85デフォルトの名無しさん (JP 0H29-yOpk [202.216.106.142])
垢版 |
2020/09/04(金) 10:27:07.17ID:3vk4X+ZOH
あるにはあるけど、エロ画像だけ学習させて商品として提供してる会社がなくないか
昔の全然とれないモザイクリムーバーみたいに売れば大ヒットだとおもうんだけどなあ
2020/09/04(金) 11:29:39.09ID:lHqiid/jM
活性化関数は出力を得るためにかけるんだよね？
dropoutはどの層で有効にすればいいの？ 中間層すべて？
2020/09/04(金) 12:30:33.71ID:zd548qQ8M
顔消しモザ消そうとしてちんこが生えたらどうするんだ
2020/09/04(金) 14:01:51.90ID:jvrr6lZ70
>>86
上：せやな
下：やりすぎても、やらなさすぎてもうまくいかず、さじ加減が職人芸だときいている
2020/09/04(金) 14:47:29.83ID:GIOuj/3d0
>>68
数学や統計を極めても、上2つは難しくね？
2020/09/04(金) 14:59:55.37ID:lHqiid/jM
>>88
ありがと
そっかー、うーむ🤔
91デフォルトの名無しさん (ｱｳｳｨﾌ FF69-th+2 [106.171.75.10])
垢版 |
2020/09/04(金) 15:03:17.37ID:l2EHvy2iF
りんごちゃんとはるな愛の区別が出来ないんだけど過学習かな
2020/09/04(金) 16:54:52.03ID:QJTIc14X0
>>89
上2つが適切に設定されていないと、結論の妥当性が示せない。
2020/09/04(金) 17:16:08.49ID:Nh0NQvHOH
>>68
モデルゴリゴリ以前の問題なのでは
2020/09/04(金) 18:22:35.09ID:5pEEdWxD0
>>86
中間層すべてにかけるのが普通かな
出力層にもかける流派もあるらしいが
ドロップアウト率は入力層に近い方を高く、遠い方を低くするもんらしい
2020/09/04(金) 19:15:53.20ID:HIGqzVjC0
非線形関数を通さないと線型結合を繰り返すだけになるんじゃないか？
あと微分しても一定の値だからバックプロパゲーションも出来ないのでは？
2020/09/04(金) 19:35:31.74ID:lHqiid/jM
>>94
ヒントンの論文だと
全中間層でdropoutかけてる図がでてたんだよね

悩む🤔
2020/09/05(土) 10:16:29.80ID:Az39CCC60
GeForce RTX 3090はFP32性能が36TFLOPSか、すげーな
しかしせっかくTensorCoreが載ってるのに、これって学習には使えないのね
FP16しか対応してないからかな？　確かにFP16じゃBPがうまく進まなそうだが
性能半分でいいから、FP32対応してくれればいいのに
せっかくの汎用マトリクス演算ユニットなのにもったいない
2020/09/05(土) 11:20:16.92ID:DwFJQw5i0
個人で買えるかわからないけどこんなのもあるな
https://jpn.nec.com/hpc/sxauroratsubasa/features/index.html
2020/09/05(土) 11:36:28.67ID:ebgs5EyIM
>>97
どこでそんなマヌケな情報を手に入れたんだよ
2020/09/05(土) 11:41:53.99ID:lXaWPRh70
>>98
XEON PHIより難易度高そうだけど
THX
2020/09/05(土) 11:42:29.92ID:0NWRwchU0
それはスパコンでは？
2020/09/05(土) 12:01:56.16ID:CjkYIT6R0
>>97
ggたけどそれらしい情報がないが
2020/09/05(土) 12:12:25.16ID:0NWRwchU0
>>102
出てるよ
fp16だと71tflopsだってさ
2020/09/05(土) 12:26:15.00ID:Az39CCC60
nVidiaのTensorCoreはFP32には対応していない
いちおう、TensorflowなんかでもFP16設定にすればTensorCoreも学習に使ってくれるみたいね
もっとも試してみた人のブログとか見てるとやっぱFP16じゃ精度が悲惨なことになるらしい
ttps://qiita.com/kuroyagi/items/e70c55cbc88fc0ed0220
そういう意味じゃやっぱ推論専用という捉え方でいいんじゃないかな
71Tflopsとか夢があるけどなあ
2020/09/05(土) 12:45:27.03ID:Az39CCC60
× nVidiaのTensorCoreはFP32には対応していない
〇 GTX/RTXのTensorCoreはFP32には対応していない

A100とかだとFP32/64も対応してる。学習アクセラレータなんだからそりゃそうだ
グラボに載ってるTensorCoreは対応してなくて推論専用って話ね
2020/09/05(土) 12:47:02.54ID:0NWRwchU0
そうそう
107デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7])
垢版 |
2020/09/05(土) 13:09:00.94ID:Az39CCC60
RTX 30シリーズはSSDから直接グラフィックデータを読み込めるらしいが
たぶんDLの学習データ転送にも使えるよね
flopsもメモリ帯域も上がってるしDL用途にも別次元の速さが実感できそうだ
2020/09/05(土) 15:27:22.54ID:71ZWev/Z0
>>103
例えばどれ？
2020/09/05(土) 15:57:37.62ID:Az39CCC60
>>108
103じゃないが、↓によると238Tensor-TFLOPSとなってるな
https://pc.watch.impress.co.jp/docs/news/1274381.html
Tensor-TFLOPSってのがよくわからんがFP16の性能かな？

FP16までしか対応してないソースは↓
https://www.nvidia.com/ja-jp/data-center/tensor-cores/
「サポートされている Tensor コア精度」に書いてある
Turingまでしか記載がないが、AmpereもFP32に対応したなんて発表はないし、
推論専用という位置づけは変わらないので一緒だろう
2020/09/05(土) 16:04:23.39ID:71ZWev/Z0
>>109
ありがとん
2020/09/05(土) 16:33:54.61ID:Az39CCC60
Tensor-TFlopsについて自己レス
Tflopsは普通ベクトル演算性能を指すが、TensorCoreは固定サイズのマトリクス演算なので
こういう書き方をしてるらしい
ピーク性能は238Tflopsなんだろうけど(FP16)、計算粒度が大きいんでよほどタスクが都合のいい
サイズでないと無駄が大きくなってしまう、と。
2020/09/05(土) 16:37:01.69ID:lXaWPRh70
普通に個人が使うならスリッパがベストかのう
2020/09/05(土) 17:09:43.08ID:Az39CCC60
17万円のThreadripper 3960Xで5Tflops
11万円のRTX 3080で30Tflops

DL専用ならやっぱRTXでは
まあCPUの汎用性も捨てがたいけど
昔よりCPUの並列化が進んで差が縮まってるから悩むな
2020/09/05(土) 18:13:07.70ID:Az39CCC60
[RTX3090]
CUDA Core : 35.7Tflops
TensorCore : 285Tflops
RT Core : 69Tflops

これだけポテンシャルがあるのにDLで使えるのはCUDAの35.7Tflopsだけ
なんか虚しくなってくるな
ゲーム用に売れてるおかげで安く買えるわけだから仕方ないと思わんといかんのか
2020/09/05(土) 22:07:46.07ID:lXaWPRh70
THX
3960Xかな
116デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/05(土) 23:55:05.96ID:ySUioB0H0
seq2seqのembeddingレイヤーに事前学習させたword2vecの重みを用いるとき、デコーダの文章を生成する合図につかう<EOS>の取り扱いはどうすればいいんだ
word2vecにEOSを学習させてベクトル化しなきゃいけないんだけど、学習データの最後の行に適当に付け足しとけばいいのか?
それとも学習データの行末すべてにEOSを付け足せばいいのか
2020/09/06(日) 02:41:40.34ID:6+iElI6k0
word2vecをembeddingレイヤにぶっこんだけど、リソース不足でバッチ数を下げざる負えなくなった
ヒカキンの持ってる1tbメモリmacが憎い
2020/09/06(日) 07:49:06.02ID:28nY3XQR0
>>116
「word2vec 追加 学習」で検索してみるとしあわせに

>>117
あいつそんなものもってるのか！

そうそう
自然言語の機械学習って
なんかしらんが（？）最後の段階あたりでくっそメモリ食う
2020/09/06(日) 08:02:00.79ID:fnIXCpSw0
gpu用意すればいいじゃん
120デフォルトの名無しさん (ﾗｸｯﾍﾟﾍﾟ MM4b-I/wA [133.106.90.74])
垢版 |
2020/09/06(日) 08:27:37.29ID:M4KtJHw+M
fasttextってゴミなの？
2020/09/06(日) 09:09:53.49ID:fnIXCpSw0
ごみじゃないよ(笑)
122デフォルトの名無しさん (ﾜｯﾁｮｲ 23ad-svb1 [125.12.149.140])
垢版 |
2020/09/06(日) 10:20:49.37ID:y7ovSoOJ0
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw
2020/09/06(日) 12:07:37.08ID:4rkiTQ6J0
自宅でGPU回し続けたら電気代がかかりそうやね…
2020/09/06(日) 12:15:42.57ID:v5JhsKrg0
>>104 AI ではFP16 じゃ使い物にならないから、bfloat16 というフォーマットが出て来た。

bfloat16 形式は、符号ビットが 1 つ、指数ビットが 8 つ、仮数ビットが 7 つ、暗黙の仮数ビットが 1 つの [1:8:7] の形式です。これに対し、標準の 16 ビット浮動小数（fp16）形式は [1:5:10] です。
2020/09/06(日) 12:19:11.43ID:28nY3XQR0
>>119
入力がおおおおおいと何をどうやっても最終段階でメモリくっそ食うのだが
gpuで解決できるのんけ？
だとしたら大発見ｗ

>>123
どこでやっても電気代は誰かが払っている
2020/09/06(日) 12:50:46.70ID:fnIXCpSw0
gpt-3は国内の研究機関だったら訓練不可能かな
設備的に
127デフォルトの名無しさん (ﾌﾞｰｲﾓ MM6b-svb1 [163.49.211.220])
垢版 |
2020/09/06(日) 13:47:45.63ID:V9VDH8fJM
在日朝鮮人は死ね
128デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/06(日) 15:24:15.87ID:6+iElI6k0
メモリ食いすぎるし、バッチサイズ小さくしたら会話にならなくなったのでword2vecを組み込むことは断念。
ただこのままだと、語彙数が少なすぎるし、だれか名大会話コーパス以外でいい会話コーパス知ってる人いません？
できればURLも欲しいです
2020/09/06(日) 18:05:49.43ID:6+iElI6k0
赤外線撮影って昔流行ってたけど、普通の写真と赤外線写真を学習させれば、写真から下着を透かせるaiが出来上がるのでは?
2020/09/06(日) 18:06:47.64ID:6+iElI6k0
赤外線撮影って昔流行ってたけど、普通の写真と赤外線写真を学習させれば、普通の写真から下着を透かせるaiが出来上がるのでは?
2020/09/06(日) 18:10:42.46ID:YMHA2nFQp
>>117 周辺まで含めて800万円と言うから気狂いだな。
というか羨ましすぎる。
2020/09/06(日) 18:34:56.29ID:YMHA2nFQp
ヒカキンの動画って初めて見たけど人を惹きつけるテクニックを持ってるね。
2020/09/06(日) 18:59:56.26ID:Bdj7AItn0
>>130
大事なこと…なのか？
2020/09/06(日) 19:09:27.59ID:TeCejoUU0
赤外線に何を求めるかだろうなぁ

マンモグラフィの写真は嫌という程見たが
ちっとも興奮しない。まぁX線写真に欲情
するのは立派な変態だと思うが

昔 hirax でやっていたMR/AR技術を
使った巨乳Vision(生乳テクスチャをマッピング)
は是非実用化してもらいたいものである
2020/09/06(日) 19:22:15.71ID:uumzb8Gwa
>>130
普通の写真に写るものに下着の色・形・柄と相関のある情報がないから単に学習データで過学習されるだけ
136デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-Bf8w [106.154.139.224])
垢版 |
2020/09/07(月) 00:50:36.34ID:y2mIvMwCa
>>130
赤外線「風」写真は作れるだろう
本当に着ている下着とは全く関係なく
137デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/07(月) 01:08:15.13ID:B4Oclp/r0
>>136
これをなんちゃら坂４６だのの写真に使えば売れそうじゃないか？
youtubeでPhotoshop使ってアイドルの下着すかしてるのがまあまあ再生稼いでたし、ヒカキンつぶせそうじゃね
2020/09/07(月) 07:27:48.84ID:X4wk0IcB0
アイコラ自動生成みたいなもんか
2020/09/07(月) 16:38:41.61ID:DIQIv4n60
悲報、ついにAIバブル崩壊

【技術】AIが衰退期に　機械学習エンジニアが職を失う [雷★]
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/
2020/09/07(月) 18:58:36.59ID:B4Oclp/r0
今からai研究してる大学を受験しようってのにどうすればいいんだよ
141デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-Bf8w [106.154.137.86])
垢版 |
2020/09/07(月) 19:01:34.03ID:kGNS9k6ua
露頭に迷うのは「自分を機械学習エンジニアだと思い込んでいる単純作業者」だろう
2020/09/07(月) 19:01:56.04ID:urAYf+snM
別にちゃんと勉強すればいいよ
学んだ統計もプログラミングも潰し効くでしょ
2020/09/07(月) 19:03:38.18ID:urAYf+snM
数学や物理の人気が落ちてるならそっち行くのもいいぞ
CSより普遍的だからね
2020/09/07(月) 19:17:50.66ID:AOlpWZnE0
物理学科の人ってどこに就職するの？
2020/09/07(月) 19:25:36.16ID:onbFH33j0
公務員じゃろ
2020/09/07(月) 19:27:01.46ID:AOlpWZnE0
夢がないね
2020/09/07(月) 19:49:35.03ID:urAYf+snM
コンサルかな。この世の全てをコンサル出来る。
あ、女心は無理だな
2020/09/07(月) 19:55:24.18ID:1xvy5dX80
物理はメーカーの研究とか行ってたよ
半導体とか電波とか
2020/09/07(月) 20:25:46.67ID:DIQIv4n60
高校の教員
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況