【統計分析】機械学習・データマイニング27

2020/01/13(月) 14:11:24.56

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング26
https://mevius.5ch.net/test/read.cgi/tech/1568506986/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2020/01/13(月) 15:57:32.45

重複スレッドです。どちらを本スレにするか決めて下さい。

【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578890891/

2020/01/13(月) 20:12:05.67

という訳で、このスレッドを本スレとします。ご自由にお使い下さい。

2020/01/13(月) 22:23:51.29

A群　年数とαが正比例
B群　年数と関係なくαは一定
C群　年数とαは反比例

ABCそれぞれを単回帰分析して回帰直線の傾きから、各群の違いを考察しようと思いました。
ACは決定係数0.8といい値なのですが、B群は決定係数がほぼ０となります。
回帰直線は当てはまっているように思うのですが、回帰分析で傾き０だと決定係数も０になるのでしょうか？

2020/01/14(火) 00:01:12.56

>>4
自己解決かな。
R2はモデルの当てはまりの良さではなくて、説明変数でどれだけ説明できているかを評価しているから傾き０ならR２も０になる
モデルの当てはまりなら
square mean error
などの評価指標を使うべき

間違ってたらご指摘お願いします。

2020/01/14(火) 10:29:55.29

transformerとcnnて同じもの？

2020/01/14(火) 13:25:53.31

大量の画像の全ての物体を全て自分の手でアノテーションするのは面倒だ

アノテーションアプリと物体検出プログラムで相互にデータをやり取りする
具体的には、それまでアノテーションして作ったpickleデータを元に新たな画像で物体検出して、
その検出領域をpascal voc型などで、しかもアノテーションアプリが出力するものと同じ形で出力し
それをアノテーションアプリが読み取って仮の物体検出領域を画像内に編集可能な状態で
描画する

VOTT3 とか出来たら、この機能が欲しいかなw
でもyoloやcenternetなどの側にも、まあ難しくはないけど領域データ出力部は作らないと

多分並レベルのプログラマなら半年専念したら出来るだろうけどやる奴はちょっといないか

2020/01/14(火) 20:48:25.42

>>6
違うものなので
Transformer-CNNなんてのやってるやつもいる。

2020/01/14(火) 20:54:58.12

>>4-5
R2（決定係数）は
くっそ複雑な式をたてて殴るとなんでかよろしくなってきてしまう、というハッキングが可能なので、
複雑なモデルをたてた場合は、自由度修正済み決定係数（adjusted coefficient of determination）を使おう。

＞square mean error
いわゆるRMSE（平均平方二乗誤差）のことかMSE（平均二乗誤差）のことかわからんのだが、
前者は標準偏差的なサムシング、後者は分散くさいサムシング。
前者はおもたーい外れ値があると、ハッキングされてしまう。

2020/01/14(火) 20:56:33.96

>>7
VIPPERとかJ民を
うまいこと無料の作業員として使えるネタスレ（釣りスレ）立ててやらせればぁー？　＞　アノテーション

以前どっかのサーバのパスワードを↑の原理で割ったやつがいたはず。

2020/01/14(火) 21:49:32.16

無料の作業員として人を使うのはgoogleとかが既にやってる
読みにくい字を読ませたり画像内のオブジェクトを探させたり

2020/01/15(水) 00:11:52.66

https://ainow.ai/2020/01/14/182639/

最適化じゃなくて重ね合わせたらいいのに…

2020/01/15(水) 08:02:35.42

>>11
クラウドワークスとかで出てるような奴かな

2020/01/15(水) 17:09:34.82

>>11
reCAPCHAとかいうやつだっけ？

2020/01/15(水) 17:10:54.19

スペルが違った
reCAPTCHA

2020/01/19(日) 10:47:24.95

2020年、Deep Learningをはじめましょう！
https://www.youtube.com/watch?v=9gXB7MvyKJ8&;feature=share

もうこのツールで良いんじゃないか？

2020/01/21(火) 03:01:03.03

>>16
そんなWebベースのツールなんて誰も使わないと思う
ユーザーのこと何もわかってなさそう

2020/01/21(火) 04:01:38.07

google colabでGPUに切り替えても大して早く動いた感がないんですが何か設定とか
必要なんでしょうか。とりあえずimportはnumpyだけの物とtensorflow2系を利用した
物の二種類のソースコードを用意、それでランタイムを切り替えたんですが
まずnumpyだけで作った奴の実行時間は
CPU:1099秒、GPU:943秒、TPU:1090秒
tensorflow2を使用した物は
CPU:95.1秒、 GPU:86.8秒、TPU:97.8秒
数回やったんですが結果はだいたいこんな感じでした。
一応デフォの2.1から2.0に変えたりしたのですが大した変化は起こらず、
device_lib.list_local_devices() でGPUを認識していることは確認済み
print(tf.config.experimental.list_physical_devices("GPU"))やら
print(x.tensorflow.python.client.device.endswith('GPU:0')) (xは適当なテンソル)
を試したらこちらもGPUは認識しているっぽいです、ただTPUの時はCPUしか
表示されなかったのでもしかしたら上手くいってないかもしれません。
やってることは中間100層の3層mnistでエポック数は20です、予想だとCPUとGPUで
2倍くらい実行時間が違うと踏んでいたので多分何か失敗していると思うのですが…。

2020/01/21(火) 05:08:01.44

モヤモヤする

2020/01/25(土) 09:51:49.23

https://jp.techcrunch.com/2020/01/24/2020-01-23-googles-dataset-search-comes-out-of-beta/