【統計分析】機械学習・データマイニング30

■ このスレッドは過去ログ倉庫に格納されています
2021/01/01(金) 09:10:55.46ID:a+OQlEaa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2021/01/04(月) 12:34:50.00ID:emkBadPZM
この前RTX2080を経費で落として1080Tiから変えてみたんだけど
あんまり早くなってる気がしないのは何故だろう
もしかしてあんま性能変わってない？これなら3080買っておけばよかったわ
2021/01/04(月) 12:46:57.32ID:0w2hlcZQ0
変わってる
2021/01/04(月) 13:36:48.45ID:KAZJSY+90
バッチサイズ一緒ならあんま速くならんだろ
9デフォルトの名無しさん (ｵｯﾍﾟｹ Sr4f-4lol [126.208.143.131])
垢版 |
2021/01/04(月) 13:48:18.01ID:EMrQXkgTr
使用率低いんで無い？
2021/01/04(月) 17:24:07.59ID:hguSs7qiM
>>6
cudaのバージョン何使ってる？
2021/01/04(月) 18:20:46.54ID:hNjRRYGIM
>>10
Pytorch使ってるから10.2を使ってる

30万枚くらいの100×100の画像をWRN50バッチサイズ64で学習させてるんだけど以前とあんま変わらず6時間位掛かる
使用率は100%張り付きしてるから多分大丈夫だとは思うんだけど
2021/01/04(月) 18:52:14.33ID:0w2hlcZQ0
ふうん
2021/01/05(火) 00:57:40.80ID:d6jFc0fS0
1080tiの方がデータが巨大ならよい場合があるかも？
2021/01/05(火) 08:39:43.97ID:urZBb+aq0
畳み込みは画像処理プロセッサ(つまりGPU)と相性がいいのに対し、Transformerモデルではそうでもない

らしいぞ
2021/01/05(火) 08:43:58.01ID:urZBb+aq0
すまん、wideresnetって書いてあったな。
16デフォルトの名無しさん (ﾜｯﾁｮｲ df02-Kogw [101.141.27.82])
垢版 |
2021/01/05(火) 18:07:55.57ID:Apo8xXda0
>>3
イジングモデル化がボトルネック
課題の落とし込み過程で詰まるのはAIといっしょ
2021/01/08(金) 01:57:11.73ID:w/y4Tpg+0
https://www.newstatesman.com/2021/01/how-palantir-quietly-extending-its-reach-through-british-state

Palantir、英国で8300万ポンドを超える政府およびNHSとの取引を確保

EU離脱後、国境付近の感染者、物流分析にパランティアのソフトを使用

また全国の病院の需要を予測し、
それに応じてPPEや人工呼吸器などのリソースを配布できるようにするために必要なデータインフラストラクチャを提供

フランス政府とも、テロ対策で提携
2021/01/08(金) 01:58:39.67ID:w/y4Tpg+0
Palantirは昨年、
日本の富士通やヤマトHD、損保HDとも戦略的提携を行った

日本政府とも、政策判断AIの開発で協議中
19デフォルトの名無しさん (ﾜｯﾁｮｲ 2355-lB9F [59.147.205.222])
垢版 |
2021/01/09(土) 14:56:23.00ID:ahYwC1gx0
みなさん、パソコンは自作PCを使っているんですか？
GPUは最低どれを使えばOKですか？
2021/01/09(土) 15:39:44.76ID:1ZbYD4Qw0
>>19
私はお古の PhenomIIx6 + SSD 換装でなんとか、という最底辺ですが、そのかわり GPU は発売後すぐに 1080ti → 発売後すぐに 2080ti で、今は 3090 簡易水冷を狙ってひたすら貯蓄に励んでいます
21デフォルトの名無しさん (ﾜｯﾁｮｲ 23da-ZT9E [125.204.53.236])
垢版 |
2021/01/09(土) 15:44:33.21ID:P9+8Zppc0
>>20
シナ製じゃないのか？
22デフォルトの名無しさん (ﾜｯﾁｮｲ 2355-lB9F [59.147.205.222])
垢版 |
2021/01/12(火) 15:17:56.82ID:9+jKE5+e0
慶応大学医学部のデータサイエンスが専門の教授をテレビで最近よく見かけます．

非常に胡散臭い人物に見えるのですが，まともな学者なのでしょうか？
23デフォルトの名無しさん (ﾜｯﾁｮｲ 23da-ZT9E [125.204.53.236])
垢版 |
2021/01/12(火) 15:25:04.71ID:fz7piF3X0
しらんがなー
24デフォルトの名無しさん (ﾜｯﾁｮｲ 2355-lB9F [59.147.205.222])
垢版 |
2021/01/12(火) 17:29:27.06ID:9+jKE5+e0
若白髪なのか染めているのか知りませんが，白髪の人です．
25デフォルトの名無しさん (ｽｯﾌﾟ Sd03-ZaM3 [1.75.228.3])
垢版 |
2021/01/12(火) 17:55:11.02ID:1sj3iClWd
いじめられたのか？かわいそうに、よちよち。
2021/01/12(火) 17:56:17.11ID:aABf1xUH0
見た目や経歴ではなく発言内容で評価しましょう
2021/01/12(火) 18:17:47.79ID:tVTz6HTS0
誰？
28デフォルトの名無しさん (ｱｳｱｳｴｰ Sa93-zi4n [111.239.190.14])
垢版 |
2021/01/12(火) 19:27:24.52ID:MHPMWgYsa
リサーチマップとか見てみたら？
2021/01/12(火) 20:15:54.56ID:7RN9Aveh0
基本的にこの分野の日本人は信用しなくていいよ。
2021/01/12(火) 20:16:19.34ID:yZF1WAgL0
>>21
チャイナ語は勉強していますがチャイナ製はさすがに買いませんね‥‥
2021/01/12(火) 20:21:28.50ID:2BPQz6PV0
仮にこの分野で本当に優秀な人がいたのなら
日本に住んでないだろうな
2021/01/12(火) 21:51:39.28ID:tVTz6HTS0
松尾豊かとかかな
2021/01/13(水) 17:38:23.67ID:QfeH7CT10
宮田裕章のことだろ
34デフォルトの名無しさん (ﾜｯﾁｮｲ 8302-j0Nu [101.141.27.82])
垢版 |
2021/01/13(水) 22:35:22.07ID:WiBgJ6mV0
>>22
医学系のデータサイエンティストってシステム系よりレベルが高い人が多い印象だけど
この人はふわっとしたテーマのリサーチが多いね（答えのない分析）
35デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-l2Dg [106.128.28.98])
垢版 |
2021/01/14(木) 15:30:31.27ID:aDyZyiuua
学習回数ごとにモデルを作りたい時、毎回1から学習しないとダメですか？例えば20回学習したモデルを流用してさらに10回学習するなどはできますか？
2021/01/14(木) 15:52:02.71ID:izA2vmmJ0
>>35
ブースティングでええやん
2021/01/14(木) 18:12:44.86ID:3AgSORvr0
>>35
できる
38デフォルトの名無しさん (ﾜｯﾁｮｲ fb3c-8lVI [111.216.205.35])
垢版 |
2021/01/16(土) 22:29:45.45ID:gncD+BLl0
google colabでyes noみたいな選択肢が出てきた場合、どうしたらいいんですか・
yesと入力してもどうにもならない
cmdとは違い
2021/01/16(土) 22:36:20.36ID:1wOGS+WL0
どういう質問なの？
40デフォルトの名無しさん (ﾜｯﾁｮｲ fb3c-8lVI [111.216.205.35])
垢版 |
2021/01/17(日) 05:42:29.25ID:JDma0DOY0
!python3 TecoGAN/runGan.py 0としてサンプルデータをダウンロードすると、上書きするかどうか効かれます
cmdでy/nと聞かれるようなやつです
しかしyesと入力してもだめなので
2021/01/17(日) 06:15:28.03ID:fAhJnHjg0
nでは？
42デフォルトの名無しさん (ｽﾌﾟｯｯ Sdc3-YrQr [1.75.236.94])
垢版 |
2021/01/17(日) 13:22:25.23ID:k3DWNhvSd
フレームワークも充実してきてある程度の素養が有れば深層学習できる時代になってきたんで、
専門家も大変だね
企業側も数年前と比べるとAIに対しても現実的な評価になってきたし
43デフォルトの名無しさん (ﾜｯﾁｮｲ fb3c-8lVI [111.216.205.35])
垢版 |
2021/01/18(月) 05:28:43.13ID:twrlO24z0
>>41
nと入力してもだめなんですよね
ジュピターノートブックですが
2021/01/18(月) 05:54:48.65ID:gQXgy0ap0
いやyだろ
2021/01/18(月) 21:48:37.61ID:awcZsEyf0
セキュリティ専門家の40％以上が「2030年までにAIに仕事を奪われる」と予想している
https://gigazine.net/news/20210118-ai-replace-human-cybersecurity-2030/

どんどん仕事が無くなって行くな
2021/01/18(月) 23:13:55.00ID:lUOrFzyB0
>>45
そうでもないでしょう…
AI は「教師データ」という過去情報を必要とするのが大多数の普通ではないでしょうか？
もしそうならば、教師データがない知的活動に対しては対応できないのでは？

なにもないところから a^n + b^n = c^n を　AI は証明できるのか疑問です
2021/01/19(火) 01:04:44.45ID:hRaeRBSz0
それがどんどん進化してるんだよね

Google傘下のDeepMindがゲームのルールを教えられなくても勝ち方を勝手に学習していくAI「MuZero」を発表
https://gigazine.net/news/20201224-deepmind-muzero/
2021/01/19(火) 01:25:11.87ID:LIV1Afk50
>>47
強化学習を適用できる応用ばかりとは限りますまい‥‥
2021/01/19(火) 01:40:03.95ID:hRaeRBSz0
>>48
ちょっと前まで無人のタクシーなんて無理だなんて言ってたが
もうアメリカでは完全自律の無人タクシーが走ってお客を乗せている
今年は配達車も無人化していくらしい
店も無人になり、、どんどん人が要らなくなってきますよ
2021/01/19(火) 01:41:53.07ID:LIV1Afk50
>>49
＞もうアメリカでは完全自律の無人タクシーが走ってお客を乗せている
なんと！
それを紹介している記事の URL を教えてください‥
2021/01/19(火) 01:49:10.43ID:hRaeRBSz0
「Waymo」の自動運転車に60回以上乗って分かったその安全性とは？
https://gigazine.net/news/20201208-waymo-driverless-tech/

実際に乗客が走ってる映像も撮ってるからよく見ると言い
2021/01/19(火) 04:52:06.92ID:NwLV6tnjr
>>49
人が隠れてるんじゃねぇの？w
53デフォルトの名無しさん (ﾜｯﾁｮｲ 3dda-s56y [118.18.5.244])
垢版 |
2021/01/19(火) 11:14:43.48ID:9kd2nhFz0
>>45
そのうち働かなくていい時代がやってくる（鼻糞ホジホジ）
2021/01/19(火) 11:40:06.11ID:rm9hqIuU0
AI に仕事を奪われたからどうだって言うんだよまだ時間はあるんだからそれまでに別の仕事を探すしかないだろう
55デフォルトの名無しさん (ﾜｯﾁｮｲ fb3c-8lVI [111.216.205.35])
垢版 |
2021/01/19(火) 11:51:41.90ID:ejd3JYRG0
モザイク消したいのですが、最初に何を勉強したらいいのでしょうか？
tecoganのチュートは非常に少ないです
ganがいいのでしょうか？
pytorch gan colabでやってますです(´;ω;｀)
2021/01/19(火) 12:29:59.59ID:rm9hqIuU0
アンシャープマスク
57デフォルトの名無しさん (ﾜｯﾁｮｲ fb3c-8lVI [111.216.205.35])
垢版 |
2021/01/19(火) 13:19:14.00ID:ejd3JYRG0
いえ、自作したいのです
58デフォルトの名無しさん (ｵｯﾍﾟｹ Sr19-Z5af [126.208.143.234])
垢版 |
2021/01/19(火) 14:38:26.11ID:sUJfymTIr
>>55

https://note.com/koshian2/n/n8ebe5345306c
2021/01/19(火) 21:21:19.91ID:yg7DGdNM0
自分の脳みそを使えば、
AIなんて使わなくても、簡単にモザイク除去できる
2021/01/19(火) 21:24:10.62ID:yg7DGdNM0
>>51
https://youtu.be/__EoOvVkEMo
これとか

最近ではこれ
https://youtu.be/Hy_TNtHex2w

Waymoは無人タクシーをカリフォルニア限定で実現している
2021/01/19(火) 22:25:22.55ID:hRaeRBSz0
>>55
機械学習に頼らなくても
１フレームごとにその部分に似た角度の別画像を探して来て
その部分的を切り取り貼り付け境目をゴニョゴニョして、、、っていうアイコラ職人を自動化する方法もあるぞ
2021/01/19(火) 23:18:19.16ID:rm9hqIuU0
>>57
じゃあ聞くなよ
聞いたら自作になんねーだろ
2021/01/21(木) 23:20:17.89ID:QLBsJVTy0
機械学習で遊んでみようと思うのですが、kerasが一番使いやすいのでしょうか？
2021/01/21(木) 23:39:03.97ID:XkN/8kVl0
機械学習ならscikit-learnじゃん。
あとはXGBoost、LightGBM
2021/01/22(金) 00:26:08.83ID:59T9PUFC0
サイキットラーンっておもちゃちゃん
66デフォルトの名無しさん (ｵｯﾍﾟｹ Sr41-XRRf [126.208.138.250])
垢版 |
2021/01/22(金) 00:31:24.29ID:Qahr6wtqr
>>65
SVMやロジスティック回帰やりたい時、君は何を使うの？
67デフォルトの名無しさん (ﾜｯﾁｮｲ c563-77aj [118.6.123.234])
垢版 |
2021/01/22(金) 05:55:08.09ID:D9exwsp90
Kerasが一番簡単だと思う。AutoMLでいいなら、PyCaretかAutoGluon使っとけ。
2021/01/22(金) 07:07:02.87ID:bV8WhPp10
ありがとうございます！色々試してみます
あまり関係ないですがscikit-learnをスキキットラーンって勝手に読んでました
69デフォルトの名無しさん (ﾜｯﾁｮｲ c563-nsAP [118.6.123.234])
垢版 |
2021/01/22(金) 08:06:01.96ID:D9exwsp90
>>68
以下が公式のFAQ。syってどう発音させたいのかわからないけど、みんなサイキット言う。実際に使っている人には、エスケーラーンでも通じる

https://scikit-learn.org/stable/faq.html#how-do-you-pronounce-the-project-name
2021/01/22(金) 20:35:31.03ID:BCB3oQE80
いろんな方法があるけど
この手の問題はこの方法が第一候補みたいなデファクトスタンダード的なのはある？
とりあえずXGBoostとか
画像はCNN、深層学習とか
生成系ならGAN?とか
テキスト系ならこれとか
71デフォルトの名無しさん (ﾜｯﾁｮｲ 4b10-u2K8 [153.131.102.129])
垢版 |
2021/01/22(金) 20:41:16.75ID:BCB3oQE80
前のスレにあったPDFファイルでDNNを4層くらいで
データ数より多い横幅にして
ある方法で初期化すると
大域的最適解を学習できる
みたいなのが書いてあったと思うけど
実際に動かしたりした人いる？

あと圧縮できるくらい余裕があった方が汎化能力があるみたいなのも書いてあって
圧縮の方法の一つに量子化があると思うけど
素子の値の有効桁を変えたり整数で扱うとかで汎化能力が変わったりする？
2021/01/22(金) 22:09:20.12ID:bV8WhPp10
RNNんまだー？
2021/01/22(金) 23:08:56.92ID:59T9PUFC0
最新の脳研究が明かす「頭がいい人、悪い人」は何が違うのか
https://news.yahoo.co.jp/articles/fe254c14aea01eadd1dbdbf979187ba3f4a5c11c

知識蒸留、ていうか
ネットワークの枝狩りがなされている？
74デフォルトの名無しさん (ﾜｯﾁｮｲ c5da-InGC [118.18.5.244])
垢版 |
2021/01/22(金) 23:12:20.39ID:DGpMuZad0
シナプス可塑性は昔からあるだろ
75デフォルトの名無しさん (ﾜｯﾁｮｲ c563-FIml [118.6.123.234])
垢版 |
2021/01/23(土) 00:31:55.86ID:mlukDicm0
テーブルデータはCatBoost
画像認識はCNNからTransformer(Attention)に移りつつある
テキストはTransformer(Attention)
生成系はGANだけど、GANは考え方だからやっぱりTransfomerっていう
時系列予測は(Auto)ARIMAとかProphet?
異常検知はk近傍とかIsolation Forestなのかな?
次元削減はt-SNEかUMAP
クラスタ分析はとりあえずk-meansでいいのかなぁ
最適化アルゴリズムはなんだろね、ディープラーニングとしてはAdamだけど、汎用的には最近の流行りはやっぱり量子アニーリング?
76デフォルトの名無しさん (ﾜｯﾁｮｲ c563-FIml [118.6.123.234])
垢版 |
2021/01/23(土) 00:55:51.78ID:mlukDicm0
>>71
元の資料は知らんが、単純にDropoutのことじゃないの?
2021/01/24(日) 11:53:47.10ID:X5xnWpjGM
100x100の画像を50万枚くらい使ってい学習してるんだけど
ストレージをHDDからSSDに変えたら学習速度って結構変わったりするのかな？
それとも読み込みの速度差って無視できるレベル？
78デフォルトの名無しさん (ﾜｯﾁｮｲ c563-nsAP [118.6.123.234])
垢版 |
2021/01/24(日) 12:38:31.63ID:sRKxGCiM0
>>77
GPU/CPUなりが100%で張り付いているなら変わらん。そうでなくても、その画像サイズなら、徐々にメモリに読み込んでキャッシュするようにしておけば、ほとんど影響ない
分散トレーニング(複数GPU利用)しているなら、高速ストレージを使うのがマスト
2021/01/25(月) 13:36:46.32ID:lM5Uli0g0
実際の実行速度で影響あるのはバックプロパゲーション部分がほとんどだからストレージの影響はあんまないでしょ。
よっぽど小さいモデルで単なる判別やるだけなら影響あるかもだが。
2021/01/26(火) 15:56:16.49ID:iVT5O19Wr
Yoloとかで画像内の大まかな位置検出、次いでU-netで細かい輪郭検出

一発で出来るデータセットあったらなあ
2021/01/26(火) 18:14:29.59ID:Shiw6taAM
ネットワークではなくてデータセット？
2021/01/27(水) 12:45:36.57ID:jiYR7e+Qr
ネットワークも欲しいしデータセットも欲しい

ところで最新の物体検出器のネットワークの各層の逆操作を丹念に作ってU-netに出来るのかな
2021/01/27(水) 12:48:18.48ID:VGAn4B/K0
？
84デフォルトの名無しさん (ﾜｯﾁｮｲ 6d5f-Palc [106.73.78.34])
垢版 |
2021/01/27(水) 13:12:37.72ID:qMcjcBdw0
何言ってるのか俺には分からん
85デフォルトの名無しさん (ﾜｯﾁｮｲ c563-nsAP [118.6.123.234])
垢版 |
2021/01/27(水) 13:36:55.78ID:51OhT1PD0
俺も判らん
2021/01/27(水) 14:25:34.91ID:AdRfmWl4M
エンコーダデコーダモデルの話ちゃう？
2021/01/27(水) 18:18:20.91ID:Y3VPwZ7Z0
https://www.acceluniverse.com/blog/developers/2019/11/u-net.html
画像セグメンテーションのためのU-net概要紹介
88デフォルトの名無しさん (ﾜｯﾁｮｲ 6d5f-rvE3 [106.185.144.184])
垢版 |
2021/01/28(木) 10:42:52.60ID:dNWrUHbO0
この人誰ですか？GNN画像検索しても名前が判りません
https://leo-dental.net/wp-content/uploads/2015/04/invi_teebjnn.jpg
89デフォルトの名無しさん (ﾜｯﾁｮｲ f501-rvE3 [126.140.142.39])
垢版 |
2021/01/28(木) 15:00:51.51ID:enel5EBk0
>>88
世界的に活躍中のモデル、ソン・ギョホンさんですね。
2021/01/28(木) 16:22:39.91ID:YtkJvSWv0
自然言語処理はこのスレでおｋ？
2021/01/28(木) 16:26:02.58ID:tVeEpCQj0
機械学習で処理してるならおｋ
最長一致法とか文節数最小法とかならたぶんスレチ
2021/01/28(木) 16:47:41.89ID:aMo9M/5O0
汎用の自然言語処理スレは落ちた
2021/01/28(木) 17:42:21.48ID:aMo9M/5O0
顔だけで認知症かどうかを判断できたらしいが信じられない
http://www.qlifepro.com/news/20210127/screening-of-alzheimers-disease.html
94デフォルトの名無しさん (ｵｯﾍﾟｹ Sr41-XRRf [126.208.143.30])
垢版 |
2021/01/28(木) 19:50:56.12ID:OqkyDTBVr
どれぐらい顔に出るもんなのかね？
2021/01/28(木) 19:57:03.46ID:lIHZErpu0
後、何年後ぐらいで本格的に人が要らなくなり
政府が対策を講じるようになるんだろな
日本はジジババ世代の影響もあり実店舗が他の先進国の2〜3倍あったと思ったが
それも大量に要らなくなりそうだし

田舎なんかコロナで市内のスーパー以外ほどんどの店で
スマホ決済だと25％OFFで物が買えるようになっているけど
スマホで決済している人を自分以外で見たこと無いぐらいなんで
今のジジババが生きてるうちは人が接しないと無理だろうけど
2021/01/28(木) 20:22:52.03ID:I48Yy4YBa
顔を見ただけで「この人に話しかけても無駄だな」
という老人は結構いる
2021/01/28(木) 20:56:18.18ID:6EMd+WuQa
スマホ決済25%オフって何のキャンペーン？
2021/01/28(木) 21:03:43.58ID:1L6bM8JU0
>>93
汎化性能どの程度か怪しいなあ
とりあえず日本人だけみたいだし
99デフォルトの名無しさん (ﾜｯﾁｮｲ 6d5f-Palc [106.73.78.34])
垢版 |
2021/01/28(木) 21:10:20.06ID:4YhVt5zz0
こいつアスペだなってのは結構分かる
2021/01/28(木) 21:20:47.17ID:lIHZErpu0
>>97
やってないところあるんだな
市のキャンペーンで市内の店で購入すると実質25%OFFになる
2021/01/29(金) 08:27:12.51ID:u8fpKNR60
単に顔認識してるだけでは？

データセットのトレーニングとテストに別れてるのかどうかも、
クロスバリデーションの記述もないし
色々おかしい
2021/01/29(金) 10:37:25.97ID:hiKjKkwgM
教師ありだとしたらラベル付け担当失礼だな！笑
103デフォルトの名無しさん (ｱｳｳｨﾌ FF9d-qCTK [106.171.85.137])
垢版 |
2021/01/29(金) 14:29:29.33ID:5pIDnM+SF
>>94
リアルで出会う人間でも一目でそれと判るのが一定数居るよな
ボーダーは判らんかも試練がそれは機械でも判らんやろ
2021/01/29(金) 22:02:13.37ID:0oGGWO2M0
画像だけじゃわからんだろ。動画なら反応のおかしさで大体わかりそうだが。
105デフォルトの名無しさん (ｴﾑｿﾞﾈ FF33-qCTK [49.106.188.195])
垢版 |
2021/01/30(土) 18:01:49.62ID:SAWZ84jgF
SMBC の池沼さんはこれ？
https://github.com/YukiLeafX
106デフォルトの名無しさん (ｵｯﾍﾟｹ Src5-3KRy [126.208.143.30])
垢版 |
2021/01/31(日) 00:58:59.06ID:pOvZd3k3r
>>105
違う。本人はとっくに非公開にしてる。
コード自体はforkされまくって拡散しているが。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況