【統計分析】機械学習・データマイニング32

■ このスレッドは過去ログ倉庫に格納されています
2022/08/01(月) 01:56:45.77ID:0yKqFwG20
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/08/22(月) 09:19:38.73ID:M3KTvG/40
>>279
そんな金ないだろ。日本じゃPFNでも赤字で苦労しとる。
2022/08/22(月) 10:59:51.71ID:tAsFo3rY0
統一教会は半島人の醜さを如実に表してる
2022/08/22(月) 14:13:17.52ID:/JZ4GUXpa
>>279
インフラはやってるよ
https://abci.ai/ja/

日本の大学や企業の研究がしょぼすぎるだけだろう
284デフォルトの名無しさん (ﾜｯﾁｮｲ 5bcb-NZV2 [223.134.244.183])
垢版 |
2022/08/22(月) 14:14:28.90ID:AGzQ/g/50
企業の研究内容は表には出て来んわな
2022/08/22(月) 14:23:39.57ID:P+Wmtt7Wd
海外は軍が予算注ぎ込んでるからな
2022/08/22(月) 14:38:05.78ID:4eJvS9DK0
おまえらの好きな松尾先生もやっている
ttps://elyza.ai/
2022/08/22(月) 14:40:33.16ID:4eJvS9DK0
産総研
ttps://www.aist.go.jp/aist_j/press_release/pr2019/pr20191210/pr20191210.html
2022/08/22(月) 16:43:27.41ID:ypFgfoOWM
>>284
海外企業はガンガン出してんのに？
289デフォルトの名無しさん (ｱｳｱｳｸｰ MM31-/uvr [36.11.229.54])
垢版 |
2022/08/23(火) 00:04:29.71ID:aP4EIeUOM
>>280
バッチサイズが倍にできるから、実質2倍近く
速くなるはずなんだけど
モデル構築する前にセットしなきゃだぞ。
最初の
import TensorFlow as tf
の直後くらい
2022/08/23(火) 08:15:41.30ID:N3tjTKY4H
>>289
バッチサイズ1000　通常：234秒　mix：238秒
バッチサイズ4000　通常：186秒　mix：161秒
バッチサイズがデカくないと効果が出ないってことか？
2022/08/23(火) 10:44:33.98ID:z5ez0lR50
見りゃ分かんじゃん
2022/08/24(水) 05:39:21.73ID:pSxZ9guF0
TPUつきのSBC買ってみようと思ったけど、TPUは推論しかできないみたいだな
使えねえ
SBCで高速学習できるやつとかないのかね
293デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MMe1-HO9W [150.66.76.202])
垢版 |
2022/08/24(水) 08:52:00.50ID:d0pFFyR9M
Colab Proでも契約すれば？
2022/08/24(水) 09:36:35.60ID:Cr8TFbAzM
エッジで訓練すんの？😅
2022/08/24(水) 21:16:20.03ID:sNaNNuyoH
エッジ束ねて訓練させたら面白そう
2022/08/25(木) 23:30:38.51ID:MjLCV6OiM
auto mlってどんくらい強いの
詳しい人教えて下さい
2022/08/26(金) 05:25:24.70ID:lC7cC62KH
前やったときはなんか複雑な構造提案してきたけど、シンプルなモデルで十分だった
2022/08/29(月) 11:18:42.41ID:wHTzp339M
東大のaws入門が公開されてた
299デフォルトの名無しさん (ﾜｯﾁｮｲ 7b89-+deR [39.111.228.181])
垢版 |
2022/08/29(月) 14:37:03.69ID:D9A14tei0
AWSによるクラウド入門
ttps://tomomano.gitlab.io/intro-aws/#_%E6%9C%AC%E8%AC%9B%E7%BE%A9%E3%81%AE%E7%9B%AE%E7%9A%84%E5%86%85%E5%AE%B9
2022/08/29(月) 14:39:28.48ID:gvYmUJsI0
>>299
東大がこのレベルなの？
大丈夫か
2022/08/29(月) 17:48:06.27ID:37z89kq3a
入門って言葉の意味分からない？
2022/08/29(月) 18:24:49.01ID:nxn1+9vzd
俺より解ってないなって状態から、あっという間に俺を抜き去っていくのが東大マン。
2022/08/29(月) 18:49:57.23ID:JqKj6vanH
コツだけおさえれば全てが理解できるからな
2022/08/29(月) 19:11:17.26ID:wHTzp339M
>>302
これこれ
2022/08/30(火) 17:12:19.27ID:FA0ihXRH0
音声のAIにはGPUとかVRAM必要でしょうか？
2022/08/30(火) 18:38:23.85ID:L//zxZQs0
有って困りはしない
2022/08/31(水) 17:58:45.28ID:ynPuhdr40
Tinker Edge Tを使ったことある人いますか？
パソコンでtfliteファイルを作ってEdgeに移すみたいなんですが、移し方がわからないので教えてください
2022/09/02(金) 19:10:34.27ID:jXwg/pZ60
awsの価格が6、7月で20%上昇だって
2022/09/02(金) 19:13:24.69ID:iQ46VdDWa
嘘でしょやばーーい
2022/09/02(金) 20:16:13.43ID:jXwg/pZ60
当分円安なのでさらに上昇（個人の予想）
2022/09/03(土) 05:23:47.17ID:lasQOlsb0
随分上がるな
2022/09/03(土) 09:17:14.95ID:a2KXc2E40
なお国内代替えはない模様
2022/09/04(日) 07:23:55.38ID:tGOxFcYM0
LHR版は仮想通貨マイニング対策って見ましたが、機械学習もできないのでしょうか？
ゲーム用？
2022/09/04(日) 10:56:09.15ID:RxSBZ2nr0
大丈夫じゃねえの？
使う機能が違うだろ
2022/09/04(日) 11:19:47.83ID:6SKc0Vv20
在日w
2022/09/06(火) 16:58:22.00ID:Fz20Z0sv0
>>313
やや遅いかもって話を聞きました
317デフォルトの名無しさん (ｻｻｸｯﾃﾛﾛ Sp81-vrhf [126.253.80.237])
垢版 |
2022/09/08(木) 18:31:06.69ID:4bXpk1Tip
AI画像生成が盛り上がってるってのに
このスレの存在感w
2022/09/08(木) 19:00:24.43ID:aRXPQPl40
>>317
このスレに来る人は今更画像生成で騒がないんじゃないですかね。
2022/09/08(木) 19:57:19.57ID:yJwxKLR20
そですね
320デフォルトの名無しさん (ﾜｯﾁｮｲ 859b-Uw5p [182.170.247.147])
垢版 |
2022/09/08(木) 20:49:12.54ID:4NrS38SD0
ここは利用するというより作る側だろうしな
2022/09/09(金) 00:25:42.03ID:/P4QmHZv0
著作権侵害かどうかを自動的に判断する
という学習なら研究課題としてはありえるかも
私が気が付くぐらいだから
もう既にあるかもだけど
2022/09/09(金) 01:50:53.28ID:Z1CIaO5G0
>>321
動画や音楽の検出システムは結構前から稼働してますね。

画像の盗作疑惑でトレース元を探すスクリプトの話は最近ありましたが、話題の画像生成AIは原理的に元画像の特定や判断はほぼ不可能なんじゃないですかね。
2022/09/09(金) 05:33:02.27ID:JZt/iCzP0
検索して合成してるだけ、って言う説明にはモヤる
2022/09/09(金) 07:50:53.02ID:/P4QmHZv0
>>322
似ているものを自動的に探し出して
類似度を数字で出すことはできそう
例によってタグをつけるのに
ものすごいお金がかかりそう
2022/09/09(金) 08:48:42.78ID:Z1CIaO5G0
>>324
教師なし学習によるクラスタリングとかならばローコストで行けるかもしれませんね。

元となった画像が違うものでも既存の作品の著作権を侵害するパターンはあるでしょうし、結局は出力物の比較くらいしか出来ないでしょうし。
2022/09/09(金) 08:54:57.20ID:hzWOBnQ0r
nvidia-smiでのプロセスお掃除を自動化するスクリプト

というのはpythonスレでやるべきか
2022/09/09(金) 09:14:00.23ID:MD6r2wJ1M
アリでしょ
328デフォルトの名無しさん (ﾜｯﾁｮｲ 8597-d5Dt [182.171.246.142])
垢版 |
2022/09/09(金) 19:27:29.62ID:gHZkiSD/0
深層学習紹介用に作った去年のスライドにDALL-E入れてて、去年は素人受けは良かったけど、1年で大分状況が変わっちゃったな
コモディティ化というのは恐ろしいね
2022/09/10(土) 07:42:24.84ID:Wy1dWon00
GPUプロセスお掃除スクリプト
subprocess.runでnvidia-smi > path.txt出力
少し待ってからそのファイルを読み込む
1行内はstringだが半角スペースの塊を全て
.
で置き換える
これをカンマでsplitしてリスト化

ある列がC+GあるいはCだけになってる
Cのとき、その左隣がプロセスIDなので取得

これをtaskkillコマンドと組み合わせ
再びsubprocess.run

少し手間が減ったw
2022/09/10(土) 11:01:56.67ID:8KZZrXeX0
subprocess.runてなに
331デフォルトの名無しさん (ﾌﾞｰｲﾓ MMeb-UGq3 [133.159.149.203])
垢版 |
2022/09/10(土) 12:57:49.81ID:5PDp0NUMM
横からだがpythonで外部プロセスを実行する命令のことだな。
C言語でいうsystem
2022/09/10(土) 14:44:27.98ID:aU68/2bH0
システムコールでfork();exec();だな
2022/09/11(日) 16:48:50.13ID:Qz5iR3iM0
みんな破壊的イノベーションしてるか？
2022/09/11(日) 17:11:45.91ID:6OGQ7LM40
破壊的イノベーションの定義からまず説明してください。
2022/09/11(日) 17:21:26.77ID:sE7IvgjQ0
破壊的イノベーションなんて単なる結果論だし狙ってやるものでもないからね
たまたま運良く既存業者が破壊されてくれれば破壊的イノベーションと呼ばれるだけ
狙ってやれるなら既にそこら中破壊され尽くしている
2022/09/11(日) 17:23:50.64ID:tS0TWxJl0
イノベーション自体が狙ってやれるものじゃないでしょ？
選択と集中とかいって恣意的に金をケチる日本の経営者には無理
2022/09/11(日) 17:30:01.84ID:Qz5iR3iM0
>>334
破壊的イノベーション（英語：Disruptive Innovation）とは、既存の市場で求められる価値を低下させつつ、新しい価値基準を市場にもたらすイノベーションのことです。
2022/09/11(日) 17:50:19.49ID:Qz5iR3iM0
日本人が得意なのは持続的イノベーション、技術改良
2022/09/12(月) 09:16:34.07ID:FAOaRikOM
ことaiに関してはできてないんじゃね？
未だ統計的機械学習みたいなのやってる人もいるし
2022/09/12(月) 09:38:22.51ID:Duzrzq3B0
未だに統計の最小二乗法＋推定検定で頭が止まってるのが理系ですら大半
2022/09/12(月) 12:11:55.27ID:NzER+7v70
>>329
わざわざ外部ファイルにリダイレクトして待たなくても、subprocess.runの返り値からstdoutを参照するとよい
342デフォルトの名無しさん (ﾜｯﾁｮｲ 8b10-TRym [153.243.53.4])
垢版 |
2022/09/12(月) 12:27:37.34ID:CU+mTlE/0
>>340
適材適所でしょ
それで十分な事もかなり多い
343デフォルトの名無しさん (ﾜｯﾁｮｲ 0b30-V+uT [121.103.189.61])
垢版 |
2022/09/12(月) 12:42:22.84ID:Ewn8s+zM0
破壊的イノベーションって
戦後間もない頃なら既得権益者が富や権力を失っているし
モノ作りをやっている企業の社長や会長は技術屋だったので
イノベーションが起きやすかったんだろうけど
今は180℃違う状況だからね
344デフォルトの名無しさん (ﾜｯﾁｮｲ 0b30-V+uT [121.103.189.61])
垢版 |
2022/09/12(月) 12:43:16.54ID:Ewn8s+zM0
温度になってしまったわｗｗｗ
2022/09/12(月) 13:50:34.87ID:d3H/NhLz0
>>343
猿真似に励めｗ
346デフォルトの名無しさん (ﾜｯﾁｮｲ 0b30-V+uT [121.103.189.61])
垢版 |
2022/09/12(月) 16:22:36.29ID:Ewn8s+zM0
>>345
えー、、
小湊よつ葉で慰めてる奴に
励められたくないな
2022/09/13(火) 01:51:54.96ID:3C1C9buO0
猿真似にならないよう学生は基礎を固めましょう。なんやかんや最前線に立つにはある程度レベルの高い数学と自然の物理現象の理解が必要です。
348デフォルトの名無しさん (ﾜｯﾁｮｲ 0b30-V+uT [121.103.189.61])
垢版 |
2022/09/13(火) 19:06:26.35ID:2XtJPXXh0
ここは最前線とか高い数学とか物理現象とか偉そうなこと言ってるからまともかと思いきや
実際議論してる奴等は
競技水着k-cup、Mカップ132cmの超爆乳好きとか
アイドルからAV落ちした奴を狙ってる奴とか
アニメ専門ポイ奴とか
破壊的イノベーションを語る前に
違うベーションが破壊されているんじゃないかっていう奴ばっかじゃん
2022/09/13(火) 19:23:19.94ID:wXF7AVOa0
NVIDIA H100 Tensor Core GPU ほすぃ
2022/09/13(火) 23:15:39.44ID:3C1C9buO0
ガチでしらんがな。
どっからテキトーに持ってきた。
351デフォルトの名無しさん (ﾜｯﾁｮｲ d3e6-LCcq [131.147.221.78])
垢版 |
2022/09/13(火) 23:48:13.92ID:ZcokiuHw0
社会人文系で体系的に数学を学び直すのは難しい時、機械学習とどう向き合えばいいだろう。なにを学べば社会実装に役立てるのかわからん
352デフォルトの名無しさん (ｻｻｸｯﾃﾛ Spc5-yfoU [126.33.214.92])
垢版 |
2022/09/14(水) 00:10:38.79ID:ONSgo5Bip
そういう人には統計学は最強の学問［数学編］をお薦めする
数学を機械学習にのみに絞って最短で中学数学から学び直せるから挑戦してみるといいよ
これでダメなら機械学習キッパリ諦めて他の道選べばいい
人間それぞれに個性や才能が必ずあるからね

スナフキン「大切なのは自分のしたいことを知っていることだよ」
このセリフこそが人生で一番大事、他はどうでもいい
社会に煽られた欲望じゃなく、自分の芯から出た欲望なのかは試行錯誤を繰り返さないと自分の輪郭は見えて来ない
353デフォルトの名無しさん (ﾜｯﾁｮｲ 7997-UGq3 [182.171.246.142])
垢版 |
2022/09/14(水) 03:30:35.49ID:B+vHGm8n0
>>351
自分で実装するまでの勉強もありだが機械学習やってる大学生と仲良くなるなんてのもいいと思うぞ。大学院生は多分忙しくて相手してくれないから大学生がいいと思う。
大学生で機械学習というとプログラミング全振りという感じだろうし、文系分野との融合でのの社会実装はいい経験になると思うよ
2022/09/14(水) 06:53:09.59ID:ksY/9USv0
>>351
原理を理解していなくても使えるからこそ技術なのであって、最初は難しいことは考えずに使ってみる程度で良いと思いますよ。

その上で必要に応じて少しずつ学んでいくのが一番の近道かと。
355デフォルトの名無しさん (ﾜｯﾁｮｲ 13ea-IFwC [61.211.15.194])
垢版 |
2022/09/14(水) 10:50:04.41ID:soWO7rpy0
>>349
A100で組んだ方が安上がりになるよ。
この前、よく見るAI開発系の動画見てたら新規にA100でクラスタ組んだとか言って新しいサーバーを公開してた。
処理性能はTop500で70位だとか言ってた。
規模は19インチラック10台くらい
2022/09/14(水) 11:13:23.56ID:eiIiKJr8M
>>355
金あるなあ
2022/09/14(水) 11:28:42.98ID:psjg04mx0
空調が必要だなｗ
2022/09/14(水) 23:44:59.19ID:DuxxpoCW0
anacondaにconda-forgeもチャンネル設定しないと
tensorflow-gpuインストール後にopenCVインストール出来ないなあ

というか最初に複雑なライブラリをインストールした方がうまく行くなあ
359デフォルトの名無しさん (ﾜｯﾁｮｲ 9168-JZJc [112.70.179.16])
垢版 |
2022/09/15(木) 09:39:07.36ID:AeO1SOg/0
colabで昨日まで動いてたコードが今日はoutofmemoryになるのマジでなんなの？
同じGPU引いてるんだけど？？？
2022/09/15(木) 10:45:28.28ID:pxiaayXk0
ニュートリノがPCに当ったんだよｗ
2022/09/15(木) 12:08:51.27ID:la3DWPr7r
JupyterでGPUを動かすとブラウザのタブを閉じた後もプロセスメモリ消費されたまま

spyderだとアプリ閉じたら全部消えるか

じゃあJupyterでもブラウザ丸ごと閉じれば良いのかな
他に見てるタブとかあったら厄介だな
362デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MM95-a/F8 [150.66.67.26])
垢版 |
2022/09/15(木) 12:16:53.50ID:HQEgbpzMM
>>361
使用してないときはプロセス止めたいなら明示的にkillすれば止めれるよ
https://faboplatform.github.io/JetracerDocs/08.%E5%AD%A6%E7%BF%92/01.jupyter/
2022/09/15(木) 13:05:11.88ID:la3DWPr7r
ありがとうございます
2022/09/15(木) 13:12:17.87ID:pxiaayXk0
kill -KILL 1
2022/09/15(木) 15:51:49.22ID:b70MTv+N0
くっ、殺せ！
2022/09/16(金) 08:39:34.21ID:xnvGTi6yr
pytorchがメタからlinux foundationに移管
367デフォルトの名無しさん (ﾜｯﾁｮｲ 13ea-IFwC [61.211.15.194])
垢版 |
2022/09/16(金) 10:32:04.73ID:7TBe9t8e0
>>359
Colabは単純な仮想化環境ではなくダイナミックリソースアロケーションという方式を用いてる。
この場合、メモリなどのリソースは使用者間のリソース使用状況に応じて均等になるように配分される。
つまり、リソースは毎回同じ分が配分されるわけではなく、過去の使用状況が大きいと
新たにセッションのリソース配分は減らされる。
浮いたリソースはその利用状況の少ない利用者に回される。
ダイナミックリソースアロケーションが原因でアウトオブメモリーエラーが発生した場合は
バッチサイズを前回動作時よりも少なくするか、リソース配分の優先順位が戻るよう時間を空ける。
もしくはメモリ割り当てが元から多い有料版に切り替えることが必要。
368デフォルトの名無しさん (ｽｯｯﾌﾟ Sd33-7lhq [49.98.154.55])
垢版 |
2022/09/16(金) 11:41:44.30ID:CxNa1F74d
>>366
自分はPytorch使ってるんだけど今後何か影響出てくる？
2022/09/16(金) 14:44:22.25ID:QvnXFc2Y0
Linux使えばpytorchの継続使用は問題無いだろ
C/C++だとnvidiaのセットアップが面倒くさいけど
2022/09/16(金) 14:55:35.07ID:xvE1RXjka
さらばpytorch
2022/09/16(金) 16:25:33.78ID:FrUVntmPM
winのひとはtensorflowで
2022/09/16(金) 16:46:58.13ID:wawVl1WxM
っぱTFよ
373デフォルトの名無しさん (ｽｯｯﾌﾟ Sd33-7lhq [49.98.154.55])
垢版 |
2022/09/16(金) 16:59:17.42ID:CxNa1F74d
基本Linuxだから問題なさそうですね
374デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MM95-IRDV [150.66.71.18])
垢版 |
2022/09/16(金) 18:19:43.71ID:l9eiA9RAM
Linux Foundationに移管するからってLinuxじゃないと使えなくなるわけではないだろ？
そもそもWinで機械学習するやつが居るのかは知らんけど
375デフォルトの名無しさん (ｻｻｸｯﾃﾛﾗ Spc5-yfoU [126.166.53.61])
垢版 |
2022/09/16(金) 18:47:01.57ID:dMSsbN0yp
マカーが多い印象
2022/09/16(金) 19:01:00.27ID:FrUVntmPM
linux foundationの支援を受けてwinバイナリ作るのも変じゃん
2022/09/16(金) 19:05:14.14ID:xvE1RXjka
そもそもまともに支援されるか怪しいよ
2022/09/16(金) 19:16:32.32ID:asUSK40sH
Winでやってるけど、Update関係が動いたときにエラーで止まることが多い
Win糞だなと思いつつなぜか使い続けてるバカです
379デフォルトの名無しさん (ﾜｯﾁｮｲ 9501-W3aP [126.159.233.81])
垢版 |
2022/09/17(土) 03:54:50.15ID:WaM/gYIx0
Windows使ってる人はTensorFlowへ移行しましょう。
2022/09/17(土) 06:49:56.39ID:RCPk90bZ0
chainer復活しないかなあ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。