【統計分析】機械学習・データマイニング32

■ このスレッドは過去ログ倉庫に格納されています
2022/08/01(月) 01:56:45.77ID:0yKqFwG20
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/08/14(日) 18:28:19.08ID:K0Omd9iB0
>>241
バブルソートはともかく、シェルソートを持ち出してくるとは、あなた、マニアックな人ですね……
2022/08/14(日) 18:40:52.80ID:9m9iFR7A0
そなこと言ってねーよ、音声のアルゴリズムだろｗ
2022/08/14(日) 18:41:41.97ID:9m9iFR7A0
大きい素数の計算は大変ｗ
2022/08/14(日) 18:52:47.88ID:2De7J4jL0
>>230
力技以外で破るとなると効率的な素因数分解の手法を発見するしかないので、そのAIが行うのは暗号解読ではなく数学研究になりますね。

機械学習の原理的に帰納的な問題解決しか出来ないので問題に対して手法の相性が良くないかと。
2022/08/14(日) 19:02:13.51ID:v/0phuhw0
AIで暗号が効率的に破れるなら世界中のネット犯罪組織が取り組んで既にあちこちで強固な暗号が破られまくって被害が多発していなければおかしい
247デフォルトの名無しさん (ｻｻｸｯﾃﾛ Sp4f-MctP [126.35.127.220])
垢版 |
2022/08/14(日) 19:08:38.91ID:L/EixUwTp
絵を描くAI「Midjourney」なぜ人気？ 「画家を駆逐するリアリティ実感」...識者が考える「人間への問い」

実用性を基軸にしたコンセプトアートの説明を踏まえ、2人は「イラストレーターやコンセプトデザイナーなど、何らかの用途に奉仕するための技術提供という職業であれば、高い確率でMidjourney等の自動画像生成ツールに取って代わられるでしょう」としている。さらに他の芸術についても、「美術に限らず、音楽でも文学でも、『売れるための』とか『ここちよさのための』などのイラストや劇伴やコピーではAIが人間を凌駕するでしょう」とした。

なお、実用性から離れた「芸術のための芸術」については、2人はさらに踏み込んだ見解を示した。

「唯一、コンセプチュアルな『芸術のための芸術』のみが人間最後の砦となり、Midjourneyのような現行のAIでは太刀打ちできないこととなります。というのは、現行のAIには自意識も美意識も無いため、『用途』を人間が設定しないと自分では動かないからです。しかし、AIがはるかに進化し、いつか自意識や美意識を持った暁には、AIだって『芸術のための芸術』を追求し始めるでしょう。そうなると、人間最後の砦もいつかは崩れ去るでしょう」
https://www.j-cast.com/2022/08/14443708.html
248デフォルトの名無しさん (ｽｯﾌﾟ Sdbf-NGTC [49.97.106.163])
垢版 |
2022/08/14(日) 19:09:58.60ID:NjM2Y3rtd
AI自分で実装したことないのかな？って人のコメントも多いね
2022/08/15(月) 11:27:39.48ID:KqYABn2h0
AKS素数判定法
ttps://www.math.mcgill.ca/darmon/courses/12-13/nt/projects/Azeem-Hussain.pdf

計算時間はO(l(ogn)^(6+ε))だそうだ
優しいかなｗ
2022/08/16(火) 04:14:41.36ID:MkpTU7zo0
次のコードがあります
h=[[[]]]*10
h[0].append([0,0])
理想としては
＞[[[], [0, 0]], [[]], [[]], [[]], [[]], [[]], [[]], [[]], [[]], [[]]]
となってほしいのですが、現実は
＞[[[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]], [[], [0, 0]]]
となってしまいます
どうしたら理想の形になるでしょうか？
2022/08/16(火) 04:15:08.61ID:MkpTU7zo0
スレ間違えましたすみません
252デフォルトの名無しさん (ｱｳｱｳｱｰ Sa7f-j00w [27.85.206.179])
垢版 |
2022/08/16(火) 04:22:53.85ID:/xB+DI9Pa
>>204
楽器ごとに分離するのは、波形を直接分離するモデルと、STFTとかでスペクトルにして
画像として分離するモデルがある。
どっちも、それぞれの楽器の単独音源をたくさん用意して、
人工的に混ぜて答えが分かった状態で学習に与えて、分離が正しい方向に行くようにする。

トランペットとユーフォニアムの2重奏を分離してみたことがあるけど、
音が調和して溶け合っている部分は分離が難しかった
253デフォルトの名無しさん (ﾜｯﾁｮｲ 9f5c-O3lh [203.139.55.139])
垢版 |
2022/08/16(火) 06:55:12.63ID:41zZYOQB0
pythonのTabNetで、TabNetClassifierで学習してるんだけど、
model.fit(X_learn, y_train,
eval_set=[(X_valid, y_valid)],
eval_metric = ["auc"], ...
でeval_setでauc 0.7位なんだけど、model.predict(X_valid)すると、y_validとほとんど一致しないのは何でか分かる人いる？
254デフォルトの名無しさん (ﾜｯﾁｮｲ ef2d-T8w+ [39.110.153.109])
垢版 |
2022/08/16(火) 10:06:56.76ID:WqfJGg+k0
分類問題でauc?
2022/08/16(火) 10:51:47.63ID:JAkwCcuo0
見てる指標が違う
256デフォルトの名無しさん (ﾜｯﾁｮｲ 9f5c-O3lh [203.139.55.139])
垢版 |
2022/08/16(火) 16:20:05.19ID:41zZYOQB0
TabNetClassifierで目的変数binary 0 or 1の学習中。
だから、aucでもaccuracyでもどっちでも良いと思ってたわ。
https://github.com/dreamquark-ai/tabnet

model.predict(X_valid)するとbinary 0 or 1が表示されるけど、
model.predict_prob(X_valid)すると確率値が出る。
どっちでaucを計算してるんだろ？
2022/08/18(木) 16:49:17.73ID:mhRdy57R0
TPU使うのってint8じゃないとだめなの？
せっかくTPUつきのボード買ったのにたいして速くならないんで、調べてみたらfloat32じゃなくてint8にしろと
一度float32でやってモデル変換する方法もあるみたいだけど、最初からint8でやろうと思う
その場合って、float32のところをint8に変えるだけでTPU使ってくれる？
2022/08/18(木) 20:08:07.92ID:o4Z+2rVP0
買ったやつ教えて
2022/08/18(木) 20:37:33.25ID:mhRdy57R0
>>258
RTX2060
260デフォルトの名無しさん (ｻｻｸｯﾃﾛﾗ Sp4f-MctP [126.167.130.248])
垢版 |
2022/08/18(木) 21:13:12.87ID:aqu8Ybzfp
AppleのM1 ProとM1 MaxはGoogle Colabを最大54％上回る結果に
https://ainow.ai/2022/02/25/262748/
M1 Mac強え
新型M2 MacBook Air新色買うわコスパ良すぎやろ
2022/08/18(木) 21:45:13.89ID:o4Z+2rVP0
まかーのこういうとこ嫌い
2022/08/19(金) 00:03:09.62ID:VwbmRncY0
クラウドとローカルのスペック比べて何がしたいの？
263デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-oUG4 [106.181.213.142])
垢版 |
2022/08/19(金) 00:48:12.87ID:Djh9jYCCa
ドメイン即NG
2022/08/19(金) 00:49:25.55ID:ZRODj5HZ0
TPUなんて誰も使わんからネットで調べても情報ないな
聞いても答えてくれる人いないんじゃないか
2022/08/19(金) 08:22:44.23ID:uDjgsPRV0
TPU
ポリウレタン系熱可塑性エラストマー
2022/08/19(金) 09:14:33.61ID:PPuFixjQM
>>257
それでいいんじゃね？
2022/08/19(金) 09:18:32.96ID:AUJjVtM/H
ほんとかよ
コンパイルとか変えないとだめなんじゃないの
知らんけど
2022/08/19(金) 12:18:11.72ID:uDjgsPRV0
コンパイルは変えられるか
269デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MMcf-JnnM [150.66.75.105])
垢版 |
2022/08/19(金) 12:35:17.47ID:MXwr3T/2M
そもそもTPUってGoogle独自の集積回路だろ？
エッジデバイス以外は購入なんて出来ないだろ
2022/08/19(金) 15:53:11.21ID:PPuFixjQM
上の方にいたひと、これと同じ方法かな？

https://prtimes.jp/main/html/rd/p/000000112.000000451.html
金融指標予測AIアルゴリズムをリリース
2022/08/19(金) 18:54:33.89ID:e0vWce1wH
RTX2060はテンソルコアってやつかな
厳密にはTPUではないよね
テンソルコアは8bitじゃなくても使ってくれるのかは知らない
272デフォルトの名無しさん (ｻｻｸｯﾃﾛﾗ Sp4f-MctP [126.193.52.232])
垢版 |
2022/08/19(金) 19:57:36.94ID:otDct8ELp
つかcolabで充分やろ
273デフォルトの名無しさん (ｱｳｱｳｳｰ Sad9-ymFH [106.146.117.128])
垢版 |
2022/08/20(土) 06:49:38.28ID:zXEmllDIa
>>257
テンソルコア使うだけなら、float16でいい。
Mixed precision とかいうやつ
274デフォルトの名無しさん (ｻｻｸｯﾃﾛﾚ Spb1-+B+w [126.247.46.25])
垢版 |
2022/08/20(土) 07:44:47.72ID:59FbZELFp
2060買えば普通にテンソルコアも付いてる感じ？
それともそれ用のRTX2060がある？
2022/08/20(土) 08:50:43.97ID:eMp/8fuaH
普通は型番同じなら同じもんだろ
2022/08/20(土) 09:22:23.97ID:wvqcoxVr0
GeForce RTX 2060の性能は？
ttps://www.itmedia.co.jp/pcuser/articles/1901/07/news097.html

2060から2080までみんなついてるみたい
277デフォルトの名無しさん (ｻｻｸｯﾃﾛﾚ Spb1-+B+w [126.247.46.25])
垢版 |
2022/08/20(土) 09:54:35.69ID:59FbZELFp
>>276
ほうほうサンクス
グラボも値下がりし始めてるみたいだし2060買おうかな
ゲーミングPCとしても手頃だし
2022/08/20(土) 12:39:08.66ID:WadLECa7H
RTX2060はメモリ部分が256bitではなく192bitだからやや遅いとの評
2022/08/21(日) 06:29:37.76ID:RoumOKBO0
日本の研究所も大規模言語モデルで汎用人工知能の研究すれば良いのに
2022/08/21(日) 11:41:29.30ID:YfHrdeHH0
RTX2060でmixed_precisionやってみたけど、全然速くなんないぞ
set_global_policy('mixed_float16')
2022/08/22(月) 09:19:38.73ID:M3KTvG/40
>>279
そんな金ないだろ。日本じゃPFNでも赤字で苦労しとる。
2022/08/22(月) 10:59:51.71ID:tAsFo3rY0
統一教会は半島人の醜さを如実に表してる
2022/08/22(月) 14:13:17.52ID:/JZ4GUXpa
>>279
インフラはやってるよ
https://abci.ai/ja/

日本の大学や企業の研究がしょぼすぎるだけだろう
284デフォルトの名無しさん (ﾜｯﾁｮｲ 5bcb-NZV2 [223.134.244.183])
垢版 |
2022/08/22(月) 14:14:28.90ID:AGzQ/g/50
企業の研究内容は表には出て来んわな
2022/08/22(月) 14:23:39.57ID:P+Wmtt7Wd
海外は軍が予算注ぎ込んでるからな
2022/08/22(月) 14:38:05.78ID:4eJvS9DK0
おまえらの好きな松尾先生もやっている
ttps://elyza.ai/
2022/08/22(月) 14:40:33.16ID:4eJvS9DK0
産総研
ttps://www.aist.go.jp/aist_j/press_release/pr2019/pr20191210/pr20191210.html
2022/08/22(月) 16:43:27.41ID:ypFgfoOWM
>>284
海外企業はガンガン出してんのに？
289デフォルトの名無しさん (ｱｳｱｳｸｰ MM31-/uvr [36.11.229.54])
垢版 |
2022/08/23(火) 00:04:29.71ID:aP4EIeUOM
>>280
バッチサイズが倍にできるから、実質2倍近く
速くなるはずなんだけど
モデル構築する前にセットしなきゃだぞ。
最初の
import TensorFlow as tf
の直後くらい
2022/08/23(火) 08:15:41.30ID:N3tjTKY4H
>>289
バッチサイズ1000　通常：234秒　mix：238秒
バッチサイズ4000　通常：186秒　mix：161秒
バッチサイズがデカくないと効果が出ないってことか？
2022/08/23(火) 10:44:33.98ID:z5ez0lR50
見りゃ分かんじゃん
2022/08/24(水) 05:39:21.73ID:pSxZ9guF0
TPUつきのSBC買ってみようと思ったけど、TPUは推論しかできないみたいだな
使えねえ
SBCで高速学習できるやつとかないのかね
293デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MMe1-HO9W [150.66.76.202])
垢版 |
2022/08/24(水) 08:52:00.50ID:d0pFFyR9M
Colab Proでも契約すれば？
2022/08/24(水) 09:36:35.60ID:Cr8TFbAzM
エッジで訓練すんの？😅
2022/08/24(水) 21:16:20.03ID:sNaNNuyoH
エッジ束ねて訓練させたら面白そう
2022/08/25(木) 23:30:38.51ID:MjLCV6OiM
auto mlってどんくらい強いの
詳しい人教えて下さい
2022/08/26(金) 05:25:24.70ID:lC7cC62KH
前やったときはなんか複雑な構造提案してきたけど、シンプルなモデルで十分だった
2022/08/29(月) 11:18:42.41ID:wHTzp339M
東大のaws入門が公開されてた
299デフォルトの名無しさん (ﾜｯﾁｮｲ 7b89-+deR [39.111.228.181])
垢版 |
2022/08/29(月) 14:37:03.69ID:D9A14tei0
AWSによるクラウド入門
ttps://tomomano.gitlab.io/intro-aws/#_%E6%9C%AC%E8%AC%9B%E7%BE%A9%E3%81%AE%E7%9B%AE%E7%9A%84%E5%86%85%E5%AE%B9
2022/08/29(月) 14:39:28.48ID:gvYmUJsI0
>>299
東大がこのレベルなの？
大丈夫か
2022/08/29(月) 17:48:06.27ID:37z89kq3a
入門って言葉の意味分からない？
2022/08/29(月) 18:24:49.01ID:nxn1+9vzd
俺より解ってないなって状態から、あっという間に俺を抜き去っていくのが東大マン。
2022/08/29(月) 18:49:57.23ID:JqKj6vanH
コツだけおさえれば全てが理解できるからな
2022/08/29(月) 19:11:17.26ID:wHTzp339M
>>302
これこれ
2022/08/30(火) 17:12:19.27ID:FA0ihXRH0
音声のAIにはGPUとかVRAM必要でしょうか？
2022/08/30(火) 18:38:23.85ID:L//zxZQs0
有って困りはしない
2022/08/31(水) 17:58:45.28ID:ynPuhdr40
Tinker Edge Tを使ったことある人いますか？
パソコンでtfliteファイルを作ってEdgeに移すみたいなんですが、移し方がわからないので教えてください
2022/09/02(金) 19:10:34.27ID:jXwg/pZ60
awsの価格が6、7月で20%上昇だって
2022/09/02(金) 19:13:24.69ID:iQ46VdDWa
嘘でしょやばーーい
2022/09/02(金) 20:16:13.43ID:jXwg/pZ60
当分円安なのでさらに上昇（個人の予想）
2022/09/03(土) 05:23:47.17ID:lasQOlsb0
随分上がるな
2022/09/03(土) 09:17:14.95ID:a2KXc2E40
なお国内代替えはない模様
2022/09/04(日) 07:23:55.38ID:tGOxFcYM0
LHR版は仮想通貨マイニング対策って見ましたが、機械学習もできないのでしょうか？
ゲーム用？
2022/09/04(日) 10:56:09.15ID:RxSBZ2nr0
大丈夫じゃねえの？
使う機能が違うだろ
2022/09/04(日) 11:19:47.83ID:6SKc0Vv20
在日w
2022/09/06(火) 16:58:22.00ID:Fz20Z0sv0
>>313
やや遅いかもって話を聞きました
317デフォルトの名無しさん (ｻｻｸｯﾃﾛﾛ Sp81-vrhf [126.253.80.237])
垢版 |
2022/09/08(木) 18:31:06.69ID:4bXpk1Tip
AI画像生成が盛り上がってるってのに
このスレの存在感w
2022/09/08(木) 19:00:24.43ID:aRXPQPl40
>>317
このスレに来る人は今更画像生成で騒がないんじゃないですかね。
2022/09/08(木) 19:57:19.57ID:yJwxKLR20
そですね
320デフォルトの名無しさん (ﾜｯﾁｮｲ 859b-Uw5p [182.170.247.147])
垢版 |
2022/09/08(木) 20:49:12.54ID:4NrS38SD0
ここは利用するというより作る側だろうしな
2022/09/09(金) 00:25:42.03ID:/P4QmHZv0
著作権侵害かどうかを自動的に判断する
という学習なら研究課題としてはありえるかも
私が気が付くぐらいだから
もう既にあるかもだけど
2022/09/09(金) 01:50:53.28ID:Z1CIaO5G0
>>321
動画や音楽の検出システムは結構前から稼働してますね。

画像の盗作疑惑でトレース元を探すスクリプトの話は最近ありましたが、話題の画像生成AIは原理的に元画像の特定や判断はほぼ不可能なんじゃないですかね。
2022/09/09(金) 05:33:02.27ID:JZt/iCzP0
検索して合成してるだけ、って言う説明にはモヤる
2022/09/09(金) 07:50:53.02ID:/P4QmHZv0
>>322
似ているものを自動的に探し出して
類似度を数字で出すことはできそう
例によってタグをつけるのに
ものすごいお金がかかりそう
2022/09/09(金) 08:48:42.78ID:Z1CIaO5G0
>>324
教師なし学習によるクラスタリングとかならばローコストで行けるかもしれませんね。

元となった画像が違うものでも既存の作品の著作権を侵害するパターンはあるでしょうし、結局は出力物の比較くらいしか出来ないでしょうし。
2022/09/09(金) 08:54:57.20ID:hzWOBnQ0r
nvidia-smiでのプロセスお掃除を自動化するスクリプト

というのはpythonスレでやるべきか
2022/09/09(金) 09:14:00.23ID:MD6r2wJ1M
アリでしょ
328デフォルトの名無しさん (ﾜｯﾁｮｲ 8597-d5Dt [182.171.246.142])
垢版 |
2022/09/09(金) 19:27:29.62ID:gHZkiSD/0
深層学習紹介用に作った去年のスライドにDALL-E入れてて、去年は素人受けは良かったけど、1年で大分状況が変わっちゃったな
コモディティ化というのは恐ろしいね
2022/09/10(土) 07:42:24.84ID:Wy1dWon00
GPUプロセスお掃除スクリプト
subprocess.runでnvidia-smi > path.txt出力
少し待ってからそのファイルを読み込む
1行内はstringだが半角スペースの塊を全て
.
で置き換える
これをカンマでsplitしてリスト化

ある列がC+GあるいはCだけになってる
Cのとき、その左隣がプロセスIDなので取得

これをtaskkillコマンドと組み合わせ
再びsubprocess.run

少し手間が減ったw
2022/09/10(土) 11:01:56.67ID:8KZZrXeX0
subprocess.runてなに
331デフォルトの名無しさん (ﾌﾞｰｲﾓ MMeb-UGq3 [133.159.149.203])
垢版 |
2022/09/10(土) 12:57:49.81ID:5PDp0NUMM
横からだがpythonで外部プロセスを実行する命令のことだな。
C言語でいうsystem
2022/09/10(土) 14:44:27.98ID:aU68/2bH0
システムコールでfork();exec();だな
2022/09/11(日) 16:48:50.13ID:Qz5iR3iM0
みんな破壊的イノベーションしてるか？
2022/09/11(日) 17:11:45.91ID:6OGQ7LM40
破壊的イノベーションの定義からまず説明してください。
2022/09/11(日) 17:21:26.77ID:sE7IvgjQ0
破壊的イノベーションなんて単なる結果論だし狙ってやるものでもないからね
たまたま運良く既存業者が破壊されてくれれば破壊的イノベーションと呼ばれるだけ
狙ってやれるなら既にそこら中破壊され尽くしている
2022/09/11(日) 17:23:50.64ID:tS0TWxJl0
イノベーション自体が狙ってやれるものじゃないでしょ？
選択と集中とかいって恣意的に金をケチる日本の経営者には無理
2022/09/11(日) 17:30:01.84ID:Qz5iR3iM0
>>334
破壊的イノベーション（英語：Disruptive Innovation）とは、既存の市場で求められる価値を低下させつつ、新しい価値基準を市場にもたらすイノベーションのことです。
2022/09/11(日) 17:50:19.49ID:Qz5iR3iM0
日本人が得意なのは持続的イノベーション、技術改良
2022/09/12(月) 09:16:34.07ID:FAOaRikOM
ことaiに関してはできてないんじゃね？
未だ統計的機械学習みたいなのやってる人もいるし
2022/09/12(月) 09:38:22.51ID:Duzrzq3B0
未だに統計の最小二乗法＋推定検定で頭が止まってるのが理系ですら大半
2022/09/12(月) 12:11:55.27ID:NzER+7v70
>>329
わざわざ外部ファイルにリダイレクトして待たなくても、subprocess.runの返り値からstdoutを参照するとよい
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況