【統計分析】機械学習・データマイニング32

■ このスレッドは過去ログ倉庫に格納されています
2022/08/01(月) 01:56:45.77ID:0yKqFwG20
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に1つずつ減るので、減ってたら3回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
  人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/09/22(木) 16:30:31.81ID:65MiwuT/M
特に目的もないならgpu買っとけ
2022/09/22(木) 16:54:52.60ID:4LIl2IjC0
>>456
横だけど、学習係数じゃね、知らんけど
2022/09/22(木) 19:51:07.23ID:ZY7xcLTcH
グラボ適当に買うと電源が不安定になったりするんだよなあ
換装より一から新規マシン自作したほうがよさそう
2022/09/22(木) 21:01:04.33ID:HMatzey1a
>>454
その程度の知識ならやめとけ金ドブだ
Google ColabかOCIのGPUインスタンスを使え
2022/09/22(木) 21:45:23.36ID:4LIl2IjC0
横だけどGoogle Colabって便利ね、自力でやるのと境目はどの辺?
2022/09/22(木) 22:25:32.05ID:4wnJtfED0
>>464
作りたいモデルが許容できる学習時間を超える時では。
2022/09/22(木) 23:17:14.96ID:4LIl2IjC0
>>465
ありがとん
467デフォルトの名無しさん (ワッチョイ 23ea-ZAtA [61.211.15.194])
垢版 |
2022/09/23(金) 00:30:32.10ID:lkoBiemi0
>>454
GPU演算を行う場合にはCPUはほとんど利用しない。
したがってGPUを使った機械学習処理をする分にはそのどちらのCPUでも結果は大した差はでない。
ただし、データの前処理を行う場合にはCPU演算を行う場合が多いのでCPUはスレッド数が多い方が有利。
(前処理はマルチスレッド対応のプログラムを書けるとことが大前提で)
また、同様の理由で大量のデータ処理を行う際は主メモリも多いほど有利となる。
追加するとtensorflowはv2からAVXが必要要件となったので、あまり古いCPUだと動かない。
次に、GPUの選択に関してはそのどちらのGPUもメモリ容量が小さすぎるため最近のラージモデルの機械学習には適さない。
最近のラージモデルの機械学習にはGPUの搭載メモリは最低12GBは必要。できれば16GBはほしい。
つまりGPUは3080 12GBか2060 12GBが選択可能な最低要件の選択肢となる。
ちなみに最近流行りのStable Difusionとかの場合、機械学習の処理には、250TB分のイメージデータ
をA100 40枚の構成で行ったと作者は言っている。作者は機械学習の処理だけで
最終的に全額を個人でクラウド業者に60万ドルを支払ったと言っている。
468デフォルトの名無しさん (ワッチョイ e597-MPMO [182.171.246.142])
垢版 |
2022/09/23(金) 03:50:53.34ID:uVbpzvWc0
>>451
リー群の性質を持ったリーマン多様体とさとか最近のSFの映像によく使われている印象だし、数学得意なTAはリー群ぐらい勉強してると思うよ。
回転をなんとかうまく制御できないかと考えるとぶち当たる壁だから。
2022/09/23(金) 04:02:49.98ID:7DCFOUCb0
>>467
PCだと辛いですねえ
デスクトップ用でRTX2060の12GB版、RTX3060、RTX3080の12GB版、RTX3080ti、3090、3090ti
ノートPCなら3080の16GBか3080ti
こんなのじゃないと無理と

後はA2000とか
470デフォルトの名無しさん (ワッチョイ 032d-Uoem [133.218.31.229])
垢版 |
2022/09/23(金) 05:25:32.57ID:yqDdArWj0
i7 4770
GPU ロープロファイルの安いやつ
メモリ 16GB
の構成で50MBのcsvファイルのデータセットを整えてる
30万件程度の行の
配列の3行をまとめて平均値を出してstringに入れる
これを配列の最後までループ処理
それだけの作業なのに10時間以上経ってもまだ終わらない
471デフォルトの名無しさん (ワッチョイ 032d-Uoem [133.218.31.229])
垢版 |
2022/09/23(金) 05:28:29.59ID:yqDdArWj0
データ前処理の段階ならCPUの処理速度が
物を言うが、CPUリソースの100%は使ってはいないので
並行処理にすると何倍か速くなる
ただ並列処理を多くしすぎると逆に遅くなる閾値が存在する
メインで使ってるPCだからCPU使用率上がりすぎるのも困るんで
単一スレッドで処理したがこんなに時間かかるとは思わなかった
2022/09/23(金) 05:49:54.87ID:KsyTE0el0
>>470
無能すぎ
473デフォルトの名無しさん (ワッチョイ 9bfd-iH76 [143.189.70.151])
垢版 |
2022/09/23(金) 06:39:26.65ID:SnLCz7wu0
コード見直した方がよい
2022/09/23(金) 07:45:56.10ID:7DCFOUCb0
core i7としたら
tensorflow2が動くのは4000番台からか6000番台からか8000番台からかどれでしょう
2022/09/23(金) 08:20:05.91ID:bgODhBF/0
>>470
ループ遅いから使わないほうが良いよ
https://naotaka1128.hatenadiary.jp/entry/2021/12/07/083000#iterrows-%E3%81%AF%E7%B5%B6%E5%AF%BE%E3%81%AB%E4%BD%BF%E3%82%8F%E3%81%AA%E3%81%84-apply%E3%82%82
476デフォルトの名無しさん (ワッチョイ adb1-W3aP [144.91.173.180])
垢版 |
2022/09/23(金) 13:57:39.94ID:RN31Z5IO0
https://www.youtube.com/watch?v=MulTGYX5JS0
こちらの動画を見ながら、プログラムを組んでいるのですが、
「df.head()」の部分で「name 'df' is not defined」というエラーが出てしまいます。
動画を観ても、dfという変数が宣言されている部分が見つかりません。
どうすればこのエラーを消せますか?
2022/09/23(金) 15:49:29.94ID:WCQoOEDSH
df.head()を削除する
2022/09/23(金) 16:25:34.74ID:Ez8MTe1S0
58分の動画長すぎクソワロタ
2022/09/23(金) 16:57:29.13ID:qIlo+HeL0
動画見た人だけ答えてくださいw
2022/09/23(金) 17:20:35.74ID:KsyTE0el0
知らんがな(´・ω・`)
2022/09/23(金) 17:52:15.80ID:jaZTl6iw0
dfを宣言すればいいんじゃなぁい?
2022/09/23(金) 18:00:44.04ID:8uUUrbVCH
動画の視聴数増やしたいだけだろ
483デフォルトの名無しさん (ワッチョイ 1b2d-RYbe [39.110.153.109])
垢版 |
2022/09/23(金) 18:03:29.27ID:80EMlPRL0
>>476
あなたの質問に答えるために、わざわざ動画視聴して考えてくれる奇特な人は相当珍しいと思うよ
2022/09/23(金) 18:18:25.30ID:QyFSmn0+0
未宣言なのが問題だと分かっているのなら宣言すればいいだけでは?
2022/09/23(金) 18:18:38.48ID:1/keQhmyH
58秒ぐらいなら見てやってもいいけどね
2022/09/23(金) 18:26:32.93ID:tlzM5AwBd
>>479
動画を見れというより、あなたのソースを貼ったほうが早いと思う
2022/09/23(金) 18:48:40.06ID:+x4IH9JGH
動画と同じつもりでも、自分が一行抜かしてたとかあるからな
たしかに貼るのが早い
どうせパクリコードだから貼っても問題ないし
2022/09/23(金) 20:49:00.02ID:qIlo+HeL0
>>486
カゴメかブルドック
2022/09/23(金) 20:57:18.94ID:KsyTE0el0
微妙な気持ちになった
教えてあげたい自分と、何フザケてんのと憤る自分とで
2022/09/23(金) 21:23:57.84ID:jaZTl6iw0
せめて動画の何分のところか書いてくだされ
2022/09/23(金) 22:09:47.96ID:qIlo+HeL0
俺は横だよ、誤解するなw
492デフォルトの名無しさん (ワッチョイ b701-JEMU [60.87.151.68])
垢版 |
2022/09/24(土) 00:55:02.22ID:75jIGLYK0
じゃあ俺は縦でお願いします。
2022/09/24(土) 10:16:08.57ID:YWdAX5tG0
右45°のおっさんです
494デフォルトの名無しさん (ワッチョイ 22ea-wKV2 [61.211.15.194])
垢版 |
2022/09/24(土) 19:16:20.30ID:uRZofg9X0
import pandas as pd
df = pd.DataFrame(配列)
じゃないかな常識的に考えて、動画はちゃんと見てないから何のデータを入れてるかはわからんが、
495デフォルトの名無しさん (ワッチョイ 522d-7bxS [133.218.31.229])
垢版 |
2022/09/24(土) 20:14:58.68ID:GigPupeO0
sklearnのfit()
って繰り返したらその学習は蓄積されて
predictの結果が変わっていきますか?
2022/09/24(土) 20:35:34.98ID:yyoT2fLlH
かわりますよ
2022/09/24(土) 21:01:02.65ID:BWXRAZGr0
ニューラルネットワークて統計か?
2022/09/24(土) 21:40:28.03ID:8bQ7QIvt0
>>497
基礎原理は統計手法ですね。
2022/09/25(日) 17:27:11.85ID:VRcy0hZx0
次はアバターだw
2022/09/26(月) 04:24:23.67ID:wGUnQ0kG0
シンギュラリティこねえじゃん
2022/09/26(月) 07:00:34.77ID:t3EaRO5m0
知ってる。こないよ。

強化学習はただの関数って認識してない、ちょっと頭がおかしい人たちが言った話だから。
2022/09/26(月) 07:04:04.97ID:t3EaRO5m0
強化学習でなくて機械学習ね。
2022/09/26(月) 07:15:05.82ID:t3EaRO5m0
>>498
基本原理はいろいろなところから拝借されてる。微分幾何であったり関数解析であったり。
2022/09/26(月) 07:33:22.12ID:aZtaokJP0
機械学習に数学はいらないよ
2022/09/26(月) 07:47:34.29ID:3GnUmP5EF
既存の機械学習ライブラリにデータ突っ込むだけの単なる作業員に数学が不要なのは確かだと思う
506デフォルトの名無しさん (ワッチョイ c610-d9EM [153.243.53.4])
垢版 |
2022/09/26(月) 09:06:59.63ID:zH0yfUYQ0
人間の知能を超える、の定義が曖昧
囲碁AIとか既にシンギュラリティとは言えないのか?
2022/09/26(月) 09:28:55.90ID:AhNhQZPdd
戦前の軍艦の射撃用方位盤の時点で、射撃用計算の分野では人間を超えてるね
2022/09/26(月) 09:32:04.27ID:Fw2A2NLyM
何度目だこの話😅
2022/09/26(月) 21:11:42.26ID:2fOr0/QY0
円周率の計算でも人間を超えてる
2022/09/26(月) 21:51:47.85ID:rpUl6zNm0
人間を超えている・いない、なんて大して重要な観点ではない
餌も給料も無しで文句言わず24時間働くんだから人間以下の能力でも十分使い物になる
511デフォルトの名無しさん (ワッチョイ a2ad-8V4y [125.12.157.234])
垢版 |
2022/09/27(火) 03:49:36.65ID:SAg+35TX0
>>506
人間のように学習結果を応用できる強いAIでないと、シンギュラリティは起こらない
囲碁AIは何も発明はできないよ
512デフォルトの名無しさん (オイコラミネオ MM47-ypze [150.66.125.144 [上級国民]])
垢版 |
2022/09/27(火) 16:13:46.42ID:pnLxRvXFM
>498
??
2022/09/27(火) 16:48:01.71ID:uVq0FR1O0
シンギュラリティ
シンギュラリティ(Singularity;技術的特異点)とは、アメリカの発明家で人工知能研究の世界的権威であるレイ・カーツワイル博士らが示した未来予測の概念で、一つの仮説として想定され得る、人工知能(以下AI)が人間の能力を超える時点 や、それにより人間の生活に大きな変化が起こるという概念のことを指しています。
もう少し詳しく説明すると、テクノロジーの加速度的な進化の結果、いずれコンピュータは人間の知能を超える「超知能」を獲得するようになります。そして、人間にはその「超知能」がどのように振る舞うか予測も制御もできず、その甚大な影響によって社会や人々の生活に決定的な変化が起こると考えられているのです。

人間を越えるの定義がない
2022/09/27(火) 17:57:25.56ID:mxByOcP10
来るきっと来る
515デフォルトの名無しさん (ワッチョイ 22ea-wKV2 [61.211.15.194])
垢版 |
2022/09/27(火) 18:40:06.13ID:wQSZ5aGf0
カーツワイルは有名人だが人工知能研究の世界的権威ではないよ
h-indexで見るとルカンが100。
スタンフォード教授で元Google AIの最高責任者のフェイフェイリーでも100。
日本人だと松尾の50が最高くらい。
つまり、h-index100くらいが世界の最高権威となる。
一方、カーツワイルはそもそも研究発表はほとんどないのでh-indexは20くらいしかない。
カーツワイルはどちらかというとビルゲーツやジョブズみたいな企業人だな
シンギュラリティは専門の研究者がいいだした用途ではなく、
業界の有名人が言い出したマスコミの流行語的な側面が強く、それゆえに反論や論争の的となっている。
516デフォルトの名無しさん (ワッチョイ 0797-5djn [182.171.246.142])
垢版 |
2022/09/27(火) 19:06:39.39ID:zjZtbJ3M0
シンギュラリティを語った文脈では企業人というより思想家の類じゃないか

2001年宇宙の旅で有名なアーサー・C・クラークが衛星通信や軌道エレベーターの実現を確信して作品として発表したのと似たようなものではないかな
517デフォルトの名無しさん (ワッチョイ b701-JEMU [60.87.158.70])
垢版 |
2022/09/27(火) 19:16:04.97ID:rbvXlCo30
世界的権威は俺だからね。
2022/09/27(火) 21:35:05.68ID:fQdnHNx50
2022/09/27(火) 21:48:24.55ID:/znjlrSa0
>>511
というか、知らないことは知らない、といえる AI はありませんか?
自分が習ってないことは「わかりません」といえる AI は?
520デフォルトの名無しさん (ワッチョイ c610-DrlT [153.243.53.4])
垢版 |
2022/09/27(火) 22:29:08.33ID:+joc5Asc0
知らないことは知らない、と言えない人間も多いよね
2022/09/27(火) 22:43:55.00ID:6x+L03Z70
>>519
Siriだっけ
すぐわからないとか言うのは
2022/09/27(火) 23:03:47.61ID:HVnveqWj0
523デフォルトの名無しさん (ワッチョイ a2ad-8V4y [125.12.157.234])
垢版 |
2022/09/28(水) 20:28:11.75ID:bo06p3I70
>>513
人間と同等の創造力や応用力があるコンピュータ、というのが定義だよ
その能力があり、ハードウェアを増やして人間より速く稼働させれば、あとは自動で加速度的に革新が進む

問題は、そんな能力を持つコンピュータの設計方法を誰も思いついていないこと
2022/09/28(水) 21:10:54.07ID:BOMDu6HO0
>>523
この定義は?
>人間と同等の創造力や応用力があるコンピュータ
525デフォルトの名無しさん (ワッチョイ 22ea-wKV2 [61.211.15.194])
垢版 |
2022/09/29(木) 00:32:33.10ID:HWwIwn+Q0
現在のAIが知能と呼べるものかということについては1年程前にマイケルジョーダンが
発言を行ってAI業界で話題を集めた。
ジョーダンの指摘の内容は現在のAIは極めて限定的な認知力の範囲で有効なものであり
創造性という観点では知性は皆無というものとなる。
つまり、彼の見方ではAIは既知の学習の範囲内において画像認識とか限定的な領域で
人間よりも早く処理をこなせるというだけの存在であり、本質的な意味での知性=創造性
は皆無に近いことになる。
この発言が注目を集めたのはジョーダンは教師なし学習の分野ではAIのトップ研究者であり、
被引用数では深層学習の父とも言えるルカンを超えるAI学界の頂点にいる研究者となる。
ただ、おそらくあえて言わないだけでルカンやヒントンも同じ見解じゃないかと思う。
もっとも/r/machinelearningとかでのディスカッションだと今更、深層学習を全否定され
てもな、という否定的な意見も多かった。
2022/09/29(木) 01:44:50.94ID:gP6ILi1b0
2022/09/29(木) 02:09:34.44ID:A75TDx2R0
シンプルに自我を持てる/持てないでええねん
2022/09/29(木) 02:50:51.47ID:gP6ILi1b0
>>525とりあえず皆に伝わる共用の言葉で語ってください。

特に数学は世界でただ一つの共通語です。
2022/09/29(木) 02:54:23.08ID:gP6ILi1b0
えらいひとがいったからといってただしいわけではない
2022/09/29(木) 03:49:43.07ID:6tct/z4w0
>>525
ネタを書くならもっと面白いのをお願いします
2022/09/29(木) 07:37:20.92ID:9dbYk4AE0
冗談なんだろw
2022/09/29(木) 08:20:41.90ID:eCXZCLoXr
マイケル・ジョーダンというAI研究者がいるのかね
2022/09/29(木) 14:14:52.77ID:tnpyjDHqr
66歳か
年齢高め

人間の意識とAIの意識のようなものを区別しようとしたら
結局は身体性とかになって
じゃあ各種センサーとモーターでシリアル通信の入出力させてこれも参照したら
何が違うんだって事になる

文脈がどうのと言うならニューラルネットを恒久性の強いものに置き換えるか?
534デフォルトの名無しさん (アウアウウー Sa9b-8V4y [106.128.75.11])
垢版 |
2022/09/29(木) 17:52:06.81ID:3+iRfHh/a
>>527
シンギュラリティを起こすためには自我は必要ないよ
今までないものを創り出せる能力さえあればいい

そのためには自我が必要、と解明されれば必要になるけど
535デフォルトの名無しさん (ワッチョイ 8e71-mIyF [39.111.143.175])
垢版 |
2022/09/29(木) 18:01:07.78ID:8NNAIGLO0
BIツールとかエクセルとか書いてあるレベルの求人に落とされる・・・・
536デフォルトの名無しさん (ワッチョイ 0797-5djn [182.171.246.142])
垢版 |
2022/09/29(木) 22:25:45.97ID:2clVMJp50
人間だって自我があるかなんてわからないだろ
哲学的ゾンビみたいな思考実験もあるし
2022/09/30(金) 00:51:34.87ID:qun5+YRs0
状況を入力して
有効な解、アクションを取れれば
シンギュラリティをクリアでは?
自我とか身体性とか関係あるのか?
2022/09/30(金) 12:22:48.82ID:oE0BSGJzr
intelのArcがまもなく出るが
pythonで使えるライブラリも無い状況か
cudaそのまま使えるなんてあり得んだろうし

AMDもROCmというのを出しているが利用者少なくて厳しい

ところで2年ほど前に「chainerはRTX2000番台以降のGPUを使えない。
逆にPyTorchは2000番台からしか動かない」と見かけたが
chainerを2000番台で動かした例はあるみたいだし(さすがに3000は開発終了後か)、
PyTorchもドライバのバージョンを守れば動くという話だなあ
2022/09/30(金) 12:47:57.27ID:/HVdopIpM
tensorflowだと調子いいんじゃなかった?
2022/09/30(金) 13:38:32.26ID:oE0BSGJzr
しっかりと構造考えながらプログラムするならPyTorchだからなあ

そうこうするうちにRTX4000番台が出てしまう
541デフォルトの名無しさん (ワッチョイ ef09-6w4i [111.217.222.86])
垢版 |
2022/10/03(月) 07:58:19.34ID:3OKdXKbm0
Pytorchはネットワークの出力サイズをみまちま確認しながら書けるのが好き
542デフォルトの名無しさん (ワッチョイ ef71-0qRf [39.111.143.175])
垢版 |
2022/10/03(月) 18:39:22.03ID:lndyBnH50
統計、機械学習と書いてある求人でも環境がととのってなくて、
SQL,データ加工のハードスキルが必要と、あとBIw。データ加工ノックやったくらいと言ったけど反応は微妙だった・・・
2022/10/03(月) 19:48:28.91ID:K49WPwaj0
blwてなに?
2022/10/03(月) 21:36:24.42ID:Ot3gEL5c0
ビジネスインテリジェンス
2022/10/03(月) 22:19:34.39ID:SDpE8rM+a
ryzenのノート買おうと思うんだけどAPUでもgputensor使えますか?
ググるとrocmとかいうのを使える?
2022/10/03(月) 22:27:37.59ID:SDpE8rM+a
ryzen7 6800uです
547デフォルトの名無しさん (ワッチョイ ef71-0qRf [39.111.143.175])
垢版 |
2022/10/04(火) 02:40:17.18ID:7+jzy9KN0
>>543
読みにくすぎすまんwBIツール。
データ解析を使うのは統計学を学んだ人だけではないのでごくごく自然な流れなんでしょうね。
2022/10/04(火) 14:27:31.32ID:NyT7w/pB0
lstmてrnnなの?
549デフォルトの名無しさん (ワッチョイ cf10-1pq4 [153.243.53.4])
垢版 |
2022/10/04(火) 19:19:29.40ID:vB1FZx7X0
yes
550デフォルトの名無しさん (ワッチョイ ff2d-mFhn [133.218.31.229])
垢版 |
2022/10/04(火) 23:50:41.26ID:dBFQWhOf0
グリッドサーチ使って最適化しようとしたら
なんだか知らんがfitの所でエラーが出る
第一引数の特徴量の次元構造は2次元配列を渡しているのだが
それが駄目らしい(もちろんKNeighborsたrandamforestやMLPC単独でfitさせると
問題は生じない)
グリッドサーチ エラー等でググっても分からなかったから
グリッドサーチ的な物をスクラッチしようとしたら配列*配列*配列・・な総当りのプログラム書くのも
結構大変だ
なんだかんだ2日掛かった
2022/10/06(木) 11:13:15.37ID:KfTleoYi0
これからは量子コンピュータだぜw
2022/10/06(木) 12:59:00.16ID:V4vaPl9+d
ないない。。
日本政府が騙されて量子アニーリングに投資する限りは発展しない。
2022/10/06(木) 13:03:15.02ID:KfTleoYi0
ネタ、量子コンピュータは既に作られている、量産化されかどうかは知らんけどw
2022/10/06(木) 13:05:31.27ID:KfTleoYi0
よりよい未来のために今、量子へのアクセスを拡大
https://cloud.google.com/blog/ja/products/compute/ionq-quantum-computer-available-through-google-cloud
2022/10/06(木) 13:12:37.60ID:KfTleoYi0
D-WAVE
https://dwavejapan.com/system/
2022/10/06(木) 13:41:15.83ID:aol1S20z0
[0,[1,[2,[3,[4,[5]]]]]みたいな形をしたデータがあるのですが、もっと賢いデータ形式はありませんか?
データ出力しても見ててわかりにくいです
2022/10/06(木) 14:08:34.42ID:V4vaPl9+d
だから量子アニーリングはまがい物っていうてるやん。政府は騙されて投資してしまったけど、ゲートウェイ方式に転換しない限りは発展しないだろうね。
2022/10/06(木) 14:46:27.85ID:+TF3xkSVa
ハイパラチューって現場だとどうやってるんですか?
全数探索、ランダム、ベイジアン最適化?
optuna使うだけ?
559デフォルトの名無しさん (ワッチョイ efe2-0qRf [39.111.143.242])
垢版 |
2022/10/06(木) 14:59:07.63ID:6NJyji2N0
googleとかは自腹でやってるのに、NECだか日立だかポンコツ共は量子補助金のおねだり、トンネル効果で量子コンピュータと何の関係もないゴミの餌に
2022/10/06(木) 15:50:44.09ID:KfTleoYi0
ロナルド@デルフト大学VS西森@東工大
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況