【統計分析】機械学習・データマイニング32

2022/08/01(月) 01:56:45.77

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2022/12/16(金) 16:44:40.04

>>778
そんな手法ないぞw

2022/12/16(金) 16:57:43.22

統計だと最先端付近？の複雑なモデルはstanとかベイズのソフトでやってると思う。多分SASとかからも動かせる。あとは、数学上級民がRとかjuliaでスクラッチしてるのもチラホラ。

2022/12/16(金) 18:39:01.53

解決しました
要はプログラミングさえできる人はRとPythonでなんでも出来るって事ね

2022/12/16(金) 20:25:43.62

JMPユーザーはあんまりいないのかな？
機械学習するにはJMP Proじゃないといけないけど。

2022/12/17(土) 18:45:28.97

データの「型」がわかれば
どういう手法が使えるかという
一覧表が書籍として出ている
もっともいろいろな「仮定」があるので
何も考えずに使うと意味のない結果が出てくる

ちなみに大多数の世論調査とか
やり方が間違っている

2022/12/17(土) 19:57:04.10

>>785
正しい世論調査のやり方はどうするの？

2022/12/17(土) 20:09:27.68

正規分布に準ずる

って公理なんかおかしくない？
なにこれ

2022/12/17(土) 21:26:31.38

半島系帰化人というのは悪魔だ！
早く抹殺しないと日本がダメになる！

特に30代Pythonクソチョンは
すぐに抹殺すべし！

2022/12/17(土) 21:44:44.35

>>786
できない
嘘をつく人と、答えない人がいる以上
正確な測定はできない

2022/12/17(土) 22:00:03.78

>>789
できないとは意味が違うぞｗ
>ちなみに大多数の世論調査とかやり方が間違っている

2022/12/18(日) 17:15:04.48

>>789
そういうのを考慮して信頼区間なり何なりを出すのが統計だろｗ

2022/12/18(日) 17:25:04.14

世論調査なんて大抵は回答してくれた人の結果をまとめただけだからその時点でバイアスがかかっている
本当に厳密にやるなら回答しなかった人がもし回答していれば何と答えたか、因果推論の分野で言う反事実について検討しなければならない

2022/12/18(日) 17:32:07.59

まずはバイアスバリアンスのトレードオフを勉強しような

2022/12/18(日) 18:04:24.10

今の世論調査とか視聴率調査とかは
サンプル数が1000ぐらいだから
もし正確に測定できてしたとしても
誤差が大きい
例えば、視聴率30%とでたら
実際は25%から35%の確率が
95%というに過ぎない
視聴率が2%上がりました
とかは誤差に埋もれる範囲

2022/12/18(日) 18:23:55.41

傾向スコアベースで、アンケートに答えたか答えないかの介入予測の共変量だけで、アンケート内容を補正する式があって驚いた記憶。回帰分析的だと少しは答えなかった方が答えたデータも無いと厳しいと思うので。

2022/12/18(日) 20:13:12.49

こうやって結論が出ないまま先延ばしになって
議論も法律も倫理も糞くらえで
とにかくデータを集めりゃいいんだと
息巻いて集めまくってるところに負けるんだよね
いや、、負けたのか

2022/12/18(日) 21:09:44.99

30代Pythonクソチョン男は強姦魔の犯罪者！
30代Python男を雇うときには
両親と祖父母の戸籍謄本を提出させましょう！

2022/12/19(月) 11:31:24.12

世論調査とは何か？
https://www.jstage.jst.go.jp/article/mscom/94/0/94_43/_pdf

2022/12/19(月) 15:10:20.87

SASの存在価値って本格的に無いよね？
RとPythonに比べて全て劣ってない？
SPSSはGUIと利便性に存在価値あるけど

2022/12/19(月) 17:26:26.97

自分の考えが間違ってないのか知りたいのか？

2022/12/19(月) 19:43:06.25

>>800
そうだよ？
だから質問してるんだけど

2022/12/19(月) 20:37:24.19

スレ●

2022/12/20(火) 21:34:04.62

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2022/12/21(水) 18:11:01.89

ai倫理てゴミじゃね？

2022/12/21(水) 18:13:39.22

黒人がゴリラに認識されたりうまく顔認識されないからって別にアルゴリズムに差別が組み込まれてるわけじゃないし

2022/12/21(水) 21:30:21.19

それマイクロソフトのAIに言えるのか？

2022/12/24(土) 03:50:56.92

なんでこんなクソみたいなスレになってるの？

2022/12/24(土) 06:37:14.82

>>807
39.111.228.181が糞レスを繰り返してるから

2022/12/24(土) 11:40:50.96

こういう素晴らしい書き込みをしなさいｗ
103.163.220.73
36.14.133.245

2022/12/24(土) 12:27:35.03

>>805
教師データに差別を組み込んでおいたんだろな。

2022/12/24(土) 13:30:37.90

教師データ？

2022/12/24(土) 18:06:55.81

千葉県住みの39.111をNGにすれば良い訳？

2022/12/24(土) 21:28:07.55

技術評論社のステマを無効化する技術が必要。

2022/12/26(月) 22:20:10.33

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2022/12/27(火) 09:44:59.27

強化学習と教師付き学習の違いてなに？
用意されたサンプルがあるのが教師付き学習？
報酬関数を用意してあってサンプルがないのが強化学習？🤔

2022/12/27(火) 10:22:09.80

ggrks

2022/12/27(火) 17:21:49.29

千葉の彼か

2022/12/27(火) 22:11:37.42

千葉県民の彼
調べたら他のスレでも見かけるんだけどマジでやばい人なの

2022/12/28(水) 16:19:02.78

ktkr
https://www.youtube.com/watch?v=x8zoPY14P0k

2022/12/28(水) 17:15:51.87

そんなもの、一橋も作るってさ

2022/12/29(木) 18:55:57.55

バーチーの彼

2023/01/03(火) 07:53:17.40

株のロボアドバイザーてのを調べたら株じゃなくて投資信託を選んでるだけだった😅

2023/01/04(水) 01:08:15.86

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2023/01/04(水) 05:59:56.13

Tsetlin Machineて聞いたことなかった😅

2023/01/04(水) 17:10:53.58

カーネル法やってる奴おる？

2023/01/05(木) 08:20:34.99

kaggleで勝つためにtransformerではなくlstmを使ってるんだけど
データ量が多すぎていっぺんに学習できないから
データを分割して、分割データをモデルに順に学習させるという手法を取った
それで、気づいたことがあるんだけど
同じエポックの中でも、分割データを読み込むたびに、学習率を下げた方が学習がうまくいくのね
……どういうことだ？

2023/01/05(木) 14:45:45.59

kaggleって今もkeras使ってる人多いんか？
TensorFlow1.xの頃はkerasばっかりだった気がしたけど、、、
自分はTensorFlow2.xになった頃、Pytorchに移行して
しばらくしてPyTorch Lightning使うようになったが、、、
今、kaggleとかsignateって何使ってるんだろう

2023/01/05(木) 20:14:33.64

おる

2023/01/05(木) 23:46:12.37

pytorchの方がユーザー多いんだな。以降メリットを把握できてないけど

2023/01/12(木) 15:06:49.37

Arc 730M搭載モバイルのOSをUBUNTUにしたら
VRAM12GB搭載で性能まずまずのAIを扱えるのか

でも1店舗しか売ってないみたいだなｗ

2023/01/13(金) 10:27:41.54

強いaiて哲学者が言い出したことなの？汎用人工知能じゃ駄目なの？

2023/01/13(金) 15:41:46.18

言葉としては汎用人工知能の方が新しいかなあ

2023/01/13(金) 16:44:45.04

強いAIとターミネーターのことである

2023/01/13(金) 17:44:24.97

分かり難いものにはラベリングが大事
逆に言うとラベリングのおかげで知ったかが増える

2023/01/14(土) 08:10:05.25

ラベリングの階層化って面白い

2023/01/14(土) 10:38:30.00

如何に早く分かり易いラベルを貼り付け周知させるかはビジネスにおいて重要

2023/01/15(日) 11:39:03.79

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2023/01/15(日) 14:25:38.15

>>829
ユーザーが多いってだけでも十分メリットだと思う

2023/01/18(水) 14:31:59.75

ろばーた？ろべるた？

2023/01/18(水) 22:00:09.84

入力
「AlphaTensor」とはなんですか？

GPT3.5　出力
＞2022年10月、Google傘下のDeepMindは行列の積を効率的に計算するための未発見のアルゴリズムを導き出す「AlphaTensor」を開発しました。
強化学習を使用し、行列の積を計算する最適な方法を求めること自体をゲームとみなし、AlphaTensorに訓練させた。その結果、「4×5の行列」と「5×5の行列」の積を求める際に、
通常の計算方法で100回の乗算が必要なところを、76回に減らすことができたようです。
AlphaTensorは行列計算だけでなく、高速逆平方根計算アルゴリズムやダイクストラ法、ハフマン符号、カラツバ法等の古くからある計算アルゴリズムを大きく改善できる可能性があるようです。
HTTP通信プロトコルのパケット処理など、ネットワークの通信そのものも高速化できる可能性もあります。

入力
プログラミング言語「Triton」ってなんやねん

GPT3.5　出力
＞Tritonは、Pythonをベースとしたニューラルネットワーク向けプログラミング言語パッケージです。2021年にopenAIが発表しました。
NVIDIAのCUDAを用いる場合、GPU用のネイティブカーネルや関数を作成する過程で、マルチコアGPUのメモリ階層全体で割り当てデータと命令を移動しなければならず、プログラミングが非常に複雑になります。
しかしTritonは、CUDAのように3つのコンポーネントを考慮したGPU専用のコーディングを簡略化できます。
「ベクトル加算カーネル」と「融合ソフトマックス演算」を高速に実行できるコードを書くことができます。最短25行のコードで、FP16行列乗算カーネルを作成できます。
研究者はPythonでコードを作成し、JITコンパイルしてGPU上で動かすことができます。対応しているハードは、GPUとTPUです。

◆xETmWn3d3U (ﾜｯﾁｮｲ 63b1-sRsu [180.196.201.143]) · 2023/01/20(金) 02:34:36.07

>>840
＞「4×5の行列」と「5×5の行列」の積を求める際に、通常の計算方法で100回の乗算が必要なところを、76回

大学1～2年の線形代数の授業で習う通常の方法では、5*5*5*4回だね。
調べてみたら、既にStrassen’s algorithmという手法が有るらしく、その方法でって事かな？
でも、Strassen’s algorithmには、
Strassen’s algorithm has some numerical stability issues when used with floating-point...
だそうで、注意が必要だとか。Alpha Tensorのアルゴリズムでは、数値的安定性はどうなんだろう？
以前の職場で、誰か（多分派遣）がFEMの自動メッシュを信用してその結果を元に設計され、
CAEの計算方法が数値的安定性を欠いてたみたいで、
かなり下流の工程でプロパーのベテランが数値を見ておかしい事に気付いて設計段階からやり直しとなり、
「コンピュータの出力結果を信用するな！」という回覧が回ってきた事が有った。某大手自動車メーカーでの話。
https://fgiesen.wordpress.com/2022/10/06/on-alphatensors-new-matrix-multiplication-algorithms/

2023/01/20(金) 09:50:59.44

この式で計算で結果合ってるの？
近似？🤔

2023/01/20(金) 11:57:32.35

入力
ブロック崩しを実行できる簡単なプログラムをPython3で書いてくれ！
ゲームに必要な画像はCドライブに用意してあるから。

GPT3.5 出力
お任せください！ブロック崩しを実行できるコードがこちらです！

入力
おう。でもこれ、球が動かないぞ？
https://i.imgur.com/NaZzsAW.png

GPT3.5 出力
申し訳ありません.... 修正したコードを用意したいのですが、
どこが間違っているのか不明です。

2023/01/21(土) 06:32:34.44

スレチ

2023/01/22(日) 13:53:24.59

AIのVtuber「Neuro-sama」のマイクラ実況がびっくりするほど面白くて海外で流行る
https://togetter.com/li/2038624?page=2#index35

＞マイクラ配信は最初動き方を知らずにプルプルしてたけど、
30分経てば移動やブロックの設置＆破壊を学習。7時間もすれば鉄を作れるようになる超進化っぷりに
https://twitter.com/eight_2_leaves/status/1611068839416188929/video/1
https://twitter.com/5chan_nel (5ch newer account)

2023/01/22(日) 15:23:34.43

強化学習？

2023/01/23(月) 11:47:31.03

ゲームの部分は強化学習？と探索アルゴリズムのようだが
配信の会話の部分は、自然言語処理のようだ

ゲーム内容と会話内容は連携していない

2023/01/23(月) 13:44:16.22

aiがマイクラやってるのを実況してんのか😅

2023/01/23(月) 18:55:54.17

実況しているというより、配信のスパチャとか書き込みに応答している

2023/01/24(火) 01:39:25.58

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2023/01/25(水) 10:54:16.16

aiはブラックボックス言うけどさ
しつこく数字を追って試行錯誤したら多少はこのパラメータがこの現象に対応してるんだなくらいは分かるでしょ？なんでやんないの？😅

2023/01/25(水) 14:34:42.93

>>851
やってるぞ

2023/01/25(水) 23:26:26.36

そういう分野があるぐらいだが
分類木くらいでも複雑になると
わけわからなくなる

2023/01/26(木) 12:23:38.91

プログラム自体はVBA書く程度だけど馴染みはあるし
機械学習やってみたいから小規模なのを作ってみるかと思い立ったが
高校中退だからか誤差逆伝播法の逆伝播の部分をどうプログラムとして書けばいいのか分からなくて泣いてしまった

入力の配列(a)、重みの配列(b,a)、誤差の配列(b)は用意できたけど
それを使って更新された重みの配列(?,?)を作る方法がわけ分からん
数式しかないしシグマが何表してるのかもわからないし∂Xとか∂Yなんかどれに当てはめればいいのかさっぱりだ

2023/01/26(木) 12:32:43.32

理論的にはそういうので正しいしプログラムで記述もできるんだけど普通はPytorchみたいな機械学習用のライブラリ的なものを使って内部でやってもらうね
モデルの作成とか読み込みみたいなところもライブラリ側でやってくれる
基本的にプログラムで書く必要があるのはデータの前処理とか必要があればどういうアルゴリズムにするかとかやるけどその話ではなさそうだよね

2023/01/26(木) 12:48:21.29

>>854
手計算してみな
全部テンソルで

2023/01/26(木) 12:57:46.97

>>856
微分とか偏微分とか出てきたんだが
そこの説明でdz/dxとかが出てきたときに
x,z,dx,dz,dz/dxが
それぞれ入力とか誤差とかのどこにあたるかが全くイメージつかないから
プログラムとして書けないどころか手計算で作ってみることもできないんだ…

2023/01/26(木) 13:53:32.03

dz/dxは単なる記法だから一つのテンソルだよ
どこにあたるか？は数式で考えればわかる
まず数式で書いてみな？
例えばXを入力、Wを重み、Yを出力とする(次元は適当に)
Y=XWの逆伝播を考えるの
求めるものは２つ
dL/dXとdL/dWだ
Lは損失関数ね
dL/dXはチェーンルールの規則で逆伝播する時に必要だから求める必要がある
このdL/dXはテンソルだからまず成分ごとの偏微分をチェーンルールを使って書き下す
(数式の具体例を考えて手で書くと良い)
そうやって全体のテンソルの偏微分dL/dXを求める
dL/dWも同様
俺はこの地道な手順をやって理解した
あと本で良くあるニューラルネットワークの変な図で考えると理解できんよ
あれは全部忘れろ
数式で考えろ
あとゼロから作るディープラーニングはこの辺りの計算部分が全部省略されてるから注意

2023/01/26(木) 13:57:49.88

これでもイメージがわかないならそもそも偏微分とは？チェーンルールとは？が理解できてないから
微分を根本から勉強した方が良い
1番厄介な積分はディープラーニングではいらないからそこまで時間はかからんよ

2023/01/26(木) 16:57:14.77

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2023/01/26(木) 17:46:16.69

微積分もよくわかっていない奴にテンソルを押しのボケ爺

2023/01/26(木) 19:12:56.54

>>854
tutorials.chainer.org/ja/04_Basics_of_Differential.html
tutorials.chainer.org/ja/13_Basics_of_Neural_Networks.html

手計算だな、、、これ昔ネットで見ていた資料

これも
「いくつかのデータをまとめて入力し、それぞれの勾配を計算したあと、その勾配の平均値を用いてパラメータの更新を行う」
って書いてあるのに
3.Nb個の目的関数の値の平均をとる
4.この平均の値に対する各パラメータの勾配を求める
5.求めた勾配を使ってパラメータを更新する

とか訳のわからんこと書いてあったりするけど、、、、

2023/01/27(金) 06:04:59.51

素直に読めば
テンソルごとの勾配を出して
その平均値をを出して
各パラメータの平均の勾配を求めて
パラメータの勾配値とするとしか読めないが
あっているか問うか知らんが

2023/01/27(金) 09:45:20.64

機械学習／ディープラーニングの「数学」が学べるオススメ本
https://atmarkit.itmedia.co.jp/ait/articles/2103/18/news023.html

2023/01/27(金) 09:47:16.44

>>864
ゴミみたいな本ばかり。

2023/01/27(金) 10:47:46.93

>>865
お前には勧めていないよ

**デフォルトの名無しさん** · 2023/01/27(金) 11:20:39.95

>>865
すごい。優秀なんですね。

**デフォルトの名無しさん** · 2023/01/27(金) 11:20:47.27

>>865
すごい。優秀なんですね。

2023/01/27(金) 11:26:19.18

>>867-868
いや優秀じゃないです。実際に役立つものを実装できません。

**デフォルトの名無しさん** · 2023/01/27(金) 11:58:01.51

>>869
おすすめはなんですか

2023/01/27(金) 13:44:15.64

>>863
言ってることが違うよねって話だけどね

いくつかのデータをまとめて入力し、それぞれの勾配を計算したあと、その勾配の平均値を用いてパラメータの更新を行う方法がよく行われます。
これをミニバッチ学習と呼びます。

ミニバッチ学習では、以下の手順で訓練を行います。
1.訓練データセットから一様ランダムに Nb (>0)個のデータを抽出する
2.その Nb個のデータをまとめてニューラルネットワークに入力し、それぞれのデータに対する目的関数の値を計算する
3.Nb個の目的関数の値の平均をとる
4.この平均の値に対する各パラメータの勾配を求める
5.求めた勾配を使ってパラメータを更新する

これ、そこのホームページが元なのか知らないがパラメータの更新方法について下の手順で書かれている本やサイトを何回か見たことあるけど
手計算で目的関数の値から勾配を算出しているのを見たことがない

2023/01/29(日) 11:45:59.52

30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！

2023/01/30(月) 21:09:58.71

>>864
実際に箸にも棒にも引っかからない本ばかりで出版社がかわいそうになった
エンジニアは書籍を出すと泊が付くから本を出したがるけど
著者のレベルはピンキリ
特にAI関連なんて、いまさら情報がありふれてるから
質を問わなければ誰でも入門書の執筆ぐらいできるんだよ
これを真面目に売らなければいけない人、まじできつそう

2023/01/30(月) 21:57:56.76

>>873
お前をターゲットに出版社がしてるわけでもないだろ

2023/01/31(火) 08:38:48.44

>>874
？
論点そこじゃないよ
「基礎的な内容を謳うAIの入門書が粗製乱造されてる」ことを書いてるのであって「>>873の好みに合わない本が出版されてる」とはいってないよ

2023/01/31(火) 11:06:04.77

>>875
書店はある程度売れる見通しがあるから出版してるんだろう。論点がずれてるのはお前。

2023/01/31(火) 11:07:25.51

>>875
言い換えるとお前が素晴らしい本を上げればいい話

2023/01/31(火) 11:17:33.11

微分積分は杉浦で十分。

2023/01/31(火) 13:29:13.83

入門書じゃないと売上少ないから仕方ないのさ
はっきり言って日本語の本はろくなの無いし、書籍になるのはだいぶ遅いから
ある程度学んだら最新の論文で情報追うのが賢い

2023/01/31(火) 16:33:32.66

杉浦とか普通にわかりにくいから無駄
今ならいくらでもわかりやすい本がある