【統計分析】機械学習・データマイニング33

2023/03/17(金) 01:30:49.78

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2023/05/20(土) 15:43:56.07

働き方変わったからなあ

2023/05/20(土) 22:37:48.48

>>163
人間力とはなんですか？
定義を提示してください

2023/05/20(土) 22:38:39.06

失礼。アンカーズレ
>>164
人間力とはなんですか？
定義を提示してください

2023/05/20(土) 23:07:41.97

どれだけ人間ぽいことができるかの指標かな。
つまり三大欲求食欲性欲睡眠欲の強さ。

2023/05/20(土) 23:45:12.04

曖昧すぎる

2023/05/20(土) 23:48:44.28

個人的な造語はアウトですね。
誰からも理解は得られないと思われ

2023/05/21(日) 00:23:07.78

自分が思う「職場における人間力」を厳密に答えたら嫌われてスレが過疎る
受け手に自発性が無いようなコミュの取り方をすると直ぐ人はいなくなる
数学的証明や理論的な話はnoteに書いてリンク張ればいいのかな？

2023/05/22(月) 18:24:09.23

langchain，なんか使いにくくない？😅

2023/06/02(金) 10:22:47.43

おまえらPython使いこなせる？
まさかExcel？

2023/06/02(金) 13:49:55.52

馬鹿には無理

2023/06/02(金) 18:10:20.99

Python使えないやつが機械学習なんてやらんよ

2023/06/02(金) 18:53:13.13

chatgptにPythonプログラム作ってもらうから大丈夫

2023/06/06(火) 03:44:07.88

>>118
私はアルゴリズムの部分を読んだら出来るだけ自分で実装して、そのあとに本のソースコードの部分を確認してる。

2023/06/07(水) 03:29:24.28

>>176
Excelが苦手すぎてなんでもPythonでやってるんだけど、
流石に1000サンプルとかの基本統計量を出したり簡単な抽出をしたりするのに、
Pandasで読み込んでちょろっとjupyterでプログラム書いて見るのはバカバカしい気がしてきた。
何回も使う場合だったらいいんだけど、MTGしながら表データ貰ってちょっと平均と標準偏差見て偏差値で色つけて特殊な値について話すみたいなのは、Pandasだと手数が多いんだよなあ。
どうでもいいけどsklearnで用意されてることはExcelで出来たらいいのになとも思ってる。クラスタリングとかExcelでちょちょっと出来たらかなり便利だと思うんだけどね。

2023/06/07(水) 07:16:26.70

その作業でも明らかにPythonの方が早いけど？w

2023/06/07(水) 07:22:09.66

それしきの作業にわざわざjupyterとか言ってる時点でどんくさい初学者でしょ
数行のスクリプトとして書けるよね

2023/06/07(水) 08:05:00.18

PCモニター1画面に収まる程度のデータ量ならExcelで処理するのが一番速い

2023/06/07(水) 09:10:59.60

初心者でもそれなりにできるようになっちゃうからちょっとつまらん(´・ω・`)

2023/06/07(水) 09:51:46.11

Excelをguiフロントエンドにして、後ろでPython動かすと便利だぞ

2023/06/07(水) 09:58:19.54

んまあ、pythonはコード組まなくても順番にコマンドラインから使えるしなぁ

2023/06/07(水) 17:06:22.64

>>182
単に平均出す、結果の出力は多少見やすく配慮したExcelとかで本当にExcel慣れてる人に勝てる？元がcsvかxslxで。自分は自信ないわ。
>>183
書き捨てスクリプトを書くってこと？
Pythonでコンピュータビジョン関連や数理最適化のコード書く程度だけど、
Jupyter使ってるとどん臭い初学者なのね。他の言語のIDEと比べても便利だと思うんでついJupyter使っちゃうなあ。勉強不足ですまん。
しっかり何度も計算まわすときはそりゃスクリプト化するけど、その前の抽出や適当な初期値探しなんかだと表示がリッチなJupyterが便利だとつい思ってしまう。

2023/06/12(月) 22:59:44.19

ゼロつくの写経効率良いのかわからんな

2023/06/13(火) 23:05:09.32

表計算とPythonを組み合わせたいなら
LibreOfficeがイイぞ

2023/06/13(火) 23:49:10.50

ゼロつくの3章の意味がようやく理解できた。読んでわからんでほったらかすまた読むを繰り返して5年。
ようやく意味が分かった。自分頭わりぃ。
MNIST画像が28x28だから正方行列をどうやって処理してるんだろうとかずっと勘違いしていた。
一列784要素の配列で縦情報捨てて処理していたのね。正直バカにはゼロつく難しすぎやわ。

2023/06/14(水) 00:22:12.65

>>191
5年経ってその理解は流石にやばい

2023/06/14(水) 00:58:20.64

>>192
まあ頭悪いんで。

2023/06/14(水) 23:44:35.17

頭悪いけどゼロつくの3章の内容をExcelで実装できた。
sample_weight.pickleの中身の学習モデルをそのままエクセルに持ってきたら
当然だけどMNISTのテストデータの判別ができるようになった。
Accurancy rateは92%
苦節５年でようやくここまでできた。あとは肝心の学習だな。勾配法と誤差逆伝搬法。
Excelだとめちゃくちゃ時間かかるらしいけどとりあえずやってみるか。

2023/06/14(水) 23:49:02.96

ExcelってVBA？

2023/06/15(木) 00:08:15.05

MNISTの画像とラベルをワークシートに書き込むときにVBA使ったが、画像の判定自体はMMULT関数とスピル(Excel2019以降の機能）
行列演算も思った以上に速いし、判定自体は問題ない。
モデルの学習のときにはVBA使わないといけないと思う。それはめっちゃ時間とマシンパワー使うことになるらしい。

2023/06/15(木) 00:52:49.36

スピルなんてものがあるのか
確かにこりゃ便利だな
MMULTも内部ではベクトル演算使ってそうだしな
下手にその辺の言語使うより速そうだ

2023/06/15(木) 11:44:51.00

VBAアクセレータ

2023/06/16(金) 19:20:54.41

excel vbaやpython一からやるくらいならblツール買ってデータ分析したほうがコスパ良いような気がする

2023/06/17(土) 14:37:08.65

日本の職人が海外で大人気みたいだな
寿司職人とか引く手あまたらしい
海外だと年収1000万以上当たり前
当然、生活費は日本よりかかることになるが、、、
時代は変わったよな
こっちで流行りのプロンプトエンジニアより息が長そう
データサイエンティストってのも前に居たけど

2023/06/17(土) 17:58:52.88

何ヶ月前の話題を今頃拾ってんだよ

2023/06/17(土) 18:47:24.66

誤字脱字指摘による知識アピールや
情報強者アピールも、、、
まだそんなところに拘っているのかって思うぐらいに
時代は変わって行ってるよね

2023/06/17(土) 21:14:18.17

変化が永遠に続くわけがない、ということはいづれ・・・

2023/06/18(日) 00:33:43.45

頭悪い人だけど、ゼロつくの4章がようやくわかって、確率的勾配降下法実行してみてるんだけど、
学習ってこんな処理おっそいの？iters_num=10000じゃなくてiters_num=1000でやってんだけど、
これでも一晩かかるじゃん。
GPU使ったらもっと早くなるのかもしれんが、これほどまで計算量使うとは思ってなかった。

2023/06/18(日) 00:35:19.77

確率的勾配降下法と逆誤差伝搬法だとどれぐらい速度に差があるもんですか？

2023/06/18(日) 00:35:59.77

誤差逆伝搬法だった。

2023/06/18(日) 00:44:22.04

こんなクッソ遅いのか。iters_num=300にしたわ。
accuracy_rate低くなってもいいやとりあえず学習できることだけ確認できりゃいいや。

2023/06/18(日) 05:56:50.05

300で十分だった。学習していることを確認するだけなら10000とかいらない。
Accurary_rateも８２％ぐらい出たし。

2023/06/18(日) 10:14:48.40

dog year, rat year

2023/06/18(日) 11:02:39.25

実務と勉強では学習させる時間は違ってもいいな

2023/06/18(日) 11:36:58.13

GPT ってデコーダ層だけでできてるけど
前段のデコーダ層はtransformerのエンコード的に、後段のデコーダ層はデコード的に動いてんの？🤔

2023/06/18(日) 15:53:07.82

>>211
それミスリード
エンコーダ的な動きもしてる
transformerの一種という理解でモデルを見つめるべき

2023/06/18(日) 16:53:16.45

デコーダ層だけという見方が違うってこと？🤔

2023/06/18(日) 17:41:39.73

違うね
俺もそこに引っかかったのよ
実際モデル見たら全然違うじゃねーかと
推論時に1トークンづつ出力するからそこがデコーダっぽいってことなんだろうけどね
エンコーダデコーダで考えるものではない

2023/06/18(日) 21:51:25.24

Transformerのことなんて一生わからん頭悪い人だけど、
ゼロつく５章までなんとか理解できた。
誤差逆伝搬法ってSGDと比較にならんほど早いのね。こんなに差があるとは知らなかった。
そら誤差逆伝搬法でやることになるわ。

2023/06/19(月) 09:15:32.45

>>214
なるほど
ちゃんと論文読んでみる😤

2023/06/19(月) 16:30:37.62

エンコーダデコーダという捉え方からは離れた方がいいかと
ユーザの質問文を入力してるとき、ChatGPTちゃんは必死に質問文の次の単語が何か考えながら聴いてるんだよな
かわいい

2023/06/19(月) 16:43:36.53

>>216
論文見てもわからんよ
詳しい説明書いてないから
実際のコードを読むしかない
これが本家のモデル
他のゼロから作る系は間違ってる可能性あるからこれを読むべし
tf1で実装されているのが非常読みにくいが仕方ない
https://github.com/openai/gpt-2

2023/06/20(火) 16:29:27.96

lightgbmって欠損値NaNのままでいいの？
ゼロフィルすべきかなんか値入れるべきかわからん

2023/06/22(木) 13:49:45.51

Bingって使えないな
不快だからとか言ってすぐ話を拒否しやがる

2023/06/29(木) 10:59:44.31

>>1
機械学習

ディープラーニングとは別物？

2023/06/29(木) 13:29:40.73

chapgptで品詞も構文解析もできる

2023/06/30(金) 17:28:08.81

おすすめの本はなんですか？

「ゼロから作るDeep Learning」がいいのかな？

2023/06/30(金) 17:35:56.26

その本は今となってはあんまりおすすめではない
実装メインならゼロから作るディープラーニングフレームワーク編がおすすめ
これは今は亡きChainerクローンをゼロから作る工程を詳しく解説してる
実際PFNでChainerのメインプログラマーだった人からはアドバイスを受けて作ったらしい
逆伝播をグラフを使って実装する方法を見たときは衝撃を受けたね

2023/06/30(金) 17:53:07.32

>>224
返信ありがとうございます。

私は、数年間、上場企業でプログラマー（C++、Lua等）でしたが、
AIは未経験なので基礎理論からやりたいですが、
「最短コースでわかる　ディープラーニングの数学」とかもいいのかな？

「ゼロから作る～」の斎藤康毅さんの本はおもしろそうですね。

2023/06/30(金) 18:21:03.25

辞める必要ないじゃん
>上場企業でプログラマー（C++、Lua等）でした

2023/06/30(金) 18:54:50.83

>>225
本当に基礎からやりたいなら深層学習2版(岡谷)がおすすめ
ただしこの本の後半の内容は著者の研究内容っぽく
あまりお勧めできない
中盤までのtransformerを解説する部分まで読めば良い
基礎理論の説明としてこの本が1番詳しいと思う

2023/06/30(金) 19:16:27.24

>>227
ありがとうございます！
Amazonで確認してみます

著者は東北大学の教授のようですね
日本ディープラーニング協会の推薦図書のようですね

私も、松尾豊研究室みたいなところに行けばよかったなぁと後悔してます…
（当時はほとんど無名だったような…）

2023/07/01(土) 05:04:22.17

東大卒でコーダーて
しかもLua笑
まあそれがほんとか嘘かは置いといて、今日日機械学習も知らないプログラマなんておんのな

ちな松尾研はずっと有名です
機械学習のブームは今が初めてではないからね

2023/07/01(土) 08:01:01.65

汎用機の時代じゃあるまいに、コーダーなんて30年前に絶滅してるぞ。
機械学習も今は幻滅期だろ。

2023/07/01(土) 15:05:02.15

AIブームは終了しました

2023/07/01(土) 15:51:05.72

シャープの電卓かよ

2023/07/01(土) 20:04:12.30

ネットで
ディープラーニングの教材とかないのかな？
有料でも無料でもいいけど…

2023/07/01(土) 20:08:19.57

探せ

2023/07/01(土) 20:13:42.92

ネットで
ディープラーニングの教材とかないのかな？
有料でも無料でもいいけど…

2023/07/01(土) 20:16:05.22

有料でいいならe資格一択

2023/07/01(土) 21:09:52.87

coursera

2023/07/02(日) 12:55:13.09

>>230
機械学習も知らん自称プログラマって所詮コーダーだなあと思ってしまいます

2023/07/02(日) 13:18:46.27

>>236
E資格を取得したら、はAIプログラマーとして就職できる？
松尾カラーに染まってないかが心配だが…

2023/07/02(日) 13:22:03.56

>>237
Courseraの機械学習あるな

2023/07/02(日) 14:02:00.63

資格なんて後からでいい
これまで何を作ってきたか、どんなプロジェクトを回してきたかの方が圧倒的に重要

2023/07/02(日) 16:05:28.23

>>241
AI業界の人ですか？
他のIT業界からAI業界に転職可能ですか？

2023/07/02(日) 16:48:25.48

Coursera

2023/07/03(月) 10:07:15.42

udemy

2023/07/03(月) 10:44:52.59

Udemyは二重価格表示みたいで嫌い
講座の質は知らんけど

2023/07/03(月) 10:50:12.62

>>244
Udemy、AI講座とかあるな
職業エンジニアになれるのかな？

2023/07/04(火) 09:55:20.22

今後、ai開発者て認証制度になんの？免許みたいな🤔

2023/07/04(火) 11:35:44.80

>>247
やるらしいな

就職に有利になるとか？

2023/07/04(火) 11:39:06.81

どうせ情報処理技術者資格みたいにあるだけの資格になるんだろw

2023/07/04(火) 11:44:19.96

日本のai開発がますます後退しそう😅

松尾健のグループがまた検定試験作るんだろ？で試験のための団体ができて試験のための本が売れて。。。

2023/07/04(火) 12:01:16.81

松尾氏の利権目的なの…？

ちゃんとしたやつになるの…？

2023/07/04(火) 12:48:27.27

彼をダシにして色々やりたい連中がいる

2023/07/04(火) 12:59:09.52

経産省の利権かな
日本ディープラーニング協会

2023/07/04(火) 13:03:16.29

就職に有利になるとか、
ちゃんとしたやつならいいけど…

2023/07/05(水) 12:13:43.38

>>218
今更だが、これいい情報やね
今度コード読んでみよう。

2023/07/05(水) 12:21:58.48

で、
独学でAIでIT企業に就職できるの？

2023/07/05(水) 12:59:38.12

できません

2023/07/05(水) 13:45:26.93

>>224
PyTorchを使えばいいの？

2023/07/05(水) 14:47:27.93

変なのがいついちゃった

2023/07/05(水) 14:50:43.55

またゴミ書き込みバカ

消えろ

2023/07/05(水) 15:35:59.63

ニートの東大工卒（自称）の教えて君がイキルｗｗｗ

2023/07/05(水) 16:49:18.56

↑
またゴミ文バカ
消えろ

バカが…

2023/07/05(水) 17:05:10.41

工房草

2023/07/05(水) 17:08:25.23

↑
またゴミ文バカ
消えろ

バカが…

2023/07/05(水) 18:00:49.42

他の業界からAI業界への転職は、もともとスキルがある人じゃないと厳しいでしょ
スキルなしの転職は買い叩かれて終わる。

AIやりたいだけなら今いる業界の中でDXとかの担当に行くのが早い

2023/07/05(水) 18:25:37.95

>>258
PyTorchでいいよ
openaiも社内でPyTorchを共通で使っていく宣言した

2023/07/05(水) 23:30:34.53

独学でAIか・・・
どっかの査読付き論文に日本語でもいいから通するのが最低条件かな

2023/07/06(木) 00:55:46.00

和文の論文持ってる奴が応募してきたら笑いものにして終わり