【統計分析】機械学習・データマイニング31

■ このスレッドは過去ログ倉庫に格納されています
2021/09/26(日) 01:32:46.82ID:fnXwjiVa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2021/11/22(月) 11:38:03.78ID:k+UhQahhM
>>199
使ってますよ。簡単なことするだけなら、普通にMathematicaだよね。
Wolfram Langugaeに少し癖があるけど。
201デフォルトの名無しさん (ｱｳｱｳｳｰ Sa15-WCF9 [106.154.78.205])
垢版 |
2021/11/26(金) 02:32:14.06ID:jrKtaB44a
autokerasのTimeseriesForecasterはkerasモデル保存/読込どうすればいいのでしょう？

ImageClassifierはAutoModelが使われているのでexport_model()によりkeras modelが取得できます
が、TimeseriesForecasterはAutoModelが使われていないのでできません
autokerasの外へはどうやってmodelをもっていけばいいのでしょう？
2021/11/26(金) 02:40:12.71ID:jrKtaB44a
すみません。automodel使われていてexportもできました
（やりたいことがエポックごとに呼ばれるcallbackの中でのexport_modelで、これができないだけでした。どうやればcallback中でできるのかまた悩んできます）
203デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-39v0 [125.12.149.140])
垢版 |
2021/11/28(日) 21:05:51.18ID:jvvYPFKj0
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
2021/11/29(月) 16:05:20.45ID:oALfYxuSM
https://moultano.wordpress.com/2021/08/23/doorways/

aiの創造性はここまで来た

ダリっぽい
205デフォルトの名無しさん (ﾜｯﾁｮｲ 615f-L5ad [14.8.13.161])
垢版 |
2021/11/29(月) 16:25:40.49ID:49iqqEX00
ゼロから作るDeep Learningって写経する意味あるのかな？
2021/11/29(月) 17:17:10.78ID:JyJQI2pq0
>>204
ダリっぽいとか他に似てるなら創造的じゃないな
2021/11/29(月) 17:28:36.76ID:Wu2sfsS10
だりーな
2021/11/29(月) 17:52:03.85ID:D+IIZmyeH
>>205
人によるとしか
復習で読んでるなら不要では
2021/11/29(月) 19:53:37.63ID:UygRQ8FM0
>>205
無し
2021/11/29(月) 19:53:55.58ID:UygRQ8FM0
>>204
すげえ
2021/11/29(月) 20:03:20.61ID:rw4mU1bLa
>>205
写経するならフレームワーク編が良いよ
それまでのコードを全部見直して一番綺麗な形に纏めたのがフレームワーク編
ライブラリも実質chainerの再発明だし
パフォーマンス抜きにしたら実装面では一番よく出来てる
212デフォルトの名無しさん (ﾜｯﾁｮｲ 495f-62KC [106.73.78.34])
垢版 |
2021/11/29(月) 20:44:05.60ID:VfRsvGvv0
フレームワーク編は勉強になりました。
おかげでPytorchにもすんなり入れました。
2021/11/29(月) 21:27:03.51ID:UygRQ8FM0
読まなくてもpytorchなんて直ぐ使えるよ
2021/11/30(火) 13:14:20.13ID:rPvdixK50
sklearnってどうしてfitとtransformなんだろう
215デフォルトの名無しさん (ｵｯﾍﾟｹ Sr1d-1CBA [126.254.238.232])
垢版 |
2021/11/30(火) 17:15:15.09ID:BeJPAIX2r
sklearnの論文読んでみたら？
設計思想が書かれてるかもね
https://www.jmlr.org/papers/volume12/pedregosa11a/pedregosa11a.pdf
216デフォルトの名無しさん (ﾜｯﾁｮｲ 495f-62KC [106.73.78.34])
垢版 |
2021/11/30(火) 21:37:36.91ID:qoP48xVD0
>>213
すごいね
最近の論文はPytorchで実装されてることが多いんで、kerasから乗り換えました
自分は論文のGitHubでの実装コード読み解くのに数日かかるよw
217デフォルトの名無しさん (ﾌﾞｰｲﾓ MMeb-39v0 [163.49.214.235])
垢版 |
2021/12/01(水) 11:49:42.49ID:kM+Jjoc8M
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw
2021/12/01(水) 12:15:19.01ID:vfd5COSo0
ちゃんとしてんのな
賢い人たちが作ってそう
219デフォルトの名無しさん (ﾜｯﾁｮｲ 7f55-utnO [59.147.205.222])
垢版 |
2021/12/03(金) 18:08:07.73ID:tf1jbXXy0
Deep Learningは非常に自然で原理を理解するのはそれほど難しくないと思います。

一方、色々とある機械学習の手法のほうが理解するのが難しいように思います。

あってますか？
2021/12/03(金) 18:48:18.08ID:PYIziROuH
変な書き込みやめて
2021/12/03(金) 18:53:15.73ID:+ecAl3MEa
Deep Learningも色々あるから、その色々を理解するのは面倒
いわゆる機械学習も原理だけなら理解するのは簡単
2021/12/03(金) 19:27:46.04ID:ryyjEUUJM
原理について3行で説明してください
223デフォルトの名無しさん (ｽｯﾌﾟ Sd9f-Aio/ [49.97.107.113])
垢版 |
2021/12/03(金) 19:35:54.87ID:raY/uoTOd
>>219
時々こんな感じの変な書き込みあるよね
2021/12/03(金) 19:38:49.60ID:5p0sqebB0
59.147.205.222　で検索するなよ、絶対にな
225デフォルトの名無しさん (ﾜｯﾁｮｲ df10-QDcv [153.243.53.4])
垢版 |
2021/12/03(金) 20:13:54.46ID:AhvPAkOi0
自然とは
2021/12/03(金) 20:21:20.00ID:H3PEvtzUd
〇〇県民は理解しやすいけど地球人には色々あって理解するのが難しいみたいな
2021/12/03(金) 20:23:40.02ID:kzOvZWag0
自然とか難しいとか主観的に語るのは科学的でない
228デフォルトの名無しさん (ﾜｯﾁｮｲ cf01-PP5C [126.159.210.176])
垢版 |
2021/12/03(金) 20:29:42.74ID:3ner7aMO0
主観観測仮説を知らないのだろうか。
2021/12/03(金) 21:27:51.88ID:kzOvZWag0
無関係
別の板でやれ
それが観測者効果
2021/12/03(金) 22:40:50.91ID:Oj6t+xnM0
>>222
バックプロパゲーション
多層
パターン認識
2021/12/03(金) 23:10:02.90ID:lzHuWxU/0
>>222
超多次元ベクトル
2021/12/07(火) 12:51:14.51ID:zJGuK3/50
関数近似のフィッティング問題に多層ネットワーク使いました。
方法としては少しづつのサンプルに対して微係数計算して、少しづつ係数を更新します。
これだけ。
なぜうまくいくか、どういうデータが良いか、具体的なパラメータはどうするかってのは難しいが
原理だけならこれだけだわな。
2021/12/07(火) 13:16:34.86ID:+8JptylOa
曲線あてはめ ← はぁ…
機械学習 ← なんか凄そう
2021/12/07(火) 14:47:00.37ID:3Fb9ZRqsa
>>232
解釈性の問題なら賢い人が散々やって無理だから無理なんだと思うよ
一昔前はベイズで説明できるとか言ってる人がいたが
ベイズ完全にオワコンだし
2021/12/07(火) 18:26:50.54ID:2Ry187zya
解釈性からgradcam派生とかあるじゃん
それにベイズがオワコンとかkaggleしかやってない人かな？
236デフォルトの名無しさん (ﾜｯﾁｮｲ df10-QDcv [153.243.53.4])
垢版 |
2021/12/07(火) 19:03:42.76ID:KRSgdo5l0
>>232
それは原理ではなく単なる手順だ
2021/12/07(火) 19:29:25.93ID:Tq92gphF0
動作の原理、という意味なら手順と一緒の意味もありうるか
238デフォルトの名無しさん (ﾌﾞｰｲﾓ MMbf-Z4Wq [163.49.206.37])
垢版 |
2021/12/07(火) 19:56:52.69ID:1b+mdTOcM
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw
2021/12/07(火) 20:11:19.00ID:yYsfMV6wa
原理って話なら誤差関数の期待値を最小にする関数を求めるというのが原理原則だぞ
これはビショップ本にもカステラ本にも書いてある
その手段として>>232のような関数近似のフィッティングを考えるわけ
こう考えると頭が整理できると思う
2021/12/07(火) 20:22:41.27ID:g74FV+wua
原理に基づいてそれをやるときに必要になるのが誤差関数や逆転伝播求める話。それはどちらかと言えば定理か？
この辺は国語の問題だなｗ
2021/12/07(火) 20:35:07.27ID:zJGuK3/50
確率解釈は後付けだろ。
どうしても連続値で取り扱わなきゃで無理くり理由付けしただけだわ。
それも理解してない奴が無理矢理ベイズ解釈取り入れて行き詰まるわけだ。
そんな理屈つけても性能とほぼ関連がないからね。
242デフォルトの名無しさん (ﾜｯﾁｮｲ cf01-PP5C [126.159.216.35])
垢版 |
2021/12/07(火) 20:51:43.76ID:EZ68mIS/0
そこら辺がスッキリわかる良書が、高橋麻奈著やさしい機械学習。
乞うご期待。
2021/12/08(水) 07:06:54.46ID:XTo39aqn0
ニューラルネットワークの仕組みは
層構造に素子を並べたものでインパルス関数を線型結合し任意の関数を作れるから
任意の入出力関係を重みの変更で作れる

重みはデータから誤差を勾配降下で小さくすることで得られる
244デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4b-+02Y [163.49.200.166])
垢版 |
2021/12/10(金) 01:51:35.74ID:1XQlciewM
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw
2021/12/10(金) 17:27:11.79ID:KKnPndz70
テキストの識別問題だとbowとembeddingでそんなに差は出ないよね？
2021/12/10(金) 17:30:11.15ID:KKnPndz70
変な言い方になった
単語を素で扱うのと埋め込みして扱うのとではそんなに差は出ないよね？
247デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-LoL2 [153.243.53.4])
垢版 |
2021/12/10(金) 19:56:33.27ID:MelBN57+0
特定単語の有無で識別出来る程度の問題なら変わらんと思う
2021/12/13(月) 17:58:38.68ID:G2im6pgFM
>>247
ありがとう
2021/12/14(火) 22:13:04.45ID:2CUt45mqa
>>246
常にやった方が良いと思う
埋め込みって何をやってるかって
要は次元削減なのよ
高次元から低次元への写像を作るのが重要なタスクの場合はやるべき
例えば推薦システムや自然言語処理などね
2021/12/17(金) 19:20:20.09ID:NHlD+DIVM
自然言語処理のフレームワークってTensorflowとPytorchとDezeroならどれが良い？
2021/12/17(金) 19:31:22.57ID:g/fCEX7wa
tensorflow
でも素のtensorflowを使うってならpytorch
2021/12/17(金) 20:04:44.82ID:0lIFtA0p0
どれでも良い
2021/12/17(金) 22:10:55.81ID:NHlD+DIVM
とりあえずtensorflowとDezeroを試そうかな？
254デフォルトの名無しさん (ﾜｯﾁｮｲ 0255-MOPJ [59.147.205.222])
垢版 |
2021/12/18(土) 12:43:09.46ID:LF15gYeT0
pandasの本を読んでいる。
早くkaggleをやれるようになりたい。
2021/12/18(土) 17:32:55.78ID:DXMCGSK80
まず参加しろよ
2021/12/18(土) 18:31:07.02ID:v/I1V1jna
>>250
使いやすさではpytorchだけど同じパラメータでも
収束の速度や精度に違いが出るから両方試すしかないんだよね
めんどくせぇわ
2021/12/19(日) 00:06:13.67ID:ZhiL7Huf0
結局論文のコードそのまま取ってくるとかだからtensorflowでもpytorchでもどっちでもええわ。
今時は可読性もそんな変わらんし。
2021/12/19(日) 08:16:24.75ID:9n6zD46jr
paper with codeだとpytorchのほうが多いな。
2021/12/19(日) 20:39:08.97ID:h8CLueC20
bertとdoc2vec等の埋め込みの違いってなあに？の
260デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0d-QNbc [210.138.208.109])
垢版 |
2021/12/20(月) 11:22:34.02ID:sxGOmJ2JM
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw
2021/12/20(月) 19:40:53.92ID:4LJymq/2a
>>259
埋め込みってのはワンホットベクトルの後ろに全結合層を入れることだよ
それらのモデルは全部そうなってるでしょ
2021/12/21(火) 16:16:11.47ID:yHWiVthKM
>>261
後続のタスクがうまくいくように調整したfc層の出力？
2021/12/21(火) 18:15:28.31ID:GA1ctgqsa
>>262
まあそんなイメージ
ワンホットベクトルを一旦全結合層を個別に通すことで
特徴量として学習がうまくいくようにしている
word2vecなどはそのおかげで単語の意味を学習することに成功した
これは他の分野にも応用できてどういうものを学習させるか？で特徴量を自動的に学習できることを示している
とんでもない発明だよ
計算量的にもワンホットベクトルとの積は対象の重みをインデックスとして取り出すってだけで良いのも味噌
テンソルの演算がいらないから高速
2021/12/28(火) 23:33:18.19ID:iOD2F3ep0
AIって名前だけで受注取れる時代は既に終ってる。
https://xtech.nikkei.com/atcl/nxt/column/18/00001/05585/
機械学習なんてタダのツールです。本職にはしないようにしましょう。
2021/12/28(火) 23:43:01.89ID:x0tKn+Lqa
そこってOCRだけの会社だろ。そりゃ仕方ない
2021/12/28(火) 23:47:24.59ID:QtV6tW+r0
>>264
精度が出ないシステムだった？
2021/12/28(火) 23:58:56.89ID:EVcQbSTb0
あの会社の事例でAI全体を語られても困るわ
2021/12/29(水) 02:45:19.55ID:o1Dc/C8Ma
sklearn動かしてるだけの技術者は既に淘汰され始めてるよ
それよりも基礎集計しっかりやって知見を得ることの方がただモデル作るだけよりも何倍も意義がある
2021/12/29(水) 07:48:20.39ID:M+73VAXV0
kerasやpytorchで何か検出しましただけの人も淘汰か
2021/12/29(水) 08:20:09.99ID:tAunICsO0
言うほど業務でkeras使うか？
271デフォルトの名無しさん (ﾜｯﾁｮｲ a45f-vwEG [106.73.78.34])
垢版 |
2021/12/29(水) 10:59:29.75ID:TI972sRP0
ぶっちゃけそれを単に動かしてるだけの技術者っているの？
基本的に他の専門があって、データ解析のために必要に応じて機械学習を使ってる人が多いのでは？
2021/12/29(水) 15:24:18.72ID:YT6dcuk4a
技術者はただ単に動かしてるだけ（指示待ちプログラマ）
ほかに専門があって必要に応じて使うのは研究者かな（自分で動くプログラマ）
ま、言葉の定義なんてどうでもいいけど、どっちが多いかと言えば圧倒的に前者じゃないかな
AI系のいわゆるIT奴隷がほぼ全て含まれる
2021/12/29(水) 17:41:28.61ID:VRpK6mu50
仕事なら客がいるわけで
その客の問題解決になるように作ってるはず
研究者は成果がなんの役に立たなくてもいいのなら自分の興味だけで研究したらいいけど
そんな研究に金を出してくれる人はいるかわからない
274デフォルトの名無しさん (ｽｯﾌﾟ Sd5e-vwEG [1.75.1.228])
垢版 |
2021/12/29(水) 19:11:11.48ID:M9fTqQ7fd
その客がツール使えば機械学習できるようになってきてるってことだね
社外に頼まなくても社内でできるようになりつつあるし
2021/12/29(水) 19:26:32.35ID:b+J8+RQRa
大企業なら統計学に詳しい人がいるだろうからね。
プログラマと協力すればある程度は何とかなりそう。
2021/12/29(水) 19:33:16.06ID:lHbl/F9K0
もう専門家はいらない
2021/12/29(水) 20:45:29.33ID:tAunICsO0
統計学ってカウントベースの統計学の方？これ利用価値あるの？
2021/12/29(水) 21:54:00.37ID:YT6dcuk4a
今の統計学は深層学習もやるぞ。AIしない統計学は10年以上に終わってる
2021/12/29(水) 22:39:30.12ID:VRpK6mu50
>>275
大企業ならグループ内に研究所があったりする
2021/12/30(木) 02:07:07.02ID:BQoxL2gv0
企業にとって大事なのは確実な課題解決の手法であって機械学習は課題解決手段の一つに過ぎない。

お金にならなかったら縁を切るだけ。
4〜5年前あたりからAIは全ての課題を解決出来ると錯覚してる輩がいてホント困る。
2021/12/30(木) 07:18:27.49ID:pin0d4GXa
趣味とか小さな会社だったらそうなんだけどな
ある程度大きくなってくとAIでやれと言われたらAIでやらないといけない
それで解決できるかや客が満足するかは問題じゃないし「これはAIには向かないです」なんてひっかきまわすのは嫌われるし、そもそも仕様書作ってるとこに意見する経路がない
282デフォルトの名無しさん (ﾜｯﾁｮｲ a45f-vwEG [106.73.78.34])
垢版 |
2021/12/30(木) 10:16:02.10ID:MqhAmZiY0
うちは大手メーカーだけど、AIでできることできないことの取捨選択が進んできたわ
数年前は何でもAIって雰囲気もあったけどね
283デフォルトの名無しさん (ﾜｯﾁｮｲ 9701-j5Xv [126.224.150.67])
垢版 |
2021/12/30(木) 18:57:57.40ID:wt8M+IJC0
AIは人間に出来ることはすべて出来るってだけで、人間に出来ないことはAIにもできないことが多いからね。
2021/12/30(木) 19:04:02.88ID:Yl3eYPmv0
>>283
人間にできることをAIで全てできる
なんてことはないだろう
285デフォルトの名無しさん (ﾜｯﾁｮｲ 9701-j5Xv [126.224.150.67])
垢版 |
2021/12/30(木) 19:05:58.97ID:wt8M+IJC0
そうなの？
2021/12/30(木) 19:07:43.18ID:UqQqnr5p0
構造的なものだけでしょ
うなじを直接見るとか
287デフォルトの名無しさん (ﾜｯﾁｮｲ 9701-j5Xv [126.224.150.67])
垢版 |
2021/12/30(木) 19:14:06.27ID:wt8M+IJC0
以前は創造することは出来ないと言われてたけど、今では絵を描いたり作曲したりクリエイティブな作業もできるようだけど。
2021/12/30(木) 19:38:32.71ID:5muAmiHz0
創造的、てなんだろうね
289デフォルトの名無しさん (ﾜｯﾁｮｲ 9701-j5Xv [126.224.150.67])
垢版 |
2021/12/30(木) 19:39:35.20ID:wt8M+IJC0
クリエイティブってことでは。
2021/12/30(木) 19:49:18.46ID:Oz5i9GO30
創造性をください
291デフォルトの名無しさん (ﾜｯﾁｮｲ 9701-j5Xv [126.224.150.67])
垢版 |
2021/12/30(木) 19:50:01.12ID:wt8M+IJC0
中東三大宗教において創造主とは神を意味するらしいので、創造するとその世界の神になるのでは？
2021/12/30(木) 22:50:11.24ID:V7YoSH4p0
人間も絵を描く技能は過去の作品の模倣から始まりますし、その意味では現在のAIは十分創造性を持っているのかもしれませんね。
2021/12/30(木) 23:13:16.48ID:xvd+YMWna
人間の感性にマッチするような独創的な絵をAIに生成させるのはムリだな
でもそれは今はムリってだけで来年、再来年にはどうなってるか分からない。限界はAIを作る人間側にあるんだよ
2021/12/31(金) 00:42:05.82ID:BI4nC6Xx0
AIの進歩によって人がドンドンいらなくなって行くのだけは確かだな
そして日本はこの分野において完全な負け組だということ
つまりこの分野が絡んで人を減らしたり、製品に付加価値を付けられたりすると
勝てないということだね
2021/12/31(金) 01:03:18.71ID:PQd8+26pa
少子高齢化で働き手が減ってるから人手がかからなくなるのは良いことでもあるような
296デフォルトの名無しさん (ﾜｯﾁｮｲ 0f01-h6Ia [126.224.150.67])
垢版 |
2021/12/31(金) 01:58:39.97ID:2Zk/vij+0
弱った人間が死ななくなると感染症が広がりやすくなるのでは？
人類はそうやって自滅すると思います。
2021/12/31(金) 09:37:41.44ID:E9yqyPbz0
神なんておのれを助けるものをたすくだろ、役に立たねー
2021/12/31(金) 10:46:28.66ID:KszWFtWe0
どんどん違う仕事ができるだけだろ
2021/12/31(金) 12:16:18.20ID:259t7GYFd
そのとおり。
違う仕事をしましょう。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。