【統計分析】機械学習・データマイニング32

■ このスレッドは過去ログ倉庫に格納されています
2022/08/01(月) 01:56:45.77ID:0yKqFwG20
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/11/26(土) 13:53:46.85ID:ZUMt9XHn0
>>722
既にそうしてると思う
2022/11/26(土) 14:21:08.54ID:HY2Xjwvo0
ビッグデータ解析をやってる人はいないみたいね
726デフォルトの名無しさん (ｻｻｸｯﾃﾛﾚ Sp1d-FyQ+ [126.245.146.119])
垢版 |
2022/11/26(土) 14:24:59.42ID:GHp5Ckmop
自分でビッグデータ作って回帰して関数作ってますけど
2022/11/26(土) 14:38:41.24ID:izCYIi7E0
>>724
ネット上に転がってる程度のコードだと
どれも訓練前にワンホット行列に変換していて、ああメモリ食うな〜と思ってた
製品レベルの話だと普通ということか
2022/11/26(土) 14:39:35.16ID:izCYIi7E0
製品レベルだと、訓練時にone-hotに変換するのが普通なのかな
でも、その割には適当なツールがないぞ
2022/11/26(土) 14:42:21.09ID:izCYIi7E0
ちなみに、訓練時とは訓練直前ではなく訓練中
2022/11/26(土) 14:47:32.37ID:izCYIi7E0
ああ、sparce_matrixとしてデータを保持すればいいんだ…
2022/11/26(土) 14:52:07.82ID:HY2Xjwvo0
>>726
現実のビッグデータの解析
2022/11/26(土) 19:30:52.92ID:3D8WJWn5H
自分で作ったデータをビッグデータとは呼ばないだろ
ただの大量のデータなだけで
2022/11/26(土) 21:56:24.83ID:izCYIi7E0
ビッグウンコ
2022/11/26(土) 22:46:08.21ID:HY2Xjwvo0
aa不要
2022/11/27(日) 14:02:12.32ID:8iOvnAjwM
日本の偉人たちは朝鮮人について警鐘を鳴らしてきた

夏目漱石
「朝鮮人に生まれなくて良かった」
伊藤博文
「嘘つき朝鮮人とは関わるな」
吉田松陰
「朝鮮人の意識改革は不可能」
福沢諭吉
「救いようのない民族」
本田宗一郎
「韓国人と関わるな」

ちなみに本田宗一郎はバイク工場を
丸ごと韓国メーカーに取られて
激オコしていた。
2022/11/27(日) 14:41:43.69ID:w2O6Zp7A0
それホンダに言えるのか？
2022/11/27(日) 15:29:20.96ID:8iOvnAjwM
国際大会ではおなじみとなった日本人サポーターの試合後の清掃。海外からは称える声が多数上がっているが、日本の一部の識者からは「ただの自己満足　掃除人の仕事を奪ってる」などと指摘されていた。 　これに反論したのはエジプト出身で長く日本で活躍するタレントのフィフィだった。 　自身のツイッターで「日本サポーターのゴミ拾いに『観客が掃除すると、清掃を業にしている人が失業してしまう』って言ってる人、スタジアムイベントの清掃員の報酬がゴミの量で決まると思ってるのかな…てか、カタールのスタジアムの清掃はボランティアが多いから助かっているのよ、実際に感謝されてるのを知らないのかな」とつづった。


このニュースの問題点は、
『日本の一部の識者』というのが在日韓国人・朝鮮人ということと、
そのことを報道している毎日新聞、TBS、東京新聞は韓国系であるし、朝日新聞とテレ朝は
中国系ということである。

やはり半島系と中国系は皆殺しにするしか日本は正常にならないと思う。
2022/11/27(日) 15:31:21.23ID:8iOvnAjwM
>>736
ホンダの役員から聞いたことだぞバカw
今では創価のホンダにも半島系社員が増えてきているから、
そのうちホンダは韓国のものだろうな笑笑
2022/11/27(日) 15:43:03.00ID:8iOvnAjwM
日本人サポーターのゴミひろいを攻撃してる日本人と称している女医さんの顔が、まんま朝鮮人顔なんだが笑笑
2022/11/27(日) 15:47:31.48ID:Cbupd0WaM
商売敵？
2022/11/27(日) 16:18:38.18ID:w2O6Zp7A0
>>738
そうじゃなくて電気自働車の電池をサムチョンと組んで開発するらしい、組んでる相手がソニーｗ
https://blog.evsmart.net/ev-news/sony-honda-mobility-plans-to-release-their-first-electric-vehicle-in-2025/
2022/11/27(日) 17:09:06.48ID:w2O6Zp7A0
ホンダと韓国LGES、EV用電池の生産会社の設立で合意
https://xtech.nikkei.com/atcl/nxt/news/18/13577/

LGだった
2022/11/27(日) 17:27:09.80ID:HoQge+GJ0
一企業の方針なんてどうでもいい
2022/11/27(日) 18:28:24.74ID:/NPZUWxP0
>>741
ホンダは創価でなければ管理職以上にはなれない。
その創価の信者に半島系がドンドン増えてきて
創価の60%は半島系となった。

元々日本人の創価だったのが半島系となった。
そしてホンダも半島系創価になった。
そういう話だよ。
2022/11/27(日) 23:46:27.25ID:tc0pf5Y90
スレチ
2022/11/28(月) 06:18:03.36ID:95nU4PxXM
スレチじゃないんだよね
pythonスレは半島系のクズが常駐してるから。
まじ性格の悪い強姦魔の半島系帰化人w
2022/11/28(月) 08:07:05.61ID:GyANGOt10
常駐してるの根拠は？
また、常駐する行為を禁止してないが
2022/11/28(月) 19:55:10.67ID:edwgQhem0
>>737
DNA的に見ると日本人の多くが持っている縄文人、弥生人のY染色体は
元々大陸が繋がっていた中国人にもあるはずだが、、ほとんど無い
これは占領した地域の男を虐殺し、子孫を反映させるってことを長年やって来た結果
日本人と同じタイプの人間は皆殺しにされてしまった臭い

歴史的に見ると日本人がやられる方
2022/11/28(月) 22:24:33.98ID:LxTnPf0Or
>>748
それ眉唾だぞ
2022/11/29(火) 00:09:19.15ID:cKLoi+Hi0
ディープラーニングを使った配列解析
https://japan-medical-ai.github.io/medical-ai-course-materials/notebooks/07_DNA_Sequence_Data_Analysis.html
2022/11/29(火) 02:00:55.54ID:qC52e2lk0
勝手に誰でも常駐してください
ここは機械の発展を議論する場です
2022/11/29(火) 06:56:40.00ID:JT7ImoOT0
ソデスネ
2022/11/29(火) 09:31:39.52ID:cKLoi+Hi0
違うだろ、すし握り機械の議論はしない
>ここは機械の発展を議論する場です
2022/11/29(火) 11:53:09.97ID:JT7ImoOT0
🤖🍣 🤗
2022/11/30(水) 00:16:28.41ID:az62IyNb0
レコード数が2億のデータをLSTMで訓練しようとすると
データ数が2億の数十倍で…
あうあうあうって感じになってるわ
2022/11/30(水) 09:08:24.14ID:xOeMwjur0
それだけデータあるならtransformerのほうが良さげだけど
2022/11/30(水) 09:13:04.41ID:MOW7ZIeiH
それだけデータがあると、39.111.228.181に言わせればビッグデータになるんだろうなｗｗｗ
2022/11/30(水) 10:01:36.18ID:/4YUIYAZ0
またお前かｗ
2022/11/30(水) 19:07:28.20ID:wc3ly6Pya
そりゃビッグデータ超えてビックリデータですな、わーはっはっはー、コラ、誰がうまいこと言えいうたんじゃ、びーっくびくびくびくデータ♪
2022/12/01(木) 09:05:40.23ID:3fGNoP5z0
>>756
ありがとう。transformerについて調べて試してみる
2022/12/01(木) 10:33:16.43ID:07vsLu1g0
長い系列はlstmのほうが良くなかった？
2022/12/01(木) 13:16:46.41ID:hut8tsqaa
LSTMはもうオワコンだよ
2022/12/04(日) 21:45:39.94ID:/9uAVGgi0
データが大きすぎるからファイル分割して保存して、
epoch毎に各ファイルのデータをロードすることにしたけど
再訓練時にlearning rateを変更できるAPIがkerasに用意されていない気がする
自作コールバックを作れば解決できるけど
そもそもこの機能なんで標準で実装されてないんだろう
需要ないのかな
2022/12/05(月) 09:36:40.89ID:RXprp5QQM
lrにこだわりがある人は自分で実装したいんじゃない？
2022/12/05(月) 23:50:35.54ID:2K5PAduZ0
確かに、自作できるように道具はすべて用意されてました
公式ドキュメントが手厚すぎる
2022/12/06(火) 12:18:46.66ID:P/Xy4mQs0
agiぽいことがllmでできるとは想像してなかった
chatgptオモロイね
767デフォルトの名無しさん (ﾜｯﾁｮｲ e901-BnZc [126.159.71.143])
垢版 |
2022/12/10(土) 01:37:21.30ID:x4TdPeVo0
IBMの統計ソフトってExcelでは出来ないすごい事でも出来るのですか？
2022/12/13(火) 10:04:12.09ID:3/tcGEPI0
>>767
情弱過ぎて涙が出てくるな…
統計学の入門書でも読んでみたら？
769デフォルトの名無しさん (ﾜｯﾁｮｲ 7b5f-BnZc [111.109.75.41])
垢版 |
2022/12/15(木) 15:04:32.37ID:2kfje/nt0
>>768
はい情弱なんです
統計については全くのチンプンカンプンです
ハイかイイエで答えて頂けると助かるのですが
Excelでやる場合は自分でややこしい関数使って組む必要があるものをSPSSは事前準備無しで使える
ただやろうと思えばExcelでも同じことは出来るのではと考えているのですが
2022/12/15(木) 16:00:39.84ID:z7lvhqzWM
>>767
できます
771デフォルトの名無しさん (ﾜｯﾁｮｲ fbe2-6Z9O [39.111.143.242])
垢版 |
2022/12/15(木) 16:34:20.45ID:7coHuBPT0
SASとかSPSSが下に見られてるのって、意識高いビジネスユーザーとかお金もってる製薬とかにフィットしてぼったくってきたから？
2022/12/15(木) 16:38:28.73ID:EGEF5Am20
C言語なら何でもできます
2022/12/15(木) 18:50:59.30ID:EGEF5Am20
ところでSPSSのアルゴリズムは全部分かってるの？
774デフォルトの名無しさん (ﾜｯﾁｮｲ d997-6sMM [182.171.246.142])
垢版 |
2022/12/15(木) 19:49:34.78ID:XVN1N3BK0
下に見られるのかどうかは知らないけど、プログラム書けるならPythonかRで基本的なことは出来るから、プログラムが書けない人とは思われるんじゃない？
伝統的にSPSSで分析してきましたみたいな部署や研究室は蓄積があるから選択するのだと思うけど
2022/12/15(木) 20:01:24.60ID:IlT5z4QA0
でも結局統計学がわからないならエクセルであれなんであれ
自分が何やってるかわからんのではないか？
776デフォルトの名無しさん (ﾜｯﾁｮｲ e901-BnZc [126.159.71.143])
垢版 |
2022/12/15(木) 20:13:06.04ID:t4W4fcW50
SPSS・・・プログラミングの知識やスキルが無くても、高度な統計の知識が無くても、GUIで直感的に分析が出来るのでその付加価値の為に高額


つまりこういうことでおk？
777デフォルトの名無しさん (ﾜｯﾁｮｲ 7901-u86g [60.88.121.116])
垢版 |
2022/12/15(木) 20:17:32.31ID:SaYQ/lLy0
アリババグループのツァイニャオは提携する運送業者の運行をデータ処理によってコントロールする。
日本における提携企業の日本通運によると、ツァイニャオのデータ処理によって配送費用を3割抑えることに成功しているという。
778デフォルトの名無しさん (ﾜｯﾁｮｲ e901-BnZc [126.159.71.143])
垢版 |
2022/12/16(金) 00:31:41.27ID:oeTzhH1T0
統計学の博士号持ってるような人がようやく組み立て使える手法もSPSSならGUIの操作で簡単に可能、みたいな？
それなら確かに価値はありそう
2022/12/16(金) 13:22:20.03ID:3hpCig/wM
>776
アメリカの製品は押しなべて吹っ掛けているので高額。
計算が間違っているという試練に耐えているので信頼性があるとされる。
780デフォルトの名無しさん (ﾜｯﾁｮｲ e901-BnZc [126.159.71.143])
垢版 |
2022/12/16(金) 14:50:52.98ID:oeTzhH1T0
>>779
なるほど
高度な統計分析を自分で行うと色々と計算して行かなくてはいけないのか
企業にとっては神ソフトウェアじゃん
2022/12/16(金) 16:44:40.04ID:ZjxktDZx0
>>778
そんな手法ないぞw
782デフォルトの名無しさん (ﾜｯﾁｮｲ fbe2-6Z9O [39.111.143.242])
垢版 |
2022/12/16(金) 16:57:43.22ID:wIKAyrdi0
統計だと最先端付近？の複雑なモデルはstanとかベイズのソフトでやってると思う。多分SASとかからも動かせる。あとは、数学上級民がRとかjuliaでスクラッチしてるのもチラホラ。
783デフォルトの名無しさん (ﾜｯﾁｮｲ e901-BnZc [126.159.71.143])
垢版 |
2022/12/16(金) 18:39:01.53ID:oeTzhH1T0
解決しました
要はプログラミングさえできる人はRとPythonでなんでも出来るって事ね
2022/12/16(金) 20:25:43.62ID:eXwk1UCR0
JMPユーザーはあんまりいないのかな？
機械学習するにはJMP Proじゃないといけないけど。
2022/12/17(土) 18:45:28.97ID:ZIYFaRKN0
データの「型」がわかれば
どういう手法が使えるかという
一覧表が書籍として出ている
もっともいろいろな「仮定」があるので
何も考えずに使うと意味のない結果が出てくる

ちなみに大多数の世論調査とか
やり方が間違っている
2022/12/17(土) 19:57:04.10ID:Gbvz6R4d0
>>785
正しい世論調査のやり方はどうするの？
787デフォルトの名無しさん (ﾜｯﾁｮｲ 3901-Nut4 [126.159.71.143])
垢版 |
2022/12/17(土) 20:09:27.68ID:WIiGfb3y0
正規分布に準ずる

って公理なんかおかしくない？
なにこれ
788デフォルトの名無しさん (ﾜｯﾁｮｲ 02ad-F7tP [125.12.140.163])
垢版 |
2022/12/17(土) 21:26:31.38ID:dtpzodaS0
半島系帰化人というのは悪魔だ！
早く抹殺しないと日本がダメになる！

特に30代Pythonクソチョンは
すぐに抹殺すべし！
2022/12/17(土) 21:44:44.35ID:ZIYFaRKN0
>>786
できない
嘘をつく人と、答えない人がいる以上
正確な測定はできない
2022/12/17(土) 22:00:03.78ID:Gbvz6R4d0
>>789
できないとは意味が違うぞｗ
>ちなみに大多数の世論調査とかやり方が間違っている
2022/12/18(日) 17:15:04.48ID:4T78MPGL0
>>789
そういうのを考慮して信頼区間なり何なりを出すのが統計だろｗ
2022/12/18(日) 17:25:04.14ID:W3/VkLQP0
世論調査なんて大抵は回答してくれた人の結果をまとめただけだからその時点でバイアスがかかっている
本当に厳密にやるなら回答しなかった人がもし回答していれば何と答えたか、因果推論の分野で言う反事実について検討しなければならない
2022/12/18(日) 17:32:07.59ID:WxqnN436a
まずはバイアスバリアンスのトレードオフを勉強しような
2022/12/18(日) 18:04:24.10ID:jxq2sAR70
今の世論調査とか視聴率調査とかは
サンプル数が1000ぐらいだから
もし正確に測定できてしたとしても
誤差が大きい
例えば、視聴率30%とでたら
実際は25%から35%の確率が
95%というに過ぎない
視聴率が2%上がりました
とかは誤差に埋もれる範囲
795デフォルトの名無しさん (ﾜｯﾁｮｲ 46e2-Tv+0 [39.111.143.242])
垢版 |
2022/12/18(日) 18:23:55.41ID:jOkKJleE0
傾向スコアベースで、アンケートに答えたか答えないかの介入予測の共変量だけで、アンケート内容を補正する式があって驚いた記憶。回帰分析的だと少しは答えなかった方が答えたデータも無いと厳しいと思うので。
796デフォルトの名無しさん (ﾜｯﾁｮｲ 2e30-ZR1D [121.103.189.61])
垢版 |
2022/12/18(日) 20:13:12.49ID:+kGCL3YV0
こうやって結論が出ないまま先延ばしになって
議論も法律も倫理も糞くらえで
とにかくデータを集めりゃいいんだと
息巻いて集めまくってるところに負けるんだよね
いや、、負けたのか
2022/12/18(日) 21:09:44.99ID:yS5MSdvxM
30代Pythonクソチョン男は強姦魔の犯罪者！
30代Python男を雇うときには
両親と祖父母の戸籍謄本を提出させましょう！
2022/12/19(月) 11:31:24.12ID:oPumCSZf0
世論調査とは何か？
https://www.jstage.jst.go.jp/article/mscom/94/0/94_43/_pdf
799デフォルトの名無しさん (ﾜｯﾁｮｲ 065f-Nut4 [111.109.75.41])
垢版 |
2022/12/19(月) 15:10:20.87ID:jlFaN9oU0
SASの存在価値って本格的に無いよね？
RとPythonに比べて全て劣ってない？
SPSSはGUIと利便性に存在価値あるけど
2022/12/19(月) 17:26:26.97ID:3t0cuWTWM
自分の考えが間違ってないのか知りたいのか？
801デフォルトの名無しさん (ﾜｯﾁｮｲ 3901-Nut4 [126.159.71.143])
垢版 |
2022/12/19(月) 19:43:06.25ID:OeirGzNO0
>>800
そうだよ？
だから質問してるんだけど
2022/12/19(月) 20:37:24.19ID:oPumCSZf0
スレ●
803デフォルトの名無しさん (ﾜｯﾁｮｲ 02ad-F7tP [125.12.140.163])
垢版 |
2022/12/20(火) 21:34:04.62ID:z0lLMPAj0
30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！
2022/12/21(水) 18:11:01.89ID:x5Zrf3okM
ai倫理てゴミじゃね？
2022/12/21(水) 18:13:39.22ID:x5Zrf3okM
黒人がゴリラに認識されたりうまく顔認識されないからって別にアルゴリズムに差別が組み込まれてるわけじゃないし
2022/12/21(水) 21:30:21.19ID:tEhFl7FW0
それマイクロソフトのAIに言えるのか？
2022/12/24(土) 03:50:56.92ID:4FCvHLyZa
なんでこんなクソみたいなスレになってるの？
808デフォルトの名無しさん (ﾜｯﾁｮｲ 1702-qwlA [36.14.133.245])
垢版 |
2022/12/24(土) 06:37:14.82ID:GCk+MuLO0
>>807
39.111.228.181が糞レスを繰り返してるから
2022/12/24(土) 11:40:50.96ID:oMtJvVta0
こういう素晴らしい書き込みをしなさいｗ
103.163.220.73
36.14.133.245
810デフォルトの名無しさん (ﾜｯﾁｮｲ 6101-s0Sd [60.88.122.118])
垢版 |
2022/12/24(土) 12:27:35.03ID:prQ1joB90
>>805
教師データに差別を組み込んでおいたんだろな。
811デフォルトの名無しさん (ｻｻｸｯﾃﾛ Sp2a-T2CE [126.35.190.113])
垢版 |
2022/12/24(土) 13:30:37.90ID:JLylWBc6p
教師データ？
2022/12/24(土) 18:06:55.81ID:9ogLzvY40
千葉県住みの39.111をNGにすれば良い訳？
813デフォルトの名無しさん (ﾜｯﾁｮｲ 6101-s0Sd [60.88.122.118])
垢版 |
2022/12/24(土) 21:28:07.55ID:prQ1joB90
技術評論社のステマを無効化する技術が必要。
814デフォルトの名無しさん (ﾌﾞｰｲﾓ MM9a-kIRX [49.239.65.137])
垢版 |
2022/12/26(月) 22:20:10.33ID:IvZMxVOoM
30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！
2022/12/27(火) 09:44:59.27ID:slMRW5bcM
強化学習と教師付き学習の違いてなに？
用意されたサンプルがあるのが教師付き学習？
報酬関数を用意してあってサンプルがないのが強化学習？🤔
816デフォルトの名無しさん (ｻｻｸｯﾃﾛﾗ Spd9-T2CE [126.186.40.17])
垢版 |
2022/12/27(火) 10:22:09.80ID:7KqliJyXp
ggrks
2022/12/27(火) 17:21:49.29ID:DoGEkn70a
千葉の彼か
2022/12/27(火) 22:11:37.42ID:DoGEkn70a
千葉県民の彼
調べたら他のスレでも見かけるんだけどマジでやばい人なの
819デフォルトの名無しさん (ｱｳｱｳｳｰ Sa08-SHOq [106.181.212.156])
垢版 |
2022/12/28(水) 16:19:02.78ID:wx2BQ76Ga
ktkr
https://www.youtube.com/watch?v=x8zoPY14P0k
2022/12/28(水) 17:15:51.87ID:cUmYABUS0
そんなもの、一橋も作るってさ
2022/12/29(木) 18:55:57.55ID:GLElJEiia
バーチーの彼
2023/01/03(火) 07:53:17.40ID:had+f17N0
株のロボアドバイザーてのを調べたら株じゃなくて投資信託を選んでるだけだった😅
823デフォルトの名無しさん (ﾌﾞｰｲﾓ MMc3-UGA+ [210.138.178.189])
垢版 |
2023/01/04(水) 01:08:15.86ID:O+gUhHpWM
30代Pythonクソチョン男は強姦魔の犯罪者！
あなたの近くにいます！
父母と祖父母の戸籍謄本を提出させましょう！
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況