【統計分析】機械学習・データマイニング33

2023/03/17(金) 01:30:49.78

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2023/04/11(火) 16:42:44.57

ChatGPT使うにも電話番号の登録が必要とかバカみたい
結局個人に結び付いたいろんなビッグデータが欲しいだけじゃん

2023/04/11(火) 18:01:06.57

今、どこもそうだろう
日本のQR決済も個人の購入データ入手して
データ活用して更に買わす方向に持って行きたい訳で
Appleやgoogleがプライバシー云々でいろいろやっているが
結局他を排除して自分ところで情報を握りしめて利益に繋げようとしているだけだし

データを取られて精度が高まって行くのはわかっているが
メリットがあるから仕方なく使っているって感じじゃないの、、、みんな

2023/04/11(火) 18:48:27.31

しゃーないねマルウェア書かせたり迷惑メール書かせたりする奴がいるから

2023/04/11(火) 20:03:40.26

個人に紐付ける仕組みがなければ複垢作られまくってあっという間にサーバーパンクするのは目に見えている

2023/04/11(火) 20:21:05.54

midjourneyの無料を使い尽くしたのは中国人だったなイナゴみたい😡

2023/04/11(火) 20:39:33.41

本物見たいなスパムがシナから一杯飛んできてるよ

2023/04/11(火) 23:55:36.15

ロシアからの迷惑メールが増えたな

2023/04/13(木) 00:47:37.83

最新の機械学習に詳しい書物があればご教示願いたい。

2023/04/14(金) 22:18:41.23

pretrainしてgenerateしたものに点数を付けて評価をするという方式で
高い評価を得た人でも
その分野において膨大な量をpretrainしたAIには勝てそうにない
むしろ、pretrainが少なく、generateすることを余儀なくされて
pretrainの組み合わせに無いパターンで「何！それ！アホだろ」とか言われてきた
低能と呼ばれている人の方が実は新たな発想力的なものを持ってたりして

2023/04/14(金) 22:25:33.82

なんか意味わからんから要約頼んだ

AIの評価は、pretrainしてgenerateしたものに点数を付ける方法が一般的であるが、この方法では、膨大な量をpretrainしたAIに勝つことはできない。実際に、pretrainが少なく、generateすることを余儀なくされる人たちは、新しい発想力を持っていることがあり、低能と呼ばれることもある。

2023/04/14(金) 22:53:17.47

どうも要約がイマイチだと思って試してみたが
そもそも元の文章が大して長くないので
それなりに要約している奴はそれほど短くならない
イマイチの文章だが短い奴をワザワザ選んだ訳だな

2023/04/14(金) 23:04:44.48

要約ってより元の文章が…

2023/04/15(土) 01:14:31.85

>>94
そういう場合は、「馬鹿でもわかるように下記の文章を書き直してください。」と書くんだよ

「前もって学習されたものを使って文章を生成し、それに評価点をつける方法」があるけど、
高得点を取った人でも、その分野で大量の学習をした人工知能には勝てないことがあるんだよ。
むしろ、学習が不十分で文章を生成しなければならない場合、新しい考え方やアイデアにつながるような、
学習の組み合わせにないものを提供できることがあるんだ。実際には、馬鹿と呼ばれる人でも、
新しいアイデアを持っていることがあるよ。

2023/04/15(土) 11:12:53.72

>>95
で意味わかるの？これで？w

2023/04/15(土) 21:16:31.43

ChatGPTの知ったかぶりを問いただすにはどうすれば良いんだろうか

2023/04/15(土) 21:43:57.05

そういう仕様だからなあ
一から作り直すしかないかも

2023/04/16(日) 02:09:27.35

機械学習の職歴のない者がエンジニアとして雇ってもらおうと思ったら... やっぱ何か
アプリを作って「こんなんできました」とか持ってった方がいいんだろうか
だが差し当たって何のアプリを作ろうかというアイデアが

2023/04/16(日) 15:49:32.02

temperatureをゼロにしても駄目？
未知のことは埋め込み空間で未知という意味のところにマッピングされんの？？🤔

2023/04/16(日) 16:33:43.02

未知かどうかを埋め込み空間で判定するの難しいだろ
学習した内容同士を内挿して人間の持つ知識から見たらいい結果が得られる場合と得られない場合があって、
いい結果でないときに「知ったかぶり」と言ってるだけだろう。
日本における東京はタイでいうところのどこ？という質問に答えるときに、人間だってこの文章を丸暗記してるから答えられるわけじゃなくて内挿して答えてるだけだろ

2023/04/16(日) 16:39:43.16

誰か解釈してくれ

2023/04/16(日) 19:31:12.11

スルーで

2023/04/17(月) 13:53:58.68

若ければ未経験でもいいけど、さすがに30超えたジジイは脳みそ硬直してるから機械学習は無理

2023/04/17(月) 14:02:39.50

うちは研究開発やってる三、四十代が自分らでPython使って機械学習やってるよ

2023/04/17(月) 23:51:11.51

物理専攻だったから30超えてても余裕だった

2023/04/18(火) 05:40:37.64

なんでもイジングモデル

2023/04/18(火) 08:02:24.86

アニーリングガーとか昔やったなあ
ニューラルネットとか純粋な興味で勉強・研究してたけど
今になって応用面がブレークしてる感じ

2023/04/18(火) 19:26:17.99

>>97
知ったかなんて長い目で見れば一時の話しで
多くの人間がひたすら使ってれば学習して修正していくんじゃないの

高学歴者とか今までの評価システムで優位に立ってきた連中が必死に否定しそうだけど
弁護士がいらなくなる、ホワイトカラーの9割はいらなくなるとか、創造、創作系とか
そっちの影響が強くて肉体労働者は従来通り自動化の影響は受けるが、AIの影響は受けにくいとされているからね

2023/04/18(火) 19:40:27.68

士業（）とくに税理士とか大昔から不要だっただろうけど、必死に自民党に献金して残ってるじゃん

2023/04/19(水) 05:22:49.05

弁護士は便後士とは良く言ったものでどちらも他人の尻拭いがお仕事です

2023/04/19(水) 05:47:46.20

仕業はとっくにオワコン

2023/04/19(水) 07:45:12.61

アマチュア無線技士も終わりかな？

2023/04/19(水) 17:52:36.38

e検定とか今更とってもしゃーなくない？
aiのほうが精度の高いモデルやプログラムをつくれるじゃん

2023/04/19(水) 18:04:48.01

Chatgptで合格点余裕で出そうw

2023/04/22(土) 03:26:32.54

年齢で切っちゃうのは勿体無いね
一番は興味だよ、どこまで没頭できるか。若い子には無理なんじゃないの。

2023/04/23(日) 09:21:13.58

gptでパラメータを増やせば創発が見られたというけど
結局タスクの精度がそれで決まるなら
人間の頭の良さも生まれってことになるよね

まあ多少は学習法と学習時間に左右されるけど

元々パラメータ数が少ないポンコツであれば
どんな学習法でもどんなに学習時間をかけても所詮ポンコツってことじゃん😅

2023/04/23(日) 09:23:33.92

本とかで機械学習を勉強してるんだけど、.ipynb が提供されているような場合も
全部自分でゼロから入力してみた方がいいですかねえ

2023/04/23(日) 10:33:58.80

>>117
スポーツがそうであるように勉強が出来る出来ないも、努力できる、できないも
遺伝が大きく影響するっていう運的要素が強いことがわかっていて
金持ちになる、ならないも運的要素が強いことがわかっている
アメリカは努力した人が金持ちになるという風潮が強いから
低所得者は怠け者だとみなし手厳しいルールになっているが
ヨーロッパの方は、半分以上の人が金持ちはただの運だと思っているので
わりと温いルールになっている

2023/04/27(木) 19:50:07.76

機械学習用データって少なくとも日本国内では法整備されてるって認識だったけど、生成系の注目でパクリだ論が勃発
感情論に押し切られて改正されたら嫌だな

2023/04/27(木) 21:29:36.95

あやめデータは渡さんよ

2023/04/27(木) 21:48:56.74

第四十七条の七　著作物は、電子計算機による情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の統計的な解析を行うことをいう。以下この条において同じ。）を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案（これにより創作した二次的著作物の記録を含む。）を行うことができる。ただし、情報解析を行う者の用に供するために作成されたデータベースの著作物については、この限りでない。

2023/04/27(木) 21:53:07.34

なんか法律家が、機械学習や統計モデルは著作権的に問題ない的なツイートをしてた記憶だけど、データの丸暗記から汎化したゆるいモデルまで連続的という事があまり理解されないまま法律だけ作られた感じがするｗ

2023/04/28(金) 00:34:34.42

（著作物に表現された思想又は感情の享受を目的としない利用）
第三十条の四　著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は、この限りでない。
一　著作物の録音、録画その他の利用に係る技術の開発又は実用化のための試験の用に供する場合
二　情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の解析を行うことをいう。第四十七条の五第一項第二号において同じ。）の用に供する場合
三　前二号に掲げる場合のほか、著作物の表現についての人の知覚による認識を伴うことなく当該著作物を電子計算機による情報処理の過程における利用その他の利用（プログラムの著作物にあつては、当該著作物の電子計算機における実行を除く。）に供する場合

2023/04/28(金) 07:41:13.50

いや当時の総務省がガッツリ入り込んで法整備したから強固だよ😅

2023/04/28(金) 07:59:58.12

不均衡なラベルの分類問題は少ないラベルに大きい重みを付けるってよくやるじゃん
回帰問題でも近いことをやりたいんだけど知られてる手法ってある？
精々logとかsqrtして分布をちょっと変えるくらい？

2023/04/28(金) 08:08:46.96

「なぜそこまでＡＩ開発を優遇するのか」…著作物利用、先進国で最も規制が緩い日本
https://www.yomiuri.co.jp/national/20230428-OYT1T50014/

2023/04/28(金) 08:15:40.92

日本はスパイ天国でデータ抜き放題でどんどんデータを他国に無料であげるという特異国家だからな
政府もAIは何がなんだかよくわからないから法案も出せない

2023/04/28(金) 10:49:49.61

それはまた違う話😅

2023/04/28(金) 10:51:34.93

日本はアトムやドラえもんみたいな肯定的なAI思想が育ってるからなぁ

2023/04/28(金) 18:03:53.07

ドラえもんの時代までならず者国家が存在したという設定が無いからね
F先生がガチでそういうストーリー描いてたら22世紀の地球はどうなったことやら

2023/04/30(日) 19:20:05.10

え？生成するから生成系？そうだっけ？😅

2023/05/06(土) 02:38:10.17

>>117
学習を行う際に設定するパラメーターはハイパーパラメーター
学習モデルの学習量を示す指標のパラメーターとハイパーパラメーターは違う。

2023/05/08(月) 08:54:04.14

>>128
でも日本のデータは役人が捏造改ざんもので世界の誰も信用してないけどなｗ

2023/05/08(月) 10:13:24.39

日本だけだと思ってるピュア民😅

2023/05/08(月) 12:42:18.22

日本ガーといいたいだけ

2023/05/08(月) 12:45:44.19

どこの国も、役人や政治家は基本時代遅れの低能じゃよ

2023/05/10(水) 18:20:39.86

辻井センセ、なんかちょっとズレてきてない？😅

2023/05/12(金) 17:58:46.46

ソフバンがgptやんの？😅

2023/05/13(土) 21:25:29.44

「政府はAIに仕事を奪われる人への対応策を考えるべき」と
Googleに買収されたAI企業・DeepMindの創設者が警告

いらなくなった頭脳労働者をどうするのか？
っていう議論の必要性を訴えている人もいるな

2023/05/13(土) 21:28:03.03

べーシックインカム

2023/05/13(土) 21:51:12.81

仕事がなくなった人のこともAIに考えさせれば問題解決

2023/05/13(土) 22:24:09.46

IT系の人手が足りないって言ってたのが解消されるからいいんじゃないの？

2023/05/14(日) 07:37:42.41

頭脳労働者は頭がついてないんか

2023/05/14(日) 22:28:43.27

機械化が進んで肉体労働者の価値が下がり
AI化が進んで頭脳労働者の価値も下がることになるので
昔みたいに文武両道みたいな感じになるんかや、、
数学のマイナス分を1500m走で取り戻すみたいな
そっちの方が世の中、健全になりそうな気がするけど
IQが高くなればなるほど、障害の率が上がって行くのは
統計的にわかっているからな

2023/05/15(月) 09:45:14.81

ai発達したからもう人手不足じゃなくなると思う

2023/05/15(月) 11:33:03.43

全部AIにやってもらって人間は好きなことをやればいい

2023/05/15(月) 14:17:08.48

このスレではもう少し技術的な話を期待されていると思うぞ

2023/05/15(月) 19:52:23.51

頭脳労働者の価値は減らんよ
本当に頭脳使ってたならw

2023/05/16(火) 21:35:23.92

残る頭脳労働者は上位1％以下
使えるロボットの普及までには時間がかかるので余った奴は現場職に就けば良いが、右肩上がりで増えてる中途半端な大卒者が雇用ギャップ

文系でもウエルカムなデータサイエンス科とか幾つ出来るんだ？

2023/05/16(火) 22:23:54.78

もともと低価値の浅い文系WCの価値が更に低くなるけど、資本主義の仕組み的に、
カネ持ってる組織が更に儲かるわけだから、なんだかんだで殿様の近くにいるようなのが肥え続けるんじゃないだろうか

2023/05/16(火) 23:09:39.13

>>150
現場に就けばいいがと言っても
頭でっかちで動けない奴は厳しいんじゃないの、、
人間関係的にも大卒の雰囲気ではないだろうし
肉体労働でも職人系は若くからやってる奴には勝てない職種
スポーツの英才教育みたいもので
同じ才能があったとして20代半ばからやり始めた奴は
10代半ばからやってる奴に技能的な部分では勝てない
そもそも向いてない人が、後追いで入って来ても技能的には厳しいだろうな

2023/05/17(水) 04:05:31.97

文系トイレ？😅

2023/05/17(水) 23:12:04.50

いつの間にかレベル4の完全自動運転バスが日本で実用化されてた
この分野がどんどん発展して、配送業のラストワンマイル問題が解消されたら街の様子が一変するだろうなぁ
高度な技術を習得すればそれを活用できる職場が増えるだろうから、今の10代が羨ましいよ
今より実力が正当に評価される社会になっているだろう
仕事を失う人もいるかも知れないが、幸せになるべき人が幸せになる。それでいいと思う
岸田さんが総理になって本当に良かった

2023/05/18(木) 00:26:40.72

>>154
最近交通系の論文読んでるんだが、意外と自動運転車だらけになって街が効率よく機能するためには課題が多いみたい。
自動運転だけできて、協調なしに自動運転車を沢山走らせたときの交通がカオスになる可能性があるから、協調した運行をして効率化をするのが課題みたいよ。

2023/05/18(木) 01:47:54.87

それはまあ人間の運転でも渋滞波とか起きるし…と思ったが交通違反しないと解消できないデッドロックとかが起きると詰みそうだな

2023/05/19(金) 12:26:51.69

エクセルで統計解析マジめんどくさい
数千行あるビックデータなんだけど
基本統計量出してヒストグラム書くのでさえ半日掛けたのに出来ない
上司が無能だから必要性を説明してもエクセルで俺は出来たの一点張りで
統計解析ソフト買ってくれない
エクセルでは箱ヒゲ図さえ作れないのに上司に統計データサイエンスの素養がないから何も分かっていない

2023/05/19(金) 18:02:47.70

>>157
ディスってる訳でなく、普通にどっちの気持ちも分かる気がする

2023/05/19(金) 19:11:39.42

理論的には正しいがその理論が難解で組織内で自分以外は理解不能な場合にどうやって経営上の意思決定をしてもらえばいいのか問題

2023/05/19(金) 19:55:37.24

それは問題か

2023/05/19(金) 21:37:37.65

Python使え

って言えばいいのか

2023/05/20(土) 01:52:12.68

お前さんの人間力が足りないのが最大の問題
まあもっと足りない自分は鬱になって会社辞めるしか無かったですがな

2023/05/20(土) 10:36:34.88

素人相手のときはグラフィックに訴えたほうが上手く騙せる

2023/05/20(土) 12:58:28.71

学力より大事だが学業に置いて評価対象に入らないのが人間力
自分等の時代は体力も大事だったけど
2時、3時帰りが3～4日続くともう全く頭が回らなかったからな
寝て無くても動ける人と
ドンドン差が開いていくので、この仕事に向いてないなと思って辞めたけど

2023/05/20(土) 14:03:07.02

意味不明

2023/05/20(土) 14:36:40.67

マジで意味不明

2023/05/20(土) 14:56:55.53

今はまともな企業ならむしろ残業削減しまくるように求められるので寝ずに働ける能力など何の価値もない

2023/05/20(土) 15:43:56.07

働き方変わったからなあ

2023/05/20(土) 22:37:48.48

>>163
人間力とはなんですか？
定義を提示してください

2023/05/20(土) 22:38:39.06

失礼。アンカーズレ
>>164
人間力とはなんですか？
定義を提示してください

2023/05/20(土) 23:07:41.97

どれだけ人間ぽいことができるかの指標かな。
つまり三大欲求食欲性欲睡眠欲の強さ。

2023/05/20(土) 23:45:12.04

曖昧すぎる

2023/05/20(土) 23:48:44.28

個人的な造語はアウトですね。
誰からも理解は得られないと思われ

2023/05/21(日) 00:23:07.78

自分が思う「職場における人間力」を厳密に答えたら嫌われてスレが過疎る
受け手に自発性が無いようなコミュの取り方をすると直ぐ人はいなくなる
数学的証明や理論的な話はnoteに書いてリンク張ればいいのかな？

2023/05/22(月) 18:24:09.23

langchain，なんか使いにくくない？😅

2023/06/02(金) 10:22:47.43

おまえらPython使いこなせる？
まさかExcel？

2023/06/02(金) 13:49:55.52

馬鹿には無理

2023/06/02(金) 18:10:20.99

Python使えないやつが機械学習なんてやらんよ

2023/06/02(金) 18:53:13.13

chatgptにPythonプログラム作ってもらうから大丈夫

2023/06/06(火) 03:44:07.88

>>118
私はアルゴリズムの部分を読んだら出来るだけ自分で実装して、そのあとに本のソースコードの部分を確認してる。

2023/06/07(水) 03:29:24.28

>>176
Excelが苦手すぎてなんでもPythonでやってるんだけど、
流石に1000サンプルとかの基本統計量を出したり簡単な抽出をしたりするのに、
Pandasで読み込んでちょろっとjupyterでプログラム書いて見るのはバカバカしい気がしてきた。
何回も使う場合だったらいいんだけど、MTGしながら表データ貰ってちょっと平均と標準偏差見て偏差値で色つけて特殊な値について話すみたいなのは、Pandasだと手数が多いんだよなあ。
どうでもいいけどsklearnで用意されてることはExcelで出来たらいいのになとも思ってる。クラスタリングとかExcelでちょちょっと出来たらかなり便利だと思うんだけどね。

2023/06/07(水) 07:16:26.70

その作業でも明らかにPythonの方が早いけど？w