【統計分析】機械学習・データマイニング33

2023/03/17(金) 01:30:49.78

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2023/04/03(月) 03:21:38.77

もうググったほうが速いだろ
情報元が信頼できるかも確認できるし
文章の要約とかが適切な使い方な気がする

2023/04/04(火) 20:34:16.02

>>67
内容が違うというのはデータの量でなんとでもなるんじゃないの？
もう既にアレンジ能力が人間では真似できないけど

@AIBoom_net 日本医師国家試験にGPT-4が合格
mevius.5ch.net/test/read.cgi/tech/1677856680/101
過去5年間にわたる試験で複数の大規模言語モデルをテストした所GPT-4は5年間全てに合格したとのこと。

らしいぞ

2023/04/04(火) 20:39:19.57

データセットだな
まだまだ進化することが予想されているので
データセットを大量に作れてしまうような分野はもうダメだろうな

2023/04/05(水) 17:56:02.42

ChatGPTに関してはちょっと違う。なぜかというとChatGPTのバックエンドで動作してる
GPT3.5/4.0に関しては用意した学習データで機械学習を実施してモデルを生成したら終わりでは
なくて、生成したモデルの回答を人間が監修することで再学習を実施する教師あり学習を
可能とした新しいLLMを採用したところに大きな特徴を持つからだ
LMは機械翻訳で使用されているSeq2Seqに代表されるように生成されたモデルはブラックボックス
であり、例え、明らかな誤訳が得られたとしても修正やデバックが困難なところに大きな
課題を抱えていたが、OpenAIは、ChatGPT3.5以降からは不正解であれば、そう教えることで
モデルの精度を高めていくことを可能にした。
また、最近OpenAIが発表した論文（arXiv2303.10130）ではSATやBar Examとか
専門分野の試験のスコアがGPT3.5からGPT4でどれだけ向上したかが検証されているが、
同時にこの論文の内容からはOpenAIがこうした専門分野ごとに学習データを作ってGPT3.5
で悪かった専門領域を重点的に学習させていることがわかる。これらが全て教師付きで再学習を
必要としていることを考慮するとChatGPTの開発には教師として膨大な各分野の専門家の
ヒューマンリソースが投じられてることがわかる。
また、ChatGPTがもう一つこれまでの深層学習モデルと異なるのは、機械学習の実施にあたって
膨大な計算機リソースが使用された点にもある。最近の記事によるとChatGPTの機械学習には
マイクロソフトがA100x10000枚のGPUクラスターをこのためだけに新規で設置したと
書かれてあった。この環境はTop500ではトップ５位に相当するGPUスーパーコンピュータで
マイクロソフトはChatGPTの機械学習環境を整備するためだけにラックから全て約1億ドルを
投じて新規に導入した。これとは別に公開サーバー用の実行環境がDGXで構築されており、
実行環境の維持費だけで1日60万ドルと書かれてあった。

2023/04/05(水) 23:01:01.90

よめません

2023/04/06(木) 06:45:32.12

他人に文章を読んでもらうという意識がないとこういう文章を書く

2023/04/06(木) 08:52:21.14

Chatgptに要約してもらったぞ

OpenAIのChatGPTは、GPT3.5/4.0に基づいており、教師あり学習を用いて生成されたモデルの回答を人間が監修し、再学習することで精度を高めている。これにより、機械翻訳などでブラックボックスとなっていた生成モデルの修正やデバッグが可能になった。専門分野の試験のスコアを向上させるために、各分野の専門家が必要なヒューマンリソースを投じ、マイクロソフトがA100x10000枚のGPUクラスターを設置して、ChatGPTの機械学習に膨大な計算機リソースを使用している。

2023/04/06(木) 11:23:57.44

これぞ有用なChatGPTの使い方だな

2023/04/06(木) 11:24:57.76

Pythonの学習に300時間
Sの学習に500時間かかるくらいなら
SPSSを使うって人が大多数だよね
でもバーサスの関係で語られる記事見かけるけど殆どがプログラマーの意見だからPython贔屓で参考にならない
企業がSPSSやSASを使い続ける利点ってそこでしょう

2023/04/06(木) 11:25:33.52

Sの学習×
Rの学習◯

です

2023/04/06(木) 16:25:04.96

NLPのゴールって読解と生成だけど、完成と見なして良いんだろうな
現状の課題って参照してる情報に起因する問題だし

2023/04/06(木) 17:51:21.95

記号接地問題。。。

2023/04/06(木) 19:20:15.94

演繹、帰納、帰結、現実との対応
この辺がとけないとダメだな

2023/04/06(木) 22:52:30.60

NLPが完成ｗ

2023/04/08(土) 20:40:23.50

人工知能を作るにはどうしたらいいの

人工知能を作るには、以下のようなステップが必要です。

機械学習の基礎を学ぶ：人工知能の基礎となる機械学習の基礎知識が必要です。大学や研究機関での学位取得や、オンラインのコースや書籍を通じて学ぶことができます。

データの収集と前処理：機械学習アルゴリズムを動作させるためには、多くのデータが必要です。データを収集し、必要な前処理を行うことが必要です。前処理には、欠損値の処理、スケーリング、特徴選択、次元削減などが含まれます。

アルゴリズムの選択とモデルの構築：収集したデータを用いて、適切なアルゴリズムを選択し、モデルを構築します。機械学習には、教師あり学習、教師なし学習、強化学習などのタイプがあり、それぞれのタイプに適したアルゴリズムを選択する必要があります。

モデルの評価とチューニング：モデルの性能を評価し、性能を向上させるために必要な調整を行います。モデルの評価には、交差検証、テストデータセットを用いた評価などがあります。ハイパーパラメータのチューニングも必要です。

モデルの実装とデプロイ：最後に、モデルを実装し、実際のアプリケーションにデプロイする必要があります。モデルの実装には、プログラミング言語やフレームワークの選択、モデルのエクスポート、APIの開発などが含まれます。

以上のステップを順に実行することで、人工知能を作成することができます。ただし、人工知能の開発には多くの時間と労力が必要であり、経験と知識も重要です。

2023/04/09(日) 13:51:09.51

SQLで3ヶ月以内の給料の合計を求めるみたいな処理、
ベタ書きが模範解答とか欠陥言語としか思えないのじゃ。

https://www.codingninjas.com/codestudio/problems/find-cumulative-salary-of-an-employee_2196176?topList=top-100-sql-problems&leftPanelTab=2

2023/04/11(火) 16:42:44.57

ChatGPT使うにも電話番号の登録が必要とかバカみたい
結局個人に結び付いたいろんなビッグデータが欲しいだけじゃん

2023/04/11(火) 18:01:06.57

今、どこもそうだろう
日本のQR決済も個人の購入データ入手して
データ活用して更に買わす方向に持って行きたい訳で
Appleやgoogleがプライバシー云々でいろいろやっているが
結局他を排除して自分ところで情報を握りしめて利益に繋げようとしているだけだし

データを取られて精度が高まって行くのはわかっているが
メリットがあるから仕方なく使っているって感じじゃないの、、、みんな

2023/04/11(火) 18:48:27.31

しゃーないねマルウェア書かせたり迷惑メール書かせたりする奴がいるから

2023/04/11(火) 20:03:40.26

個人に紐付ける仕組みがなければ複垢作られまくってあっという間にサーバーパンクするのは目に見えている

2023/04/11(火) 20:21:05.54

midjourneyの無料を使い尽くしたのは中国人だったなイナゴみたい😡

2023/04/11(火) 20:39:33.41

本物見たいなスパムがシナから一杯飛んできてるよ

2023/04/11(火) 23:55:36.15

ロシアからの迷惑メールが増えたな

2023/04/13(木) 00:47:37.83

最新の機械学習に詳しい書物があればご教示願いたい。

2023/04/14(金) 22:18:41.23

pretrainしてgenerateしたものに点数を付けて評価をするという方式で
高い評価を得た人でも
その分野において膨大な量をpretrainしたAIには勝てそうにない
むしろ、pretrainが少なく、generateすることを余儀なくされて
pretrainの組み合わせに無いパターンで「何！それ！アホだろ」とか言われてきた
低能と呼ばれている人の方が実は新たな発想力的なものを持ってたりして

2023/04/14(金) 22:25:33.82

なんか意味わからんから要約頼んだ

AIの評価は、pretrainしてgenerateしたものに点数を付ける方法が一般的であるが、この方法では、膨大な量をpretrainしたAIに勝つことはできない。実際に、pretrainが少なく、generateすることを余儀なくされる人たちは、新しい発想力を持っていることがあり、低能と呼ばれることもある。

2023/04/14(金) 22:53:17.47

どうも要約がイマイチだと思って試してみたが
そもそも元の文章が大して長くないので
それなりに要約している奴はそれほど短くならない
イマイチの文章だが短い奴をワザワザ選んだ訳だな

2023/04/14(金) 23:04:44.48

要約ってより元の文章が…

2023/04/15(土) 01:14:31.85

>>94
そういう場合は、「馬鹿でもわかるように下記の文章を書き直してください。」と書くんだよ

「前もって学習されたものを使って文章を生成し、それに評価点をつける方法」があるけど、
高得点を取った人でも、その分野で大量の学習をした人工知能には勝てないことがあるんだよ。
むしろ、学習が不十分で文章を生成しなければならない場合、新しい考え方やアイデアにつながるような、
学習の組み合わせにないものを提供できることがあるんだ。実際には、馬鹿と呼ばれる人でも、
新しいアイデアを持っていることがあるよ。

2023/04/15(土) 11:12:53.72

>>95
で意味わかるの？これで？w

2023/04/15(土) 21:16:31.43

ChatGPTの知ったかぶりを問いただすにはどうすれば良いんだろうか

2023/04/15(土) 21:43:57.05

そういう仕様だからなあ
一から作り直すしかないかも

2023/04/16(日) 02:09:27.35

機械学習の職歴のない者がエンジニアとして雇ってもらおうと思ったら... やっぱ何か
アプリを作って「こんなんできました」とか持ってった方がいいんだろうか
だが差し当たって何のアプリを作ろうかというアイデアが

2023/04/16(日) 15:49:32.02

temperatureをゼロにしても駄目？
未知のことは埋め込み空間で未知という意味のところにマッピングされんの？？🤔

2023/04/16(日) 16:33:43.02

未知かどうかを埋め込み空間で判定するの難しいだろ
学習した内容同士を内挿して人間の持つ知識から見たらいい結果が得られる場合と得られない場合があって、
いい結果でないときに「知ったかぶり」と言ってるだけだろう。
日本における東京はタイでいうところのどこ？という質問に答えるときに、人間だってこの文章を丸暗記してるから答えられるわけじゃなくて内挿して答えてるだけだろ

2023/04/16(日) 16:39:43.16

誰か解釈してくれ

2023/04/16(日) 19:31:12.11

スルーで

2023/04/17(月) 13:53:58.68

若ければ未経験でもいいけど、さすがに30超えたジジイは脳みそ硬直してるから機械学習は無理

2023/04/17(月) 14:02:39.50

うちは研究開発やってる三、四十代が自分らでPython使って機械学習やってるよ

2023/04/17(月) 23:51:11.51

物理専攻だったから30超えてても余裕だった

2023/04/18(火) 05:40:37.64

なんでもイジングモデル

2023/04/18(火) 08:02:24.86

アニーリングガーとか昔やったなあ
ニューラルネットとか純粋な興味で勉強・研究してたけど
今になって応用面がブレークしてる感じ

2023/04/18(火) 19:26:17.99

>>97
知ったかなんて長い目で見れば一時の話しで
多くの人間がひたすら使ってれば学習して修正していくんじゃないの

高学歴者とか今までの評価システムで優位に立ってきた連中が必死に否定しそうだけど
弁護士がいらなくなる、ホワイトカラーの9割はいらなくなるとか、創造、創作系とか
そっちの影響が強くて肉体労働者は従来通り自動化の影響は受けるが、AIの影響は受けにくいとされているからね

2023/04/18(火) 19:40:27.68

士業（）とくに税理士とか大昔から不要だっただろうけど、必死に自民党に献金して残ってるじゃん

2023/04/19(水) 05:22:49.05

弁護士は便後士とは良く言ったものでどちらも他人の尻拭いがお仕事です

2023/04/19(水) 05:47:46.20

仕業はとっくにオワコン

2023/04/19(水) 07:45:12.61

アマチュア無線技士も終わりかな？

2023/04/19(水) 17:52:36.38

e検定とか今更とってもしゃーなくない？
aiのほうが精度の高いモデルやプログラムをつくれるじゃん

2023/04/19(水) 18:04:48.01

Chatgptで合格点余裕で出そうw

2023/04/22(土) 03:26:32.54

年齢で切っちゃうのは勿体無いね
一番は興味だよ、どこまで没頭できるか。若い子には無理なんじゃないの。

2023/04/23(日) 09:21:13.58

gptでパラメータを増やせば創発が見られたというけど
結局タスクの精度がそれで決まるなら
人間の頭の良さも生まれってことになるよね

まあ多少は学習法と学習時間に左右されるけど

元々パラメータ数が少ないポンコツであれば
どんな学習法でもどんなに学習時間をかけても所詮ポンコツってことじゃん😅

2023/04/23(日) 09:23:33.92

本とかで機械学習を勉強してるんだけど、.ipynb が提供されているような場合も
全部自分でゼロから入力してみた方がいいですかねえ

2023/04/23(日) 10:33:58.80

>>117
スポーツがそうであるように勉強が出来る出来ないも、努力できる、できないも
遺伝が大きく影響するっていう運的要素が強いことがわかっていて
金持ちになる、ならないも運的要素が強いことがわかっている
アメリカは努力した人が金持ちになるという風潮が強いから
低所得者は怠け者だとみなし手厳しいルールになっているが
ヨーロッパの方は、半分以上の人が金持ちはただの運だと思っているので
わりと温いルールになっている

2023/04/27(木) 19:50:07.76

機械学習用データって少なくとも日本国内では法整備されてるって認識だったけど、生成系の注目でパクリだ論が勃発
感情論に押し切られて改正されたら嫌だな

2023/04/27(木) 21:29:36.95

あやめデータは渡さんよ

2023/04/27(木) 21:48:56.74

第四十七条の七　著作物は、電子計算機による情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の統計的な解析を行うことをいう。以下この条において同じ。）を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案（これにより創作した二次的著作物の記録を含む。）を行うことができる。ただし、情報解析を行う者の用に供するために作成されたデータベースの著作物については、この限りでない。

2023/04/27(木) 21:53:07.34

なんか法律家が、機械学習や統計モデルは著作権的に問題ない的なツイートをしてた記憶だけど、データの丸暗記から汎化したゆるいモデルまで連続的という事があまり理解されないまま法律だけ作られた感じがするｗ

2023/04/28(金) 00:34:34.42

（著作物に表現された思想又は感情の享受を目的としない利用）
第三十条の四　著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は、この限りでない。
一　著作物の録音、録画その他の利用に係る技術の開発又は実用化のための試験の用に供する場合
二　情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の解析を行うことをいう。第四十七条の五第一項第二号において同じ。）の用に供する場合
三　前二号に掲げる場合のほか、著作物の表現についての人の知覚による認識を伴うことなく当該著作物を電子計算機による情報処理の過程における利用その他の利用（プログラムの著作物にあつては、当該著作物の電子計算機における実行を除く。）に供する場合

2023/04/28(金) 07:41:13.50

いや当時の総務省がガッツリ入り込んで法整備したから強固だよ😅

2023/04/28(金) 07:59:58.12

不均衡なラベルの分類問題は少ないラベルに大きい重みを付けるってよくやるじゃん
回帰問題でも近いことをやりたいんだけど知られてる手法ってある？
精々logとかsqrtして分布をちょっと変えるくらい？

2023/04/28(金) 08:08:46.96

「なぜそこまでＡＩ開発を優遇するのか」…著作物利用、先進国で最も規制が緩い日本
https://www.yomiuri.co.jp/national/20230428-OYT1T50014/

2023/04/28(金) 08:15:40.92

日本はスパイ天国でデータ抜き放題でどんどんデータを他国に無料であげるという特異国家だからな
政府もAIは何がなんだかよくわからないから法案も出せない

2023/04/28(金) 10:49:49.61

それはまた違う話😅

2023/04/28(金) 10:51:34.93

日本はアトムやドラえもんみたいな肯定的なAI思想が育ってるからなぁ

2023/04/28(金) 18:03:53.07

ドラえもんの時代までならず者国家が存在したという設定が無いからね
F先生がガチでそういうストーリー描いてたら22世紀の地球はどうなったことやら

2023/04/30(日) 19:20:05.10

え？生成するから生成系？そうだっけ？😅

2023/05/06(土) 02:38:10.17

>>117
学習を行う際に設定するパラメーターはハイパーパラメーター
学習モデルの学習量を示す指標のパラメーターとハイパーパラメーターは違う。

2023/05/08(月) 08:54:04.14

>>128
でも日本のデータは役人が捏造改ざんもので世界の誰も信用してないけどなｗ

2023/05/08(月) 10:13:24.39

日本だけだと思ってるピュア民😅

2023/05/08(月) 12:42:18.22

日本ガーといいたいだけ

2023/05/08(月) 12:45:44.19

どこの国も、役人や政治家は基本時代遅れの低能じゃよ

2023/05/10(水) 18:20:39.86

辻井センセ、なんかちょっとズレてきてない？😅

2023/05/12(金) 17:58:46.46

ソフバンがgptやんの？😅

2023/05/13(土) 21:25:29.44

「政府はAIに仕事を奪われる人への対応策を考えるべき」と
Googleに買収されたAI企業・DeepMindの創設者が警告

いらなくなった頭脳労働者をどうするのか？
っていう議論の必要性を訴えている人もいるな

2023/05/13(土) 21:28:03.03

べーシックインカム

2023/05/13(土) 21:51:12.81

仕事がなくなった人のこともAIに考えさせれば問題解決

2023/05/13(土) 22:24:09.46

IT系の人手が足りないって言ってたのが解消されるからいいんじゃないの？

2023/05/14(日) 07:37:42.41

頭脳労働者は頭がついてないんか

2023/05/14(日) 22:28:43.27

機械化が進んで肉体労働者の価値が下がり
AI化が進んで頭脳労働者の価値も下がることになるので
昔みたいに文武両道みたいな感じになるんかや、、
数学のマイナス分を1500m走で取り戻すみたいな
そっちの方が世の中、健全になりそうな気がするけど
IQが高くなればなるほど、障害の率が上がって行くのは
統計的にわかっているからな

2023/05/15(月) 09:45:14.81

ai発達したからもう人手不足じゃなくなると思う

2023/05/15(月) 11:33:03.43

全部AIにやってもらって人間は好きなことをやればいい

2023/05/15(月) 14:17:08.48

このスレではもう少し技術的な話を期待されていると思うぞ

2023/05/15(月) 19:52:23.51

頭脳労働者の価値は減らんよ
本当に頭脳使ってたならw

2023/05/16(火) 21:35:23.92

残る頭脳労働者は上位1％以下
使えるロボットの普及までには時間がかかるので余った奴は現場職に就けば良いが、右肩上がりで増えてる中途半端な大卒者が雇用ギャップ

文系でもウエルカムなデータサイエンス科とか幾つ出来るんだ？

2023/05/16(火) 22:23:54.78

もともと低価値の浅い文系WCの価値が更に低くなるけど、資本主義の仕組み的に、
カネ持ってる組織が更に儲かるわけだから、なんだかんだで殿様の近くにいるようなのが肥え続けるんじゃないだろうか

2023/05/16(火) 23:09:39.13

>>150
現場に就けばいいがと言っても
頭でっかちで動けない奴は厳しいんじゃないの、、
人間関係的にも大卒の雰囲気ではないだろうし
肉体労働でも職人系は若くからやってる奴には勝てない職種
スポーツの英才教育みたいもので
同じ才能があったとして20代半ばからやり始めた奴は
10代半ばからやってる奴に技能的な部分では勝てない
そもそも向いてない人が、後追いで入って来ても技能的には厳しいだろうな

2023/05/17(水) 04:05:31.97

文系トイレ？😅

2023/05/17(水) 23:12:04.50

いつの間にかレベル4の完全自動運転バスが日本で実用化されてた
この分野がどんどん発展して、配送業のラストワンマイル問題が解消されたら街の様子が一変するだろうなぁ
高度な技術を習得すればそれを活用できる職場が増えるだろうから、今の10代が羨ましいよ
今より実力が正当に評価される社会になっているだろう
仕事を失う人もいるかも知れないが、幸せになるべき人が幸せになる。それでいいと思う
岸田さんが総理になって本当に良かった

2023/05/18(木) 00:26:40.72

>>154
最近交通系の論文読んでるんだが、意外と自動運転車だらけになって街が効率よく機能するためには課題が多いみたい。
自動運転だけできて、協調なしに自動運転車を沢山走らせたときの交通がカオスになる可能性があるから、協調した運行をして効率化をするのが課題みたいよ。

2023/05/18(木) 01:47:54.87

それはまあ人間の運転でも渋滞波とか起きるし…と思ったが交通違反しないと解消できないデッドロックとかが起きると詰みそうだな

2023/05/19(金) 12:26:51.69

エクセルで統計解析マジめんどくさい
数千行あるビックデータなんだけど
基本統計量出してヒストグラム書くのでさえ半日掛けたのに出来ない
上司が無能だから必要性を説明してもエクセルで俺は出来たの一点張りで
統計解析ソフト買ってくれない
エクセルでは箱ヒゲ図さえ作れないのに上司に統計データサイエンスの素養がないから何も分かっていない

2023/05/19(金) 18:02:47.70

>>157
ディスってる訳でなく、普通にどっちの気持ちも分かる気がする

2023/05/19(金) 19:11:39.42

理論的には正しいがその理論が難解で組織内で自分以外は理解不能な場合にどうやって経営上の意思決定をしてもらえばいいのか問題

2023/05/19(金) 19:55:37.24

それは問題か

2023/05/19(金) 21:37:37.65

Python使え

って言えばいいのか

2023/05/20(土) 01:52:12.68

お前さんの人間力が足りないのが最大の問題
まあもっと足りない自分は鬱になって会社辞めるしか無かったですがな

2023/05/20(土) 10:36:34.88

素人相手のときはグラフィックに訴えたほうが上手く騙せる

2023/05/20(土) 12:58:28.71

学力より大事だが学業に置いて評価対象に入らないのが人間力
自分等の時代は体力も大事だったけど
2時、3時帰りが3～4日続くともう全く頭が回らなかったからな
寝て無くても動ける人と
ドンドン差が開いていくので、この仕事に向いてないなと思って辞めたけど

2023/05/20(土) 14:03:07.02

意味不明

2023/05/20(土) 14:36:40.67

マジで意味不明

2023/05/20(土) 14:56:55.53

今はまともな企業ならむしろ残業削減しまくるように求められるので寝ずに働ける能力など何の価値もない