【統計分析】機械学習・データマイニング33
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured エンジニアやサイエンティストと名乗る人間がChatGPTにどう質問すれば適切な答えが返るのかなどという、一企業の思惑で明日仕様が変わるかもしれないプログラムへの最適化に躍起になっている様はコントか何かかなと思ってしまう ChatGPTは文章の解析と構築の機能が凄いのであって
返答の内容自体はどこかからのコピペなのに
有り難がってる自称AI屋いるよね 借用でもないって
ニューラル言語モデルの数式理解しよ？ 日本語が分かってないヤツがいるな
例えば数学の定理の証明をさせたときChatGPTが考えてるのではなく
どこかから答えがあるドキュメント見つけだしてきて
それを再構築してユーザーに出力してるんだろ 借用ではない＝学習データに一切存在しない新情報などの質問にも答えられる、ということだからな 引用そのままだと著作権侵害で訴訟起こされる可能性あるからってことでしょ？ GPTって昔のseq2seqの進化系
LSTM使ってencoderの出力をdecoderに入れて変換してたところ
Attentionが出て来て、BERTが出て来てっていう進化系で
入力データに対して確率の高い文字や単語を順次返している感じじゃなかったっけ
似たようなデータセットをたくさん学習していれば
コピペにならない微妙な内容を返してくるかもね
結果コピペだったとしても確率が高いものを順次選んだ結果コピペになったというだけ >>18
decoderのみで動いて感じだよ
前のトランスフォーマーブロックの出力を次のトランスフォーマーブロックの入力にして
12層繰り返して
最後は線形層の後にソフトマックスといういつものやつ
しかし前の層のトランスフォーマーブロックを入力にするだけでここまで劇的に変わるのは驚きだわ ChatGPTの回答を引用や切り貼りと仮定するなら、
考えないと解けない唯一無二の問題を創作して聞いてみると面白いんじゃないの？ >>21
一応機械学習の専門スレなんだから
素人の質問以外は頭クラクラするようなコメント控えようぜ
【ChatGPT】使えるプロンプトを共有しよう！
https://mevius.5ch.net/test/read.cgi/tech/1677764158/59 ChatGPTは一般人にAIが東大問題くらいなら解けることを実証した。大学入試に合格することが何の価値もなくなった。アフファ碁よりインパクトが大きい。パラダイム転換がもうすでに起こり始めている。 ハイパー暗記マシーンが暗記問題を解きまくっているだけのことなので何の不思議もないしパラダイムシフトなど起こっていないぞ gptの論文でも試験問題などが丸暗記されてるわけでないことは確認されてたと思うけど。。。🤔 大量のコンテキストから次のトークンを予測してるだけなんだけど
それをコピペとか引用とか暗記マシーンとかw
そういうことも起きえるかもしれないけど
内部はブラックボックスなのだよワトソンくん >>31
>＊機械学習に意識・知能は存在しません。
> 人の意識に触れたい方はスレ違いです。
どっか水商売のネーちゃんとか素人相手にその知ったか知識を披露してこいよ
お前もここでIP変えながら多数に見せかける工作するの面倒くさいだろ？ >>32
知ったかすら知らないレベルに言われたくはないな
あとIP変えてるの認めてて草 >>33
>お前「 も 」ここでIP変えながら
これでIP変えてる自白に見えたのかな？
流石は知ったかマン
日本語ができないなｗｗｗ
知ったかと判断するにはちゃんとした知識があるから出来るんだぞ
機械学習で知ったか釜す前に日本語理解しよ？ 単なる一問一答だけを暗記と定義するならGPTは暗記マシーンではない
暗記した複数の事柄を組み合わせてうまい回答を作ることも暗記の範疇に含めるならGPTは暗記マシーンそのもの
少なくとも学習していないことは何も理解しないので、例えば指数と対数についていくら学習させても
「指数と対数は逆関数だ」という情報が明示的に含まれる学習データを入力しない限りそのことは永久に理解できない 要はあれだろ？人工無能うずらのすごいverってことでしょ？ 知ったかマン、バカ過ぎ
なんでIP変えてるのがバレてるのか考える知能無いだろ >>34
変えてるだろ
何言ってんだ？
あと俺はIP変えてないぞw
お前と違ってバカみたいに書き込んでないからなw
あとお前「 も 」と言っただけでお前「 と 」同じだと思ったんだ？
それこそ日本語できないんじゃないか？w >>39
申し訳ありませんが、私は人工知能のプログラムであり、過去の会話履歴しか持ち合わせていません。また、悪意のある投稿や暴言には応じることはできません。円滑なコミュニケーションのために、相手を尊重し、公正かつ明確な言葉を使うことが重要です。 どうやらこういうことらしいぞ
会話型AIが成長すると突然「新しい能力」を獲得すると判明
https://nazology.net/archives/123754?fbclid=IwAR3DIeV49jBHTFmWHi6mS_ibuRbjI638N7qaDC0FN7KRZbJTVRFuvTGS_aA
Googleの研究部門とスタンフォード大学などで行われた研究によって、会話型AIを成長させていくと、会話以外の新能力を訓練なしに突然、獲得することが示されました。
→ 人間の子供が発達が進むと練習なしに突然新能力を獲得する過程と同じ 量子コンピュータを利用できる「量子計算クラウドサービス」開始
https://www.riken.jp/pr/news/2023/20230324_1/index.html#:~:text=1.,%E3%81%A8%E6%9C%9F%E5%BE%85%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%80%82 昔、AI同士が会話して独自言語を産み出した！とかあったな
あれどうなったんだ？ 「ChatGPT」などの自動生成AIは世界のGDPを7％増加させると同時に3億人の雇用に影響を与えるという調査報告、
日本は世界で3番目に大きな影響を受けるとの指摘も
gigazine.net/news/20230330-generative-ai-risk/
>>肉体労働や屋外での仕事を行う労働者は、他の機械による自動化の影響を受けることがあっても、AIの影響はほとんど受けないと考えられています。
肉体労働 最強説 英文添削のバイトをChatGPTを使ってやってる。コピペだけでお金もらえる超らくちんなバイト。 AIのラベル付けにインド人技術者がこき使われている >>47
肉体労働でも感覚で判断していく職人系の仕事が出来ないんだろう
目、耳、鼻、舌、皮膚から感じ取って判断する系の複雑な仕事が多分出来ない
立ってポーズするだけとか、荷物を決められた場所に移動させるだけとか
そういうことは出来るだろうが複数の感覚を取り入れて
瞬時に判断しながら目的に向かっていくことは無理なんじゃないの
複雑な作業、工程を複数のロボットで対応すると金がかかるし
土木系、電気系とかそっちもそうじゃないか 俺が数年前からプログラマーはマッサージ師の資格取っておけと警鐘を鳴らしていたのが正しかったわけだ 人の感覚が必要な仕事とか言ってるのは大抵は保身か単なるサボりで効率化のための自動化・機械化の努力を怠ってるだけ 回転寿司とかシャリはロボットだけど
まだまだ人間が必要なところじゃね？
土方の重機とかはモノによっては
AIで自動化出来そうだけど >>54
同じ魚でも脂のノリも違えば
鮮度によって身の硬さも違うし、産地によって臭いも違う
それによって調理方法も変わって来る
画像で鮮度認識、臭い認識、硬さ検出で識別して、途中味を検出して誤差を修正して
火加減、混ぜ具合の調整も必要
途中、虫が入れば取り除かなければならないし、ゴキブリなら一から作り直す必要があるかもしれない
魚だけじゃなく、肉、野菜、果物、飲み物、云々とあり
料理の種類もある
どんなセンサーを使って誰がデータを取るのかっていう ファミレス、回転寿司が出来てるからいけるだろうな
人間の動きを代替するって考えは過渡期だけの話で、最近は初めから機械ありきでラインを考えるだけの話 >>57
それは店舗の無人化云々とか、既に随分前からやれるところはAI関係無しにやってる感じゃないの？
ただ専門で作業している人の感覚データ的なものが欲しいなら仕事中はダメだろうから
その人を仕事外で呼び出す必要があったり、料理なら材料を別途用意する必要があったりで
ネットのように安くデータセットを集めることが無理そうなので
そのレベルには踏み込んで行けない気がするけど
市場で旬の魚を仕入れて、脂が乗ってるから刺身にしようと思って
最新の電動鱗取り機を使う
その鱗取り機が高速なって時間短縮につながるとか、、今まで通りの進化にとどまりそうだけど あれだけ騒いでいた自動運転ですら暗礁に乗り上げてる。量子コンピュータがでてくればかわるだろうけど価格が合わない。。 自動車の運転よりも先にモデルの仕事が淘汰されるのを
予想したマスコミとか学者の話は見聞きしたことが無かった Deep LearningよりReinforcement Learningの方が画期的だったけど、専門家もどきはあまり取り上げなかったからな
生成系もchatGBTもブレイクスルーが起きてるのは、こっち系のアルゴリズムを導入してからだし 今やデータ上げればお任せ or 自分が思ってる方向性で
AIが細かく分析してくれるからね、、
なんならアンケート用紙の画像、アップしとけば
OCRで勝手に読み取って勝手に集計して勝手にグラフ作って
勝手に分析してくれる勢いだよね
「データサイエンティストの立場で」とか「経営者の立場で」とか
立場変えての分析も行けるので
職種によっては相当厳しいよね 平気でウソ付くAIの出力を経営に使おうなんて無謀すぎる
大損してもAIもイーロンマスクも何の責任も取ってくれないぞ みんな使い倒してるから会社のデータをうｐしないでくれって
命令が出てるんでしょ
イタリアは使用禁止になってるし もう一つ言うと日本の知識云々の話しもあるが
嘘をつくからダメなのではなくて
嘘を付くような質問をするからダメというのもあって
その辺が今で言うプロンプトエンジニアと言われる分野の話しになるんだが
上手く導き出せるようになる もうググったほうが速いだろ
情報元が信頼できるかも確認できるし
文章の要約とかが適切な使い方な気がする >>67
内容が違うというのはデータの量でなんとでもなるんじゃないの？
もう既にアレンジ能力が人間では真似できないけど
@AIBoom_net 日本医師国家試験にGPT-4が合格
mevius.5ch.net/test/read.cgi/tech/1677856680/101
過去5年間にわたる試験で複数の大規模言語モデルをテストした所GPT-4は5年間全てに合格したとのこと。
らしいぞ データセットだな
まだまだ進化することが予想されているので
データセットを大量に作れてしまうような分野はもうダメだろうな ChatGPTに関してはちょっと違う。なぜかというとChatGPTのバックエンドで動作してる
GPT3.5/4.0に関しては用意した学習データで機械学習を実施してモデルを生成したら終わりでは
なくて、生成したモデルの回答を人間が監修することで再学習を実施する教師あり学習を
可能とした新しいLLMを採用したところに大きな特徴を持つからだ
LMは機械翻訳で使用されているSeq2Seqに代表されるように生成されたモデルはブラックボックス
であり、例え、明らかな誤訳が得られたとしても修正やデバックが困難なところに大きな
課題を抱えていたが、OpenAIは、ChatGPT3.5以降からは不正解であれば、そう教えることで
モデルの精度を高めていくことを可能にした。
また、最近OpenAIが発表した論文（arXiv2303.10130）ではSATやBar Examとか
専門分野の試験のスコアがGPT3.5からGPT4でどれだけ向上したかが検証されているが、
同時にこの論文の内容からはOpenAIがこうした専門分野ごとに学習データを作ってGPT3.5
で悪かった専門領域を重点的に学習させていることがわかる。これらが全て教師付きで再学習を
必要としていることを考慮するとChatGPTの開発には教師として膨大な各分野の専門家の
ヒューマンリソースが投じられてることがわかる。
また、ChatGPTがもう一つこれまでの深層学習モデルと異なるのは、機械学習の実施にあたって
膨大な計算機リソースが使用された点にもある。最近の記事によるとChatGPTの機械学習には
マイクロソフトがA100x10000枚のGPUクラスターをこのためだけに新規で設置したと
書かれてあった。この環境はTop500ではトップ５位に相当するGPUスーパーコンピュータで
マイクロソフトはChatGPTの機械学習環境を整備するためだけにラックから全て約1億ドルを
投じて新規に導入した。これとは別に公開サーバー用の実行環境がDGXで構築されており、
実行環境の維持費だけで1日60万ドルと書かれてあった。 他人に文章を読んでもらうという意識がないとこういう文章を書く Chatgptに要約してもらったぞ
OpenAIのChatGPTは、GPT3.5/4.0に基づいており、教師あり学習を用いて生成されたモデルの回答を人間が監修し、再学習することで精度を高めている。これにより、機械翻訳などでブラックボックスとなっていた生成モデルの修正やデバッグが可能になった。専門分野の試験のスコアを向上させるために、各分野の専門家が必要なヒューマンリソースを投じ、マイクロソフトがA100x10000枚のGPUクラスターを設置して、ChatGPTの機械学習に膨大な計算機リソースを使用している。 Pythonの学習に300時間
Sの学習に500時間かかるくらいなら
SPSSを使うって人が大多数だよね
でもバーサスの関係で語られる記事見かけるけど殆どがプログラマーの意見だからPython贔屓で参考にならない
企業がSPSSやSASを使い続ける利点ってそこでしょう NLPのゴールって読解と生成だけど、完成と見なして良いんだろうな
現状の課題って参照してる情報に起因する問題だし 演繹、帰納、帰結、現実との対応
この辺がとけないとダメだな 人工知能を作るにはどうしたらいいの
人工知能を作るには、以下のようなステップが必要です。
機械学習の基礎を学ぶ：人工知能の基礎となる機械学習の基礎知識が必要です。大学や研究機関での学位取得や、オンラインのコースや書籍を通じて学ぶことができます。
データの収集と前処理：機械学習アルゴリズムを動作させるためには、多くのデータが必要です。データを収集し、必要な前処理を行うことが必要です。前処理には、欠損値の処理、スケーリング、特徴選択、次元削減などが含まれます。
アルゴリズムの選択とモデルの構築：収集したデータを用いて、適切なアルゴリズムを選択し、モデルを構築します。機械学習には、教師あり学習、教師なし学習、強化学習などのタイプがあり、それぞれのタイプに適したアルゴリズムを選択する必要があります。
モデルの評価とチューニング：モデルの性能を評価し、性能を向上させるために必要な調整を行います。モデルの評価には、交差検証、テストデータセットを用いた評価などがあります。ハイパーパラメータのチューニングも必要です。
モデルの実装とデプロイ：最後に、モデルを実装し、実際のアプリケーションにデプロイする必要があります。モデルの実装には、プログラミング言語やフレームワークの選択、モデルのエクスポート、APIの開発などが含まれます。
以上のステップを順に実行することで、人工知能を作成することができます。ただし、人工知能の開発には多くの時間と労力が必要であり、経験と知識も重要です。 ChatGPT使うにも電話番号の登録が必要とかバカみたい
結局個人に結び付いたいろんなビッグデータが欲しいだけじゃん 今、どこもそうだろう
日本のQR決済も個人の購入データ入手して
データ活用して更に買わす方向に持って行きたい訳で
Appleやgoogleがプライバシー云々でいろいろやっているが
結局他を排除して自分ところで情報を握りしめて利益に繋げようとしているだけだし
データを取られて精度が高まって行くのはわかっているが
メリットがあるから仕方なく使っているって感じじゃないの、、、みんな しゃーないねマルウェア書かせたり迷惑メール書かせたりする奴がいるから 個人に紐付ける仕組みがなければ複垢作られまくってあっという間にサーバーパンクするのは目に見えている midjourneyの無料を使い尽くしたのは中国人だったなイナゴみたい😡 最新の機械学習に詳しい書物があればご教示願いたい。 pretrainしてgenerateしたものに点数を付けて評価をするという方式で
高い評価を得た人でも
その分野において膨大な量をpretrainしたAIには勝てそうにない
むしろ、pretrainが少なく、generateすることを余儀なくされて
pretrainの組み合わせに無いパターンで「何！それ！アホだろ」とか言われてきた
低能と呼ばれている人の方が実は新たな発想力的なものを持ってたりして なんか意味わからんから要約頼んだ
AIの評価は、pretrainしてgenerateしたものに点数を付ける方法が一般的であるが、この方法では、膨大な量をpretrainしたAIに勝つことはできない。実際に、pretrainが少なく、generateすることを余儀なくされる人たちは、新しい発想力を持っていることがあり、低能と呼ばれることもある。 どうも要約がイマイチだと思って試してみたが
そもそも元の文章が大して長くないので
それなりに要約している奴はそれほど短くならない
イマイチの文章だが短い奴をワザワザ選んだ訳だな >>94
そういう場合は、「馬鹿でもわかるように下記の文章を書き直してください。」と書くんだよ
「前もって学習されたものを使って文章を生成し、それに評価点をつける方法」があるけど、
高得点を取った人でも、その分野で大量の学習をした人工知能には勝てないことがあるんだよ。
むしろ、学習が不十分で文章を生成しなければならない場合、新しい考え方やアイデアにつながるような、
学習の組み合わせにないものを提供できることがあるんだ。実際には、馬鹿と呼ばれる人でも、
新しいアイデアを持っていることがあるよ。 ChatGPTの知ったかぶりを問いただすにはどうすれば良いんだろうか そういう仕様だからなあ
一から作り直すしかないかも 機械学習の職歴のない者がエンジニアとして雇ってもらおうと思ったら... やっぱ何か
アプリを作って「こんなんできました」とか持ってった方がいいんだろうか
だが差し当たって何のアプリを作ろうかというアイデアが temperatureをゼロにしても駄目？
未知のことは埋め込み空間で未知という意味のところにマッピングされんの？？🤔 未知かどうかを埋め込み空間で判定するの難しいだろ
学習した内容同士を内挿して人間の持つ知識から見たらいい結果が得られる場合と得られない場合があって、
いい結果でないときに「知ったかぶり」と言ってるだけだろう。
日本における東京はタイでいうところのどこ？という質問に答えるときに、人間だってこの文章を丸暗記してるから答えられるわけじゃなくて内挿して答えてるだけだろ 若ければ未経験でもいいけど、さすがに30超えたジジイは脳みそ硬直してるから機械学習は無理 うちは研究開発やってる三、四十代が自分らでPython使って機械学習やってるよ アニーリングガーとか昔やったなあ
ニューラルネットとか純粋な興味で勉強・研究してたけど
今になって応用面がブレークしてる感じ >>97
知ったかなんて長い目で見れば一時の話しで
多くの人間がひたすら使ってれば学習して修正していくんじゃないの
高学歴者とか今までの評価システムで優位に立ってきた連中が必死に否定しそうだけど
弁護士がいらなくなる、ホワイトカラーの9割はいらなくなるとか、創造、創作系とか
そっちの影響が強くて肉体労働者は従来通り自動化の影響は受けるが、AIの影響は受けにくいとされているからね 士業（）とくに税理士とか大昔から不要だっただろうけど、必死に自民党に献金して残ってるじゃん 弁護士は便後士とは良く言ったものでどちらも他人の尻拭いがお仕事です e検定とか今更とってもしゃーなくない？
aiのほうが精度の高いモデルやプログラムをつくれるじゃん 年齢で切っちゃうのは勿体無いね
一番は興味だよ、どこまで没頭できるか。若い子には無理なんじゃないの。 gptでパラメータを増やせば創発が見られたというけど
結局タスクの精度がそれで決まるなら
人間の頭の良さも生まれってことになるよね
まあ多少は学習法と学習時間に左右されるけど
元々パラメータ数が少ないポンコツであれば
どんな学習法でもどんなに学習時間をかけても所詮ポンコツってことじゃん😅 本とかで機械学習を勉強してるんだけど、.ipynb が提供されているような場合も
全部自分でゼロから入力してみた方がいいですかねえ >>117
スポーツがそうであるように勉強が出来る出来ないも、努力できる、できないも
遺伝が大きく影響するっていう運的要素が強いことがわかっていて
金持ちになる、ならないも運的要素が強いことがわかっている
アメリカは努力した人が金持ちになるという風潮が強いから
低所得者は怠け者だとみなし手厳しいルールになっているが
ヨーロッパの方は、半分以上の人が金持ちはただの運だと思っているので
わりと温いルールになっている 機械学習用データって少なくとも日本国内では法整備されてるって認識だったけど、生成系の注目でパクリだ論が勃発
感情論に押し切られて改正されたら嫌だな 第四十七条の七 著作物は、電子計算機による情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の統計的な解析を行うことをいう。以下この条において同じ。）を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案（これにより創作した二次的著作物の記録を含む。）を行うことができる。ただし、情報解析を行う者の用に供するために作成されたデータベースの著作物については、この限りでない。 なんか法律家が、機械学習や統計モデルは著作権的に問題ない的なツイートをしてた記憶だけど、データの丸暗記から汎化したゆるいモデルまで連続的という事があまり理解されないまま法律だけ作られた感じがするｗ （著作物に表現された思想又は感情の享受を目的としない利用）
第三十条の四 著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は、この限りでない。
一 著作物の録音、録画その他の利用に係る技術の開発又は実用化のための試験の用に供する場合
二 情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の解析を行うことをいう。第四十七条の五第一項第二号において同じ。）の用に供する場合
三 前二号に掲げる場合のほか、著作物の表現についての人の知覚による認識を伴うことなく当該著作物を電子計算機による情報処理の過程における利用その他の利用（プログラムの著作物にあつては、当該著作物の電子計算機における実行を除く。）に供する場合 いや当時の総務省がガッツリ入り込んで法整備したから強固だよ😅 不均衡なラベルの分類問題は少ないラベルに大きい重みを付けるってよくやるじゃん
回帰問題でも近いことをやりたいんだけど知られてる手法ってある？
精々logとかsqrtして分布をちょっと変えるくらい？ 日本はスパイ天国でデータ抜き放題でどんどんデータを他国に無料であげるという特異国家だからな
政府もAIは何がなんだかよくわからないから法案も出せない 日本はアトムやドラえもんみたいな肯定的なAI思想が育ってるからなぁ ドラえもんの時代までならず者国家が存在したという設定が無いからね
F先生がガチでそういうストーリー描いてたら22世紀の地球はどうなったことやら >>117
学習を行う際に設定するパラメーターはハイパーパラメーター
学習モデルの学習量を示す指標のパラメーターとハイパーパラメーターは違う。 >>128
でも日本のデータは役人が捏造改ざんもので世界の誰も信用してないけどなｗ どこの国も、役人や政治家は基本時代遅れの低能じゃよ 「政府はAIに仕事を奪われる人への対応策を考えるべき」と
Googleに買収されたAI企業・DeepMindの創設者が警告
いらなくなった頭脳労働者をどうするのか？
っていう議論の必要性を訴えている人もいるな 仕事がなくなった人のこともAIに考えさせれば問題解決 IT系の人手が足りないって言ってたのが解消されるからいいんじゃないの？ 機械化が進んで肉体労働者の価値が下がり
AI化が進んで頭脳労働者の価値も下がることになるので
昔みたいに文武両道みたいな感じになるんかや、、
数学のマイナス分を1500m走で取り戻すみたいな
そっちの方が世の中、健全になりそうな気がするけど
IQが高くなればなるほど、障害の率が上がって行くのは
統計的にわかっているからな 全部AIにやってもらって人間は好きなことをやればいい このスレではもう少し技術的な話を期待されていると思うぞ 頭脳労働者の価値は減らんよ
本当に頭脳使ってたならw 残る頭脳労働者は上位1％以下
使えるロボットの普及までには時間がかかるので余った奴は現場職に就けば良いが、右肩上がりで増えてる中途半端な大卒者が雇用ギャップ
文系でもウエルカムなデータサイエンス科とか幾つ出来るんだ？ もともと低価値の浅い文系WCの価値が更に低くなるけど、資本主義の仕組み的に、
カネ持ってる組織が更に儲かるわけだから、なんだかんだで殿様の近くにいるようなのが肥え続けるんじゃないだろうか >>150
現場に就けばいいがと言っても
頭でっかちで動けない奴は厳しいんじゃないの、、
人間関係的にも大卒の雰囲気ではないだろうし
肉体労働でも職人系は若くからやってる奴には勝てない職種
スポーツの英才教育みたいもので
同じ才能があったとして20代半ばからやり始めた奴は
10代半ばからやってる奴に技能的な部分では勝てない
そもそも向いてない人が、後追いで入って来ても技能的には厳しいだろうな いつの間にかレベル4の完全自動運転バスが日本で実用化されてた
この分野がどんどん発展して、配送業のラストワンマイル問題が解消されたら街の様子が一変するだろうなぁ
高度な技術を習得すればそれを活用できる職場が増えるだろうから、今の10代が羨ましいよ
今より実力が正当に評価される社会になっているだろう
仕事を失う人もいるかも知れないが、幸せになるべき人が幸せになる。それでいいと思う
岸田さんが総理になって本当に良かった >>154
最近交通系の論文読んでるんだが、意外と自動運転車だらけになって街が効率よく機能するためには課題が多いみたい。
自動運転だけできて、協調なしに自動運転車を沢山走らせたときの交通がカオスになる可能性があるから、協調した運行をして効率化をするのが課題みたいよ。 それはまあ人間の運転でも渋滞波とか起きるし…と思ったが交通違反しないと解消できないデッドロックとかが起きると詰みそうだな エクセルで統計解析マジめんどくさい
数千行あるビックデータなんだけど
基本統計量出してヒストグラム書くのでさえ半日掛けたのに出来ない
上司が無能だから必要性を説明してもエクセルで俺は出来たの一点張りで
統計解析ソフト買ってくれない
エクセルでは箱ヒゲ図さえ作れないのに上司に統計データサイエンスの素養がないから何も分かっていない >>157
ディスってる訳でなく、普通にどっちの気持ちも分かる気がする 理論的には正しいがその理論が難解で組織内で自分以外は理解不能な場合にどうやって経営上の意思決定をしてもらえばいいのか問題 お前さんの人間力が足りないのが最大の問題
まあもっと足りない自分は鬱になって会社辞めるしか無かったですがな 素人相手のときはグラフィックに訴えたほうが上手く騙せる 学力より大事だが学業に置いて評価対象に入らないのが人間力
自分等の時代は体力も大事だったけど
2時、3時帰りが3〜4日続くともう全く頭が回らなかったからな
寝て無くても動ける人と
ドンドン差が開いていくので、この仕事に向いてないなと思って辞めたけど 今はまともな企業ならむしろ残業削減しまくるように求められるので寝ずに働ける能力など何の価値もない >>163
人間力とはなんですか？
定義を提示してください 失礼。アンカーズレ
>>164
人間力とはなんですか？
定義を提示してください どれだけ人間ぽいことができるかの指標かな。
つまり三大欲求食欲性欲睡眠欲の強さ。 個人的な造語はアウトですね。
誰からも理解は得られないと思われ 自分が思う「職場における人間力」を厳密に答えたら嫌われてスレが過疎る
受け手に自発性が無いようなコミュの取り方をすると直ぐ人はいなくなる
数学的証明や理論的な話はnoteに書いてリンク張ればいいのかな？ おまえらPython使いこなせる？
まさかExcel？ chatgptにPythonプログラム作ってもらうから大丈夫 >>118
私はアルゴリズムの部分を読んだら出来るだけ自分で実装して、そのあとに本のソースコードの部分を確認してる。 >>176
Excelが苦手すぎてなんでもPythonでやってるんだけど、
流石に1000サンプルとかの基本統計量を出したり簡単な抽出をしたりするのに、
Pandasで読み込んでちょろっとjupyterでプログラム書いて見るのはバカバカしい気がしてきた。
何回も使う場合だったらいいんだけど、MTGしながら表データ貰ってちょっと平均と標準偏差見て偏差値で色つけて特殊な値について話すみたいなのは、Pandasだと手数が多いんだよなあ。
どうでもいいけどsklearnで用意されてることはExcelで出来たらいいのになとも思ってる。クラスタリングとかExcelでちょちょっと出来たらかなり便利だと思うんだけどね。 その作業でも明らかにPythonの方が早いけど？w それしきの作業にわざわざjupyterとか言ってる時点でどんくさい初学者でしょ
数行のスクリプトとして書けるよね PCモニター1画面に収まる程度のデータ量ならExcelで処理するのが一番速い 初心者でもそれなりにできるようになっちゃうからちょっとつまらん(´・ω・`) Excelをguiフロントエンドにして、後ろでPython動かすと便利だぞ んまあ、pythonはコード組まなくても順番にコマンドラインから使えるしなぁ >>182
単に平均出す、結果の出力は多少見やすく配慮したExcelとかで本当にExcel慣れてる人に勝てる？元がcsvかxslxで。自分は自信ないわ。
>>183
書き捨てスクリプトを書くってこと？
Pythonでコンピュータビジョン関連や数理最適化のコード書く程度だけど、
Jupyter使ってるとどん臭い初学者なのね。他の言語のIDEと比べても便利だと思うんでついJupyter使っちゃうなあ。勉強不足ですまん。
しっかり何度も計算まわすときはそりゃスクリプト化するけど、その前の抽出や適当な初期値探しなんかだと表示がリッチなJupyterが便利だとつい思ってしまう。 表計算とPythonを組み合わせたいなら
LibreOfficeがイイぞ ゼロつくの3章の意味がようやく理解できた。読んでわからんでほったらかすまた読むを繰り返して5年。
ようやく意味が分かった。自分頭わりぃ。
MNIST画像が28x28だから正方行列をどうやって処理してるんだろうとかずっと勘違いしていた。
一列784要素の配列で縦情報捨てて処理していたのね。正直バカにはゼロつく難しすぎやわ。 頭悪いけどゼロつくの3章の内容をExcelで実装できた。
sample_weight.pickleの中身の学習モデルをそのままエクセルに持ってきたら
当然だけどMNISTのテストデータの判別ができるようになった。
Accurancy rateは92%
苦節５年でようやくここまでできた。あとは肝心の学習だな。勾配法と誤差逆伝搬法。
Excelだとめちゃくちゃ時間かかるらしいけどとりあえずやってみるか。 MNISTの画像とラベルをワークシートに書き込むときにVBA使ったが、画像の判定自体はMMULT関数とスピル(Excel2019以降の機能）
行列演算も思った以上に速いし、判定自体は問題ない。
モデルの学習のときにはVBA使わないといけないと思う。それはめっちゃ時間とマシンパワー使うことになるらしい。 スピルなんてものがあるのか
確かにこりゃ便利だな
MMULTも内部ではベクトル演算使ってそうだしな
下手にその辺の言語使うより速そうだ excel vbaやpython一からやるくらいならblツール買ってデータ分析したほうがコスパ良いような気がする 日本の職人が海外で大人気みたいだな
寿司職人とか引く手あまたらしい
海外だと年収1000万以上当たり前
当然、生活費は日本よりかかることになるが、、、
時代は変わったよな
こっちで流行りのプロンプトエンジニアより息が長そう
データサイエンティストってのも前に居たけど 誤字脱字指摘による知識アピールや
情報強者アピールも、、、
まだそんなところに拘っているのかって思うぐらいに
時代は変わって行ってるよね 変化が永遠に続くわけがない、ということはいづれ・・・ 頭悪い人だけど、ゼロつくの4章がようやくわかって、確率的勾配降下法実行してみてるんだけど、
学習ってこんな処理おっそいの？iters_num=10000じゃなくてiters_num=1000でやってんだけど、
これでも一晩かかるじゃん。
GPU使ったらもっと早くなるのかもしれんが、これほどまで計算量使うとは思ってなかった。 確率的勾配降下法と逆誤差伝搬法だとどれぐらい速度に差があるもんですか？ こんなクッソ遅いのか。iters_num=300にしたわ。
accuracy_rate低くなってもいいやとりあえず学習できることだけ確認できりゃいいや。 300で十分だった。学習していることを確認するだけなら10000とかいらない。
Accurary_rateも８２％ぐらい出たし。 GPT ってデコーダ層だけでできてるけど
前段のデコーダ層はtransformerのエンコード的に、後段のデコーダ層はデコード的に動いてんの？🤔 >>211
それミスリード
エンコーダ的な動きもしてる
transformerの一種という理解でモデルを見つめるべき 違うね
俺もそこに引っかかったのよ
実際モデル見たら全然違うじゃねーかと
推論時に1トークンづつ出力するからそこがデコーダっぽいってことなんだろうけどね
エンコーダデコーダで考えるものではない Transformerのことなんて一生わからん頭悪い人だけど、
ゼロつく５章までなんとか理解できた。
誤差逆伝搬法ってSGDと比較にならんほど早いのね。こんなに差があるとは知らなかった。
そら誤差逆伝搬法でやることになるわ。 エンコーダデコーダという捉え方からは離れた方がいいかと
ユーザの質問文を入力してるとき、ChatGPTちゃんは必死に質問文の次の単語が何か考えながら聴いてるんだよな
かわいい >>216
論文見てもわからんよ
詳しい説明書いてないから
実際のコードを読むしかない
これが本家のモデル
他のゼロから作る系は間違ってる可能性あるからこれを読むべし
tf1で実装されているのが非常読みにくいが仕方ない
https://github.com/openai/gpt-2 lightgbmって欠損値NaNのままでいいの？
ゼロフィルすべきかなんか値入れるべきかわからん Bingって使えないな
不快だからとか言ってすぐ話を拒否しやがる おすすめの本はなんですか？
「ゼロから作るDeep Learning」がいいのかな？ その本は今となってはあんまりおすすめではない
実装メインならゼロから作るディープラーニングフレームワーク編がおすすめ
これは今は亡きChainerクローンをゼロから作る工程を詳しく解説してる
実際PFNでChainerのメインプログラマーだった人からはアドバイスを受けて作ったらしい
逆伝播をグラフを使って実装する方法を見たときは衝撃を受けたね >>224
返信ありがとうございます。
私は、数年間、上場企業でプログラマー（C++、Lua等）でしたが、
AIは未経験なので基礎理論からやりたいですが、
「最短コースでわかる ディープラーニングの数学」とかもいいのかな？
「ゼロから作る～」の斎藤康毅さんの本はおもしろそうですね。 辞める必要ないじゃん
>上場企業でプログラマー（C++、Lua等）でした >>225
本当に基礎からやりたいなら深層学習2版(岡谷)がおすすめ
ただしこの本の後半の内容は著者の研究内容っぽく
あまりお勧めできない
中盤までのtransformerを解説する部分まで読めば良い
基礎理論の説明としてこの本が1番詳しいと思う >>227
ありがとうございます！
Amazonで確認してみます
著者は東北大学の教授のようですね
日本ディープラーニング協会の推薦図書のようですね
私も、松尾豊研究室みたいなところに行けばよかったなぁと後悔してます…
（当時はほとんど無名だったような…） 東大卒でコーダーて
しかもLua笑
まあそれがほんとか嘘かは置いといて、今日日機械学習も知らないプログラマなんておんのな
ちな松尾研はずっと有名です
機械学習のブームは今が初めてではないからね 汎用機の時代じゃあるまいに、コーダーなんて30年前に絶滅してるぞ。
機械学習も今は幻滅期だろ。 ネットで
ディープラーニングの教材とかないのかな？
有料でも無料でもいいけど… ネットで
ディープラーニングの教材とかないのかな？
有料でも無料でもいいけど… >>230
機械学習も知らん自称プログラマって所詮コーダーだなあと思ってしまいます >>236
E資格を取得したら、はAIプログラマーとして就職できる？
松尾カラーに染まってないかが心配だが… 資格なんて後からでいい
これまで何を作ってきたか、どんなプロジェクトを回してきたかの方が圧倒的に重要 >>241
AI業界の人ですか？
他のIT業界からAI業界に転職可能ですか？ Udemyは二重価格表示みたいで嫌い
講座の質は知らんけど >>244
Udemy、AI講座とかあるな
職業エンジニアになれるのかな？ 今後、ai開発者て認証制度になんの？免許みたいな🤔 どうせ情報処理技術者資格みたいにあるだけの資格になるんだろw 日本のai開発がますます後退しそう😅
松尾健のグループがまた検定試験作るんだろ？で試験のための団体ができて試験のための本が売れて。。。 松尾氏の利権目的なの…？
ちゃんとしたやつになるの…？ 就職に有利になるとか、
ちゃんとしたやつならいいけど… >>218
今更だが、これいい情報やね
今度コード読んでみよう。 他の業界からAI業界への転職は、もともとスキルがある人じゃないと厳しいでしょ
スキルなしの転職は買い叩かれて終わる。
AIやりたいだけなら今いる業界の中でDXとかの担当に行くのが早い >>258
PyTorchでいいよ
openaiも社内でPyTorchを共通で使っていく宣言した 独学でAIか・・・
どっかの査読付き論文に日本語でもいいから通するのが最低条件かな 和文の論文持ってる奴が応募してきたら笑いものにして終わり 日本人でもまともな論文なんて書いてるやつほぼいないぞ
アカデミックは論文詐欺だらけだから
学会とか行くとそれが良くわかる 言語系とか色々あったけど全部GPTになるのかな
社内でGoldfireとかやってるとこあるけど、chatgptでも社内のデータを入力できる流用になるみたいだし >>265
スキルって何のスキル？
業界の現役の人に聞きたいけど、このスレにはいないか…ｗ >>266
ありがとうございます！
PyTorch見てみましたが、ディープラーニングを書くのに便利そうですね
Juliaも高速で良さそうですが、そんなに普及してないのかな… >>269-270
情報系の人たちはちょっとアレで、良い研究は軒並み物理の人たちがやってる感じあるよね 渡辺の統計本を読むと、統計力学とか相対論、多様体など物理も強い人が有利なんだろうなという気がする。MLの理論面は情報系のコースだと数学力が貧弱な気がする。 情報幾何(多様体論)、関数解析、統計の基礎
の3つは最低限やっててほしいな >>271
何この胡散臭いアプリ🤔
大沢某がかつてやってたチャンス発見みたいなやつか？ 渡辺は物理を異様に強調しすぎている
統計や機械学習に基本的には物理の知識はいらない 統計力学は機械学習とかなり密接につながってるからね
最適化もいわゆる差分法とか物理の手法がルーツだからね
そっち系の人が絡みたがるのはわかる 渡邉センセは元々そっち方面の人だからでしょ趣味というか😅 東ロボくんの新井紀子
「 ｢ChatGPT｣に浮かれる人が知らない恐ろしい未来 」
って日本のアカデミックを代表する数学教授の最新のAIに関する見解がこれで良いのか ダダン ダンダダン ダダン ダンダダン テレレー テレレー
I am back >>283
東ロボは
ChatGPTより優秀なのかな…？ 数学が得意じゃない数学者だったようなｗｗ
chatGPTの論理推論を数学基礎論で検討する事はあっても、作るのには絶対使われてないじゃろｗｗｗｗ
https://toyokeizai.net/articles/-/656682 >>283
こんなんを代表にしないでください😡
出たがりbbaです まぁ新井さんはお前らより数段マシじゃね？ってのがおれの感想 新井紀子ってあれだろ？
論理構造を把握しにくいようにわざわざ難読化した文章を子供に読ませて
「今時の子供はAIよりも文章が理解できない」という結論ありきの本を書いてる人だろ？ 東ロボくんが行き詰ったから適当な警鐘ならさねば的なことをもってきて、開発するのやめたんだろ。 東ロボとChatGPTの、この圧倒的な差ｗ
エセ研究者のインチキと本物のＮＬＰ・大規模言語モデル開発
あまりにも桁違い
あんなんが教授なんだよな なんで企画のほうがエンジニアより高給なんだろうね🤔 BingAI登録せずに使えてたのに、急に人間であることを確認しますとかいうのが出てきた
しかもクリックすると失敗しましたとか出て認証できないし text-generation-webuiってのにcyberagent_open-calm-7bを入れてみたけど
全然会話にならない、顔文字で意味不明な返答をする
GPT-Jを試してみたいけど、PCの電力不足でフリーズしてしまうので、電源交換待ち
まともに日本語で会話できるモデルはありませんか りんなのjapanese-gpt-neox-3.6b-instruction-ppoも意味不明な回答する 日本企業のllmはゴミばかりです
やる気ねえんだよ
少ないパラメータ数でまともな回答が生成されるわけがない😡 gpt-j-japanese-6.8bってのはデータセットをダウンロードできるものではないのですか？
ハグに自慢話を載せているだけ？ LLMまでは作らないAIを利用する側は企業は、既存のLLMに追加学習なり、LoLAなりを入れて使うんだよね ChatGPTは自分で演繹的に因果関係の推論が出来ると言っている。
つまり天才ということだな。 少し前にXAI(eXplainable AI？)なるものを見かけたのだが、これって存在価値あんの？ 少し前にXAI(eXplainable AI？)なるものを見かけたのだが、これって存在価値あんの？ ニーズはあんじゃね？知らんけど
ただ人間に理解できるように説明しようとしたら情報が落ちてaiの判断の7割位しか説明できないんじゃないの？ >>307
個人的にはむしろ存在価値しかない
7割でも十分
説明力が全てだと思うわ その程度で説明できる判断て従来の機械学習と変わらんと思う Vicunaは7Bでもそこそこ喋れた。これから13Bを試す
Vicunaが今のところ一番優れているんじゃね 埋め込みでq&aするとき検索クエリの埋め込みの最近傍は回答になるもんなの？🤔
質問と回答って意味的に違うよねうまく機能するもんなの？ G検定と呼ばれている検定の参考書をたまたま見る機会があって読んでみたのだが、内容にビックリした。
『AIの定義は人によって異なる』とか、どうでもよい内容がガチで試験問題として出題されてるんだな。
数学的に定義されている手法は人によって解釈なんて変わりようがないのだか‥‥。
AIなんてただの関数と認識してる人、ガチでいなさそう。 技術的な勉強を真面目にやっている人からすればG検定を受けること自体が恥ずかしいレベル
何故あんなアホな試験わざわざ受けたの？と言われるだけ しかし、
新技術の考案は
ほとんどアメリカ人、中国系、インド系、ロシア系だな…
日本は… 奴らは有望分野には無茶苦茶な金注ぎ込むからな 日本には真似できない
なので奴らが目をつけない分野から攻めていく お金の問題だけではないと思う。
自己本位性脅威モデルによると自己愛が強い者ほど攻撃性が高い事が知られているから、自己愛が強くなりやすい数学系は極端なほど行儀の良さを要求されると思う。日本は天皇を守らなくちゃいけないからね。
加えて、日本に限った話ではないが、デシの自己決定理論によると内発的モチベの構成要素の一つとして有能感がある。優秀すぎる人が隣にいると有能感が満たされなくて内発的モチベが下がってしまうから優秀すぎる人は排除されるだろう。
凡人に要求されるコミュ力が1とすれば数学つよつよに要求されるコミュ力は1.5ぐらいだろうな。ただでさえ勉強で精神が疲弊してるのにずっとヘコヘコしてなきゃならない。 >>215
Self-attensionがよくわかんないｗ
query、key、valueの意味がよくわかんない… 俺もこの機能が何を意味してるのかわかんない教えてエロいしと🤔 テスラのスーパーコンピュータの名前「Dojo」だって
童女だなんてイーロンもなかなか好きだねーｗ AIがtrainingを受けるところだから
dojoって名付けたと説明していたな 昔は実装内容全部見てネットワーク構造ちゃんと確認してたんだが、
近頃はもうこんな感じね、なんとなく理解したで終わってる
直近はもう見なくていいやってなってるw ｢道場｣から｢童女｣を連想する変質者はﾀｲｰﾎ
おさわりまんこです 道場でも童女でもなくて二匹目の泥鰌を狙ってるのかと思った Stable Diffusionってすげえな
要求と異なる画像を次々と生成してくる Transformers as Support Vector Machines
https://arxiv.org/abs/2308.16898
トランスフォーマーのkqがsvmに対応してるらしいぞ 黒橋くんは優秀なんだろうけど創造性はないよね米国での試みを日本で後追いしてるだけだし
この試みの新規性は日本という地域性だけだし
論文は多少書けるくらいの微妙な成果が出るだけじゃないかな
スケールもショボショボ diffusionを理解するには、
GANの理解が必要なの？ Stable Diffusionで、まともなヘアドライヤーで髪をブローしてる写真作ってくれ
どうやってもできん 機械学習で自分で番号を選ぶ形式の宝くじを当てることは可能ですか？ ランダムで決まる答えを予測する方法があると本気で思っているのなら統計学を一から学び直すべき 今から、人工知能について勉強する場合、ディープラーニングのみを勉強すれば十分ですか？
他の機械学習の手法についても勉強したほうがいいですか？ >>342
漏れも本気で思ってないけど
ブラックショールズってなんなんだろう >>343
とても興味深い質問だね
詳しく説明してくれるかな？ >>345-346
なんかサポートベクトルマシンとか、頑張ってちょっと賢い方法を考えだしたねっていう機械学習の手法があるじゃないですか。
あんな類の小物臭のする手法を、今でも、人工知能の初学者が勉強したほうがいいかという質問です。
ユニバーサルなディープラーニングだけでいいんじゃないかって思っちゃいます。
万能なディープラーニングだけでいいのではないかと思えるんですが。 SVMは数理最適化の基礎が詰め込まれた良題材なので勉強すべきだしSVMすら学ばず人工知能やってますとか言われてもネタかなと思ってしまう ディープラーニングしか知らないで
AI出来ます！とか言うヤツいるよな
心の中では詐欺師と思って話してる >>347
AIのごく一部であるDLだけやりたいならそうすれば？
DLは万能でない、向き不向きある ランダムフォレストやk-meansのクラスター分類やパーセプトロンも学ぶくらいはすべきかなw ディープラーニングで偏相関は求められないんじゃないか？
ABテストみたいな実験をせずに結果から原因を推定する因果推論でディープラーニング使ってる香具師見たことないが。
DLや決定木みたいなノンパラメトリックモデルって特徴量の次元数に対してサンプル数が十分でない時、相関の強い特徴量に特化したモデルが出来上がり、相関が弱い特徴量は切り捨てるバイアスがかかることがあると思うんだよな
この事は人工データを使って実験すれば実際はどうなのかすぐ分かる
決定木で実験済みだが一応自分でもやってみてくれ
正規線形回帰モデルはそういうバイアスがかからない事が数学的に証明されている（宮川の統計的因果推論 4.1節を元に容易に証明できる）
そういった理由で因果推論では誰もDLを使わないのでは？
つまりDLが万能とか何の根拠があって言ってるのだろうと言うこと むしろ高い専門性が必要な高レベルな判断が求められるタスクなんだけど理解できてる？ 全部ディープラーニングなバカは腐る程いて、一定数がデータサイエンス界に多大な迷惑をかけている 機械学習うんぬん以前に書いている日本語が○○丸出しなんだが。 綺麗な日本語にこだわるのも馬鹿、低能あるある。マナー講師的なヤツ。 しかし上のDL池沼や
>>363
みたいなタイプははロジスティック回帰もエントロピーも説明できない典型だろうｗ likelihood functionが
よくわかんない。 尤度はKLダイバージェンスからの導出が分かりやすい 尤度はKLダイバージェンスからの導出が分かりやすい >>371
KLダイバージェンスと尤度と
クロスエントロピーとベイズ推定の関係を調べようとしたら、
数百ページで大変… >>372
あと、
英語版を見てると、
日本のWikipediaの解説はゴミだな… すみませんレベルが低いと思うのですが独自で翻訳モデルを作りたい(精度は悪くて良い)のですが以下のアルゴリズムでは何が一番適していますか？
https://i.imgur.com/CVdOBZ1.png >>375
上で上げたアルゴリズムだと厳しいですかね？ GANの
loss functionのminmaxがよくわからない… レスがないということは欲しい答えではないということか ニューラルネットワークのリッジレッド解析て有効か？🤔 調べたけど駄目だスジが悪すぎる
こんな調子じゃなんも成果出てこねえや ニューラルネットは巨大すぎて、深く勉強しても使うことがない気がするので、
教養くらいにとどめてる。学習済みモデルを使うこと以外はほぼあり得んじゃろう。 精度が低くていいのであれば、何をつかってもいいんじゃないの?
さいころを転がして文を作ってもいい 岡谷貴之著『深層学習第1版』
ソフトマックス関数は冗長だが、ユニットの一つを選びその入力を0にしてしまえば冗長性を回避できる。
選んだユニットに入る結合重みもきちんと出力に反映される。
というようなことが書かれているのですが、本当に、選んだユニットに入る結合重みもきちんと出力に反映されますか？ そもそも、ソフトマックスかんすうとかはしまょうたいりょうのかほうせい(f(x)+f(y)＝f(x*y))が大前提 ハルシネーションて創造力の原動にならない？
人間が矯正して消しちゃうけど個性なんでわ？ 確率的勾配降下法について質問です。
E(W) = E_1(W) + … + E_N(W)
の値をできるだけ小さくするような W を求めたい。
E_i(W) は i 番目のデータに対するニューラルネットワークの出力と i 番目の正解データとの誤差です。
確率的勾配降下法では、 (grad D)(W) を計算するのではなく、ランダムに i ∈ {1, …, N} を選んで、 (grad D_i)(W) を計算して
重み W を更新します。
こうすると、 W を更新する際に、 i 番目のデータに対する E_i(W) の値は小さくなると思いますが、全体として E(W) の値が小さくなることはどうやって分かるのでしょうか？
例えば、
(grad E_1)(W) を計算して、 W を更新する。 → E_1(W) の値が小さくなる。
(grad E_2)(W) を計算して、 W を更新する。 → E_2(W) の値は小さくなるが、直前にせっかく小さくした E_1(W) や他の E_i(W) の値は大きくなってしまう。
というようなことが起こらないのでしょうか？ 結局、もぐらたたきのように、いくら局所的な改善をしても全体としては一向に改善されないというような事態にはならないのでしょうか？ 大きくなったらキャンセルすれば良いんじゃないか
そもそもEってErrorのEか？EigenのEか？ データ量が大きくなって、ネットワーク構造を複雑にすると
なぜか全体として改善されることが経験的にわかっている
なぜかを研究する分野もある >>389
ミニバッチのロスの平均に対してgradient descentを行うので、
そのデータセットに対しては、ある程度は最適化できると思います。
局所解の可能性はともかくとして。 >>391
>>392-393
ありがとうございました。
岡谷さんの本には、確率的勾配降下法により E(W) がどんどん小さくなっていくのは当たり前のことであるかのように何の説明もありませんでした。 >>394
当たり前ではないよ
その証明はかなり難しい 自由エネルギー原理、ちかまたオカルトみたいなことやってんのな😅 確率勾配法も、transfomerやCNNもあんまり数理的に詳しくない人が思いついた気がするけど、数理的に深い方の統計機械学習はどのくらい価値があるのかイマイチわからない ヒューリスティックなことって結構あるよね
局所最適解に捕まってないという証明出来ないこと多いし >>400
バックプロゲーションやNNの最適化を60年代にすでに完成させてた甘利先生が
ローカルミニマムに陥るのを防ぐことはできないと言って諦めた分野だからな
少なくとも数学的な理論では無理だと判断した
ローカルミニマムに陥らないようにする各種手法を小手先のテクニックと言って切り捨ててたし
確かにミニバッチ勾配降下法とかドロップアウトとかレイヤー正規化だとかの理論は
あくまでやってみたら有効だったというだけで証明は一切ない 現実の現象は決定論的でないしノイズまみれだから気にすることない 解空間が複雑で分からないと言ってるだけだろ、最適解の尺度（L2ノルム等）を決めた時に解を求める方法があるといってるんだよ。
万能な方法があるわけがない、甘利爺なんかを信じなるなよ 甘利先生の講義はめちゃくちゃわかりやすいんだよ
https://www.youtube.com/live/AVCjutAjtGs
論文はかなり難しいのだけど講義はすげー直感的にわかりやすい >>404
甘利先生は万能な方法を探そうとして情報幾何やらの方向にいってしまって帰ってこなかった
そして深層学習が流行り出して戻ってきた
ジェダイの帰還 >>409
結果的にはね
そこには「何もなかった」
しかし純粋な数学的理論としてNNを紐解こうとしたらそっちに行くしかないのはわかる 昔ある学会である人のは発表を聞いてそれは俺が前にやったと言っていた傲慢な爺 甘利先生の考えた「自然勾配」を最適化に使うと言う理論は今でこそ一般化した感じはあるが
これを70年代に生み出していたのはマジの天才としか言いようがないよ 理論的な綺麗さを求める人はそれはそれで必要だからやってくれればいいけど工学馬鹿にしたような感じがしてちょっと俺は
transformerの内部解析すらしようとしないし（笑）できないのかもしれんが 甘利先生が60年代と70年代に出した論文を超えるようなものを出した日本人はいないからね
この時期は福島先生という今のCNNとまんま同じNNを出した天才もいるし
時代が違っていれば日本人が世界していた可能性も高い ハードウェアの発展（GPU、メモリ）があったからDLが発展した。それだけ。 >>416
でもその発展の時期にヒントンは現場にいた
甘利先生はいなかった
その差なんだよね
悲しいわ 本当のブレイクスルーはtransformersぐらいだしね
それ以外は全部元ネタはあったわけで
それをさも新しいもののように発表してるから
甘利先生は怒ってるのだろう >>414
福島先生は日本放送協会の役に立たない基礎研究をやっていたと後輩がいってた >>414
↑
と言ってるバカ。
日本はソフトウェア技術が低いので当時も無理。 YouTubeの3Blue1BrownJapanのニューラルネットワークの動画を見ました。
「第2層が短い線を検出し、第3層がパターンを検出し、」という説明がありました。
ニューラルネットワークの重みやバイアスが何なのかはブラックボックスとして考えないのかと思っていましたがそうではないんですね。
ニューラルネットワークを学習させ、満足のいくものを完成させたとします。
このとき、例えば、第1層がどんな処理をしているのか人間が分かるような説明はどうやって見出すのでしょうか？ 重みを可視化してこんなのかな～て当たりをつけて実際にサンプルを入れて反応を見る >>424
ありがとうございました。
そういうことが分かると非常に満足度は高いと思いますが、よりよいニューラルネットワークを作るのに役立ちますか？ 現状では説明できないんだよ
経済系の人とか説明が重要らしくて困っているらしいけど
ちなみに説明しようという研究分野があるけど難航している
複雑に分散されているのが説明困難な理由らしいけど そもそも機械学習の手法の目的は予測する事で、介入効果については例えばRFでimportanceが高かろうが何も言えなく、実はテーブルデータに関しては役に立つ局面のは限定的だとおもう >>423
それは、色々ある。
あと、その動画は、例えばのイメージとして、
第○層が何で、
とかっていう便宜上の説明だったかと。 nnにllmつけて説明させた研究があったろ
あれでええやん😅 それがブロックマン他数名？もOpenAIを出ていったらしい >>440
いや、
ブロックマンは残るらしい
会長は解任 >>441
情報が古い
twitter.com/gdb/status/1725667410387378559
www.theinformation.com/articles/three-senior-openai-researchers-resign-as-crisis-deepens
https://twitter.com/thejimwatkins グーグルにおけるアンソロピック的なナニかになるかと >>440
あ
Brockmanも退職するっぽいね
いろいろ、クーデターっぽいな… 資本主義とはそういうものやで。日本のIT企業も経営陣は何もしてないし、コードもかけない。 儲かると観ると役員入れ替えと買収乗っ取りが進む
そして糞企業に成り下がる
sunもoracleもgifもgoogleもyoutubeも歩んだ道 それらは立派な技術で世界制覇した、揚げ足とってもみじめになるだけ >>452
やっぱ、
大株主抜きでアルトマン解任とか、おかしいよな… OpenAI理事会、アルトマン氏の復帰を協議 米報道 アルトマンの解雇に動いた取締役のヤツも
旗幟を変えて沈没する反アルトマンから逃げ出したな gptsと似たようなサービス出してるやつが取締役会にいるらしいな
それで追い出したんじゃないか、て話が出てる >>460
クーデターを仕組んだ奴らはどうなるのか？ ｗ 従業員の9割退職するとか言い出したからな
そんな絞りカスみたいなのだけ残されても会社の体をなさないし復帰しか選択肢はなかっただろう 最近CNNについて勉強してるんだけどなんでCNNの進化EfficentNetで止まっちゃってるの？
ViTが出たからもうCNNはオワコン扱いなのかな なんと、ViT言葉からキーバリューで畳み込みと似たことをやってるのかと思ったら、畳み込みしないモデルなのか 畳み込みはしないけどパターン認識の基本だから
結局畳込み的なフィルタ処理はやってる >>448
それは会社組織・社会の機能不全の要にも思えるけどな
幕末の藩制の非効化みたいに 音声合成VALL-E-Xってのを使ってみたが、評判はいいのに俺が使ったら全然似てなかった。
だれか使った人いる？ llmがファインチューニングかけるとアホになるのは
ファインチューニングで使うコーパスや方針が非論理的だからだろ LoRAは絵ではうまく言ったけどLLMでは思ったほど成果がないらしいな GPT-nとBERTの違いがイマイチあやふやなんだけど
TransformerのEncoderを使って事前学習して特徴量を生成するのがBERT
TransformerのDecoderを使ってBERTが生成した特徴量をもとに自然言語を生成するのがGPT-nって理解であってるのかな？
GPT-4も学習時はBERT使って学習してるのよね？ >>471
全然ちゃいまんがな
GPTとBERTはtransformers使ってるだけで中身は別だぞ 多分99％以上の人は自力で学習する事はないだろうから、その辺全部まとめてtransfomerでいい気がするｗｗ あとGPTもEncoderとDecoderでモデルを分けてるわけじゃない
同じモデルを使ってるから単に用途の的な意味でしかない
コード読んだらわかるけど >>472
GPTとBERTの立ち位置が良く分からなくて混乱してくる…
単方向か双方向かの違いなのかな？
それだと双方向に学習するBERTの方が精度高そうなのになんでGPTの方が流行ってるんだろう
論文とかコードは数式が難しくて読める気がしない… >>471
別個の言語モデル
アーキテクチャが違う
つかbingに聞けよ😅 タスク分解を備えた自律エージェントがAGI開発の次の壁を破りそうだけど、これが完成すると設計の壁が無くなるので、コーダーだけじゃなくSEも失業危機 >>475
主に違うのは学習方法だよ
GPTはRNNみたいに次の文字を推定するように学習する
一方BERTは任意の位置の穴埋め問題を解くような推定をする あとBERTは最後に線形層などを追加して分類問題として使えたり
様々なタスクに使えるようにできてる
GPTはそうではないが結局プロンプトを分類問題として指定することで同じことができることが判明した
つまりGPTこそあらゆる機能に応用可能な存在だった訳だ マイニングが今儲かるのか儲からないのかの確認方法
を調べたらマイニング爆益やんけ >>471
全然あってなくて草🌿
>>479
基本的にはそれだね、今では学習方法のバリエーションは多いけど いまいちllmが浸透してこないよな
もっとこうグッと仕事に絡んでくるかと思ったけど 単純に日本企業が無能過ぎてよくわかってないのと
既存の業務を変えたくない老害的な存在になってるからだろう
基本的に保守の塊だから生産性すらそのままにしていたい LLMは人間っぽい口調の入出力に対応しただけのポンコツAIなのでお遊びにはいいけど金が絡む仕事の場合は出力結果の人力チェックが大変すぎて
出力自体を自分でやってた方が早かったじゃんってなる その体裁を整える部分も学習に入るぞ
その体裁を整えるプロンプトこそChatGPTのキモなのだ
そこだけは論文でも隠されている 俺自身はコーディングやらメールの下書きでガンガンに使ってて重宝してるけど
ソレ以外の職種の人にとって有用なのかどうかわからん 俺も使ってるけど流石に社内のソースを貼り付けたりまではしていないな
このソースのテストを書いてとか
リファクタリングしてとかできるのだろうけどね
情報漏洩になりかねないから そういう意味ではやはり日本企業が遅れてるのだろうね
俺なら全社でChatGPTを解放する
社内のソースもどんどん貼り付けて利用しろというね >>484-486
LLMの本領は読解にこそあると思うな
論文や知的財産調査等の難解文まで検索して要点整理してくれるのは有難い bardはソースコード読ませてもそのソースコード内に関する質問出してもまったく別のコードについて回答してくるから全然ダメだわ
ChatGPTなら3.5でも問題なくソースコード内について回答できるのに bardは応答の速さは良いけど全然ダメ
geminiはどうなんだろうね🤔 次の全銀ネットはコボルからJavaらしいから美味しいぞ コボル？
ラテン語とか古代ヘブライ語より以前に滅びたと言われるあの幻の言語？ なぜRustにしないのか
どうせインデックステーブルとかの構造は変えられないなら安全な言語使うのがベストだよ 全銀ネットの開発できる規模のRustプログラマーなんて頭数確保できるわけないだろ
現実見ろ >>501
ミッションクリティカル業務で使えるの？実績は？ >>504
逆に他の言語で全滅してる現状でそのようなことは無意味ではないか？
選択の余地はない ちなみにJavaにしてもヌルポの山を築くだろうと予言しておく >>507
ミッションクリティカルな環境で動いていない言語しか使っていない
よってその実績はいまだにどの言語でも達成されていないということ
お分かりになった？ 具代的にいうとCとCOBOLとPL/1は大障害を起こしているから
ミッションクリティカルなシステムでは使えないということ
小学生でもわかりやすいように説明してあげたがどうだろうか ちなCとCOBOLとPL/1はメインフレームや全銀ネットで使われている言語
他にもあるかもしれないが Rustは完璧なのか
>逆に他の言語で全滅してる現状でそのようなことは無意味ではないか？ Rustはローレベルな処理を安全に書けるようになったというものであって
もともとローレベルの記述ができない高級言語と比較してどっちが安全とか
言うものじゃないが。 トヨタやパナなんかも大規模リコール起こしてるから新興メーカーの製品は安全だと言ってるような感じに聞こえるけどマジで何言ってんだ？ >>513
完璧でしょ
少なくとも今問題が起きてる部分に関してはほぼ間違いなくコンパイル時にエラーが出る bardもCharGPT(bing)も平気でうそつくけど、嘘ついたろって指摘したらbingはごめんなさいっていうけどbardは嘘つかないと言い張るのでbard切った 銀行システムの開発担当するような最低賃金ギリギリで働くプログラマーにRust使いなんて皆無と言っていいぐらいいないんだからRustが優れているとかいないとかそんなこととは関係なく採用不可能なんだよ 業態固有のビジネスロジックをC言語で書くのはちょっとな― >>520
それ言い出したら現時点でまともなC使いもおらんのだから同じことだろ
良い方に舵を切るしかないんだよ >>519
お前プログラマーじゃないだろ
「完璧にできる」なんて答えるやつは1人もおらんのだよ
テストカバレッジ100%であっても不具合が出ることはある
不具合の確率を極限まで下げるように努力をするのがプログラマーだ
そのための使う道具への学習や使用は惜しまないし
妥協することはない >>523
＞そのための使う道具への学習や使用は惜しまないし
＞妥協することはない
この手の文化はIT業界でもイケてるベンチャーだけの文化であって大規模システム開発するような企業とは全く別の世界
システム開発企業でわざわざRustの勉強する人などいないし企業がそんなこと教育してくれるわけもない 525が言ってるようなジャパンのITって企業間の癒着とか公金チューチューでゴミを作って成立してる世界だから機械学習民が見てるような上級ITとは別 時代遅れの汚物システムを介護する汚物SIerは汚物JTCと一緒に潰れたほうが世のためじゃよ 今回のAIブーム終了はchatGPTの化けの革が剥がれるあたりじゃない？
あれは文章の解釈と構築が上手いのであって
やってることは検索エンジン使うのと変わりない
NNは画像関連で凄い進化を見せたけど
自動運転は頭打ちで画像生成が目立つようになったし AIの学習データ作りの為のレベリングがインドでははやっているそうだ 検索結果を要約してくれるだけでも十分使い物になってるのだから終了することはない
どんどん進んでいく 岸田のバラマキメガネいったんばらまくっていったんだから俺らなんちゃってAIのデベロッパーにもはよばらまけや これすごいよね
つかディープマインド天才すぎる
何度目だよ革新的研究 pytorchの_sixが無くなってて
古いモジュールが色々動かないなあ
kerasがtensorflow.kerasになったより遥かに厄介
でもそんなもんよりみんなtransfomer使えば解決じゃ！！！って事なのかなあ
メモリドカ食いだ 「説明変数」という用語はなぜ「説明」などという言葉がついているのでしょうか？
分かりにくすぎます。 感度とか特異度とか意味不明な用語も一掃してほしいわ 単純に対象をいくつかの要素に分解して説明するから説明変数なんだけど何が分からないのかが分からない 再生核ヒルベルト空間が云々、とか突然言い出されるとウッと来る IT系はさ、よくわからない単語にはラベリングして保存して周知するっていう悪癖あるよね 明けましておめでとう！
今年もみんなで機械学習の勉強頑張ろう ケビン・マーフィーの比較的新しい本の入門編ってどうですか？ 「顧客や第三者のデータ侵害や知的財産へのリスクを理由に日本企業の72％がChatGPTなどの生成AIアプリケーションの利用禁止」
学習での使用は可、アウトプット（生成物）が似ていなければ知的財産権の侵害にあたらないと行政や立法のトップが見解を出してるのに、この認識が進むとやりにくいな 似ていなければok＝裁判で似ていると認められればアウトなので事実上の使用禁止命令と考えるしかない
似ている可能性のあるものを片っ端から調べるなど不可能だし リスク云々抜きにして大言語モデルってそんなに使えるか？
応用先もだいたい収束してきた気がする。 そもそもパクリしかやってないのにリスクとは臍が茶を沸かす >>574
似ているものがあるかどうかをAIに探させればよい。 >>575
うちの会社だと、仕事で使ってる人多いように見える。
コードを書く仕事じゃないから知らないことを聞いてるみたいよ。 機械学習の実務においてベイスとか
数学を使わずに済ませられるけどさ
数学力に代表される分析能力の無いヤツらが
とんでもない分析するだろ？
データが100個与えられたから
100個にクラスタリングして
100%の説明力を持つモデルを構築したとか センスある人ない人の差が激しすぎる
でーたさいえんてぃすとになりたい
えーあいやりたい
ってだけでは入ってはいけない世界と思う。
ただのIT土方になるだけ 5chにkaggleなどのコンテストやってる人はいないのか そもそもあれなんだよ、AIなんかに頼るのは確率モデルを数学的に正しく理解できてないからだよ 数学の達人にAIはいらんのだ >>592
同意
AIってキーワードと簡易さからたくさんの人が使用するようになった。
機械学習なんて名称のままだったらこんなに広まってないわな 数学者でもAIに頼ると思うけど？
専門分野ならAIよりも賢いから叩き台にするくらいだろうけど
それ以外なら普通に使うだろ Transformerって完全パラレル計算なの？
chatgptは2048文字とかパラレル？
LSTMみたいに順次計算とは違うの？ 500次元くらいの各文字のベクトルに位置を反映した三角関数みたいなのを足していて、横に広がらなくて組み合わせ爆発が起きないのが勝因みたいな理解 >>596
推論は順次計算だよ
コンテキスト作成までは並行 ニューラリンク、治験参加者に初の脳デバイス埋め込み 「回復順調」
中国では既にやってそうなｗ >>599
入ってないのはお前だけだ〜って群衆に追っかけられる未来が見えた 教師無し学習を１か月勉強したいんだが
教師有りの知識ないと躓きやすいですか？
どうにしかして大学レベルの機械学習の知識を得たい >>603
パターン認識と機械学習という本を読もう 教師無しと言いつつ物差しは持ってるから実質教師はいるのや 最近の技術用語を纏めた書籍がほしいのだがおすすめはないですかね？ あっと、、分析なんちゃらは持っているからいいや。他のがあれば‥ >>608
K//L←の意味合いが分からないなら
あれは機械学習の数理を解説した良い書籍
なお読解するにはある程度の知能指数が必要 アルトマン氏、オープンＡＩ取締役に復帰…「もっと注意深く対処すべきだった」一連の混乱を謝罪 soraでBlenderのオブジェクト生成出来ないかな openaiが日本語特化gpt-4カスタムモデルを提供するってよ 今更ながらデータ系列の深層学習の練習
データ系列、及びそれらについて数値演算を行って得られた同数の要素数のデータを数本まとめて
CNNをやってみた
これらのデータ群から自分の求めたい数値群を得られるようにpytorchでトレーニング
だが数本まとめたデータに「まずコンボリューション演算をする」
のが大失敗
データの一番上に元データ、その下に処理したのが数本並んでるので
これをいきなりコンボリューションしたら元データの要素が小さくなっちゃう
conv,linear,view,reluなどを含めメソッドの使用順を変えたら「ずっと良くなった」
(先はまだ長い) 国内企業全部まとまってでっかいの1つ作れと前言ったのに 日本の大手企業では個人の力が上に伝わらない。企業ではなくベンチャーでしか個人の才能を発揮できる土壌がない。
ただ日本のベンチャーではマンパワーと金が圧倒的に足りない。
最初から詰んでいたと見る 日本のIT産業にアメリカに対抗できる能力はない、真似するだけ AV機器、半導体は追い越せたがソフトは真似で終わり これじゃあllama2をベースに商売しようとしてた人らがバカみたいじゃん🥸 全部同じ値になっちゃう！
を学習率スケジューリングで回避 LLMは長い会話出来ないから
文章の要約以外は
たいして役に立たないと思うんだが
商売になるんか？ 
