つまりOpen AI 内部でどんなに賢いマルチモーダルAIモデル(Arrakis等)が実は開発されていたとしても、その性能に見合った世界中の需要に答えるGPUがそもそもたりなさすぎて、Open AIはリリースできていない可能性がある。安全性や推論コストを下げる必要からの遅れよりGPU不足ファクターがでかそう
FTのインタビューで https://www.ft.com/content/dd9ba2f6-f509-42f0-8e97-4271c7b84ded > The company is also working on GPT-5, the next generation of its AI model, Altman said, although he did not commit to a timeline for its release. > > It will require more data to train on, which Altman said would come from a combination of publicly available data sets on the internet, as well as proprietary data from companies. 「GTP-5には取り組んでいる、ただしもっとデータが要る」 0715名無しさん@お腹いっぱい。2023/11/13(月) 20:08:40.62ID:sEQAcWgJ 人々が持て余している50回、 あるいはクソ重プロンプトを動かすためにつかわれている50回を OpenAI以外のリソースを使って軽量な用途に使われるように方向づけられる OpenAIはうはうはになる 0716名無しさん@お腹いっぱい。2023/11/13(月) 20:30:13.86ID:ZORF1AId @kyutaro15 アルトマンの発言を補足を入れてまとめてみました。 1⃣GPT-5開発: OpenAIは常にデータの質を重視しており、GPT-5の開発においてもこの方針が続いている。企業からの専門的なデータセットを用いることで、モデルの精度をさらに高めることができると考えている。 2⃣AGIの開発: 現在のLLMは、AGIに向けた多くのステップのうちの1つに過ぎない。AGIは人間のように幅広い知能を持つシステムを指し、まだ多くの研究と開発が必要である。 3⃣製品の位置づけ: OpenAIは、自社の製品を単なるソフトウェアではなく、「クラウド内の知能」として位置づけている。これにより、APIやChatGPTのようなアプリケーションは、この知能をより広範囲に活用するためのチャネルに過ぎない。 4⃣自律エージェントの将来性: GPTsはより自律し、決定を下し、行動するエージェントへの進化の出発点に過ぎない。 5⃣資金調達の必要性: AIの開発は非常にコストがかかるため、OpenAIはさらなる資金を調達することが必要である。これは、モデルのトレーニングや研究開発に大規模な投資が必要なため。 0717名無しさん@お腹いっぱい。2023/11/13(月) 20:31:56.78ID:sEQAcWgJ>>714 "proprietary data"は、出版物とか有償DBとか、そういう信頼できるデータのことじゃないの 最近のトレンドだと有象無象のデータを切り捨てて、整理されたデータのみで学習してもそれなりの性能のLLMを作れるって流れのようだし 0718名無しさん@お腹いっぱい。2023/11/13(月) 20:42:05.12ID:HzdxGyX4 50回/3hの制限が過去最高にうっとうしく感じるな 今後AIが強力になればなるほどGPU不足が足枷になる予感 月2万でもいいから制限解除したい 0719名無しさん@お腹いっぱい。2023/11/13(月) 20:42:42.57ID:mN/xp5ye>>714 この前の公式プログのOpenAI Data PartnershipsってのもGPT-5に向けた布石なんだろうけど GPT-5に取り組んでいるって発言を引き出したのは今回が初めてだな 0720名無しさん@お腹いっぱい。2023/11/13(月) 20:44:51.28ID:HzdxGyX4 GPTsはコンセプトは素晴らしいんだけど複雑なことやらせようとするとGPT-4自体の推論能力の限界がすぐ見えてしまう 理想的ものを作れるのはGPT-5以降になりそう 0721名無しさん@お腹いっぱい。2023/11/13(月) 20:49:44.75ID:sEQAcWgJ>>718 enterpriseは10万円とか100万円とか言われてなかったっけ 0722名無しさん@お腹いっぱい。2023/11/13(月) 21:39:39.93ID:sVeYFK0E いまだにデータが足りないとか言ってる段階じゃ完成はいつになるんだ・・・ザワザワ 0723名無しさん@お腹いっぱい。2023/11/13(月) 22:39:33.46ID:E/psZ/sg 言い換えれば、作り方はもう分かってるということ データは新たに作るのかな 0724名無しさん@お腹いっぱい。2023/11/14(火) 11:19:18.50ID:nXC/jan1 GPT-3が2020年だからGPT-5は2026年ぐらい? まだまだ先だな 0725名無しさん@お腹いっぱい。2023/11/14(火) 11:28:37.02ID:kDfsSd4J もっとフェイク動画等規制されたらいいってw 0726名無しさん@お腹いっぱい。2023/11/14(火) 13:32:43.14ID:9Zytfjpn Xの@ChatGPTapp 意味深な投稿ばっかりしやがって なんのためにこのアカウント作ったんだよw 0727名無しさん@お腹いっぱい。2023/11/14(火) 22:24:23.60ID:aPEYrj7B RWKV-5、日本語を扱ってこの性能はなかなか良い 文章の精度は1.5Bであることを考えれば他のモデルより優秀だし、出力も速い https://i.imgur.com/x7hOlWr.png https://i.imgur.com/LjhDIZ8.png https://i.imgur.com/LgFO3JK.png0728名無しさん@お腹いっぱい。2023/11/15(水) 00:08:58.85ID:xCcCcA2e GPT4エラー出しすぎ遅いし。 0729名無しさん@お腹いっぱい。2023/11/15(水) 00:10:48.83ID:9J0nJy50>>727 3Bと7Bも出るみたい どうやって計算量を削減しているんだろう 0730名無しさん@お腹いっぱい。2023/11/15(水) 01:29:03.54ID:GPp+SlVR>>3 consensus.appがGPTsを出してた