【統計分析】機械学習・データマイニング31
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured >>2
こっちはワッチョイあり
向こうは無しでしかもずっと前に建った重複スレ optiverのコンペ、全然歯が立たなかった... コンペって気軽にゲーム感覚で参加できるようなものですか？
プログラミングコンテストの問題を解くような気軽な感覚で参加できますか？ AGI開発 明らかになった3つの課題
①脳神経科学とソフトウェア開発の両方に精通した人材が少なく、その育成が困難
②脳全体をカバーする神経科学知見は膨大であり、個人の認知能力に頼って脳全体の機能を統合したソフトウェアを設計することには無理がある
③脳の認知機能をソフトウェアに適切に反映させるためには、参照する脳の記述粒度を適切に選択する必要がある 今回山川と高橋らは、脳型AGI開発を
"脳参照アーキテクチャ(BRA)を共同で描く設計作業"と、
"BRAに基づいてソフトウェアの実装と統合を行う開発作業"
に分けることによる「BRA駆動開発方法論」を提案
「BRA」は、脳型ソフトウェアの仕様情報として標準化されたデータ形式で、
主に解剖学的構造を記述した「脳情報フロー(BIF)」形式のデータと、それに付随する「仮説的コンポーネント図(HCD)」で構成されている
まず神経科学の論文やデータを収集、整理してBIFを作成。
BIFは、脳内におけるさまざまな粒度の「サーキット」をノードとし、それらの間の軸索投射にあたる「コネクション」をリンクとする有向グラフだ。
─必ずしも脳を深く理解していない開発者であっても、HCDを仕様として参照することで、脳型ソフトウェアの実装に携われるようになる。
─作成されたソフトウェアの生物学的妥当性は、その構造と動作がBRAと一致しているかどうかによって評価され、
BRA自体の信憑性は、神経科学的知見の裏付けによって評価される 別に欲しいのは脳を再現したものではなく脳かそれ以上の思考力を持つプログラムなんだけどな 脳自体の仕組み解明にも役立てようとしてるんじゃね？
仮説に沿って人工的に作ったものと脳の比較 個人の仮説思考をまだ検討段階で表に出してるあたり、結論ありきで発表するんだろうな。お話しにならんね そもそも脳構造が機械学習と同値にあるとは物理的に証明されたんだっけ？
そもそも仮定を見誤ってる典型例かな。 脳のやり方を真似してシステムを作ってみるが
性能を上げるためにどんどん脳とは違う仕組みになってしまう
というのを繰り返しているような気がする >>16
脳でもbackpropが行われているのではないかと言った論文が出ていたと思う こういう論文があるから正しいんだ、みたいなこと言ってくる人がたまにいるけど
論文を元に再現実験をあちこちで実施して検証するのが科学的プロセスだからね >>18 は「こういう論文がある」と言っただけで正しさには言及してないが >>13
それな
脳をコピー(劣化コピー)しても脳以上の性能は期待出来ないよな
せいぜい疲れずに死ぬまでこきつかえるかも知れないが
どうせ脳のコピーだからやっぱり寝ないといかんだろうし 完全に妄想だけど睡眠はパラメータの蒸留に相当してるのでは？ >>25
それでも、これまでに解決できなかった事ができるようになれば投資する価値はある 脳のシステムをコピーして、ソフトウェアに出来たらそれだけでも結構すごいけどな
今はそれすらできない 睡眠中に短期記憶の領域から長期記憶の領域に移されるとか
アルツハイマーの原因タンパク質を排出するとか
言われている
睡眠中は無防備になるのにそれでも必要なんだから何らかの機能や役割があるんだろうな 人間の視聴覚に介入することすら未だままならないもんな ＞ショウジョウバエの脳のニューロン数は約10万であるのに対し、ヒトの脳には約860億個のニューロンがある
ショウジョウバエでも未だにこの程度なのに、ヒト脳の完全解析なんて無理よ
富岳も、全脳シミュレーションにはまだ計算能力が足りない よくわからが神経の接続は繋がったり消えたり強化されたりすｒんだろ静的解析だけではわからないじゃね >>34
すまないが確認してみるから
検体になってはくれまいか？ >>39
俺もそこはイマイチだったけど、目的が違うんだと理解してる
ファインチューニングは、その名の通り微調整
公開された学習済みモデルの、出力層付近の重みを自分の（または新たな）データセットで学習させて適応させるとかで、ファインチューニングの前後でモデル全体の目的は変わらない
転移学習は、モデルをそのまま別の目的へ使用すること
例えばよくある例だと画像認識モデルを特徴抽出器としてSVMに流し込んで、分類させるのに使うとか
転移学習の前後では全体の目的は変わる（例では画像認識→画像分類） 特定の層だけ学習済みの層を使うのも転移学習なんじゃね？
オートエンコーダ層だけ他のをそのまま使うとか ファインチューニングだと層の数や各テンソルの成分数までいじる、って見たような
転移学習だと既にあるモデルに別の画像モデルを載せて学習させてた >>41
プリトレインのパラメータはフリーズしてffを新たに訓練すること？ 機械学習において概念の獲得というのは可能なのでしょうか？
例えば犬種を見分けるモデルを作成する中で大きさという概念を獲得させ、その結果を転用して大きさから車種を判別するといったことは可能でしょうか？ どこかのパラメータが大きさを認識するかもしれないけどそれを全く別の種類のものに適用したければ
どのパラメータが大きさを認識するか調べて抽出して新たなモデルを人間が作成するしかない
大きさという概念をプログラムが知らない前提なんだから人間が調べて取り出す必要がある >>47
やはり現状では人間の手が必要ですよね。
特定の概念に特化したモデルを予め作成し転用することは可能でしょうか？
例えば画像情報から大きさを判別するモデルを作成し、この大きさ判別モデルをモジュールとして別のモデルに組み込んで使うという形です。 人間の定義なんてものは主観的で
規則ベースの方式は所詮おれがかんがえたさいきょうのモデル、でしかなく
汎用性は無く例外に弱く使い物にならないのは散々見せられてきた その辺は言語モデルと画像認識と分類クラス名がリンクされたモデルというのを
作らないと難しいか >>53
記事を見つけて読んでみましたが面白いですね。
ttps://ainow.ai/2021/04/26/253364/
時間や場所の概念を獲得した(テキストに正しく反応できた)だとか、当初の目的以外の用途に使えたというのは実に興味深いです。
120億パラメータというのがこれまた凄まじいですが、特定の概念に関する部分だけ抽出出来たら宝探しみたいで楽しいでしょうね。 入門書読んでる途中で練習がてらUCIからEnergy efficiencyってデータセットひっぱてきたんだけど
すごく素直なデータセットだな。欠損値ないし、ただ単に重回帰分析しただけで決定係数が0.9越えてた
ここまで素直だとなにか罠があるんじゃないかと不安になる。諸先輩方はどう思います？ >>56
その可能性を考えて、訓練データとテストデータ両方の
決定係数を見てるんですけどそんな差がないんですよね。
データ分ける時にシード固定せずに40回ほど試したんですけど
決定係数の差は、大きくても0.043、もとのデータも768件あるんで
過学習なんでしょうか？ >>57
ちゃんとクロスバリデーションすべきだなとか思ったけど ごめん途中で書き込んじゃった
自明な予測との比較はどうなんだろとか思ったけどよく読むと予測精度じゃなくて決定係数の話ですね。
決定係数って学習データへの当てはまりの指標じゃなかったかな。学習データの分散のどの程度を説明できてるかですね確か。
訓練とテストに分割する意味がよく分からないなと思いました。 >>57
とりあえずテスト誤差と訓練誤差調べてみたら？ 先輩方ありがとうございます。次にやることが見えてきました。
追伸、IP出るスレは苦手なのでこれにて失礼します。スレ汚し失礼しました。 >>61
勉強が足りてないですが自覚したなら努力を継続できるでしょう。
頑張って 新しい資本主義会議メンバーに松尾豊さんが選ばれましたね。 松尾豊さんのことをAIの第1人者と紹介していましたが、本当ですか？ 最も〇〇なものの一つの表現と同程度に捉えておくと良いかと思います。
現在のAIブームの初期から積極的に活動されてたことは確かですし、語れる研究者は貴重な存在ですよね。 研究者として第一線で発表してるかといわれたら違う
ai研究の顔、広報としての役割が強い どのくらいの頻度で書いているかとかその内容とかも考慮した方が良いような 物理学とか医学でノーベル賞取ってる人はいるけど
この分野でノーベル賞的なものを取れる人はいるのか？ 最初に多層ニューラルネットワークを考えた人は正直ノーベル賞レベルだと思う
ようやく花ひらいたけど基本は当初と何も変わってないし ノーベル何賞になるんだよ
新設しないと該当する賞がねーだろ >>79
だからノーベル賞的なものと書いた
数学だとそれはフィールズ賞らしいけどな ニューラルネットワークって物理の文脈で捉えることも可能だからゴリ押せば問題ない ノーベル賞の認知度の高さが一般人の科学への認識を歪めてる感はありますね。 ＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ 情報系じゃなくて実験系の出身だから論文読むのも大変だわ
機械学習が必要になってPytorchやTensorFlow使ってるんだけど、
自分がやってることと言えば論文軽く読んでGitHubからコード落として、ネットワークを目的に応じて修正し自分のデータに適用してるだけ
詳細なアルゴリズムはよく理解できてないことも多い
全く新しいモデルを提案する人達はすごいなと感じます >>93
同分野でも原理か応用かでやってることは全く違いますからね。
原理を知っておいて損はありませんが、応用で一番大事なのは対象となる事象の理解なんて言われるくらいですし。
パソコンを使って何かを創る人とパソコンの仕組みを研究してる人って感じですね。
特定分野の一技術がこれだけ広く利用されている現状はなにげにすごいことです。 K-meansするとき、標準化や正規化って必須なの？
特徴によってスケールが違うんだけど。。。 >>98
データを歪めてるというよりも、異る値を公平に比較するために揃えてる感じですね。
正規化は単体のデータではなくデータの集合に対して行いますので、単体の値が変化しても集合内のデータ間の関係(例えば距離の比)は保たれます。
手法が見ているのがこの生の値なのか関係なのかが問題で、生の値をそのまま使う場面はかなり稀だと思います。 ■ このスレッドは過去ログ倉庫に格納されています
