【統計分析】機械学習・データマイニング24

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ﾜｯﾁｮｲ 8b01-ZQWL [60.65.176.121])
垢版 |
2019/05/01(水) 10:39:45.57ID:Wg+J+pQH0
機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured
2019/05/10(金) 18:00:10.77ID:qCZvktc2M
カーネル主成分分析に関して質問です。

カーネル行列の固有ベクトルaの各成分って高次元への射影後のベクトルの、高次元の世界の主成分軸への射影を固有値で割った値になっていますが、固有値で割るのはどういう意味、効果があると解釈すればいいのでしょうか?

あるテキストだと固有ベクトルを固有値で割ってnormalizeするって書いてあるんですが、固有値は標準偏差の値では無く、分散の値ですよね?よく分かりません。
141デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sd33-BnMc [49.98.52.130])
垢版 |
2019/05/10(金) 18:57:29.10ID:7lGnDhFmd
>>140
それ何語？
2019/05/10(金) 21:15:09.75ID:4Zcn3ufG0
>>140
rand関数で生成された乱数は分散であるがその割合がガウス分布として出力されるようになっているのであれば
平均を0としてσの範囲内にあるかないかってことだ
143デフォルトの名無しさん (ﾜｯﾁｮｲ 0b82-TFGT [113.20.238.175])
垢版 |
2019/05/10(金) 21:41:00.52ID:AJz30mR40
2030年代の機械学習って
今よりも、どれくらい進歩していると思いますか？
2019/05/10(金) 22:46:21.02ID:q19tRWSj0
量子コンピューターの開発に依存？ >>143
145デフォルトの名無しさん (ﾜｯﾁｮｲ b140-F0TO [118.104.2.237])
垢版 |
2019/05/11(土) 19:34:31.39ID:FHzVXhI90
素人だけど
学習の高速化　シンボリックを含むこと
モジュール化
構造の自動生成
複雑な構造の解明と作成
こうした研究のその先にあるものでしょ？
やっぱりAGIかなー
2019/05/11(土) 20:48:02.27ID:2v2BzL6t0
>>143
オワコン
2019/05/11(土) 21:09:42.43ID:ew7BdoQp0
機械学習スタートアップシリーズって微妙なやつもあるよね
2019/05/11(土) 21:31:59.53ID:Zt/4qaNAF
その勉強の先に何があるんだ、みたいなほんとうに触りだけの奴も多いな
最初から突き放してあげた方がある意味で良心的
2019/05/12(日) 01:01:48.75ID:k5GhHpRra
理解しました。
これは高次元の世界の主成分軸の単位ベクトルの大きさを1とする制約からくるものですね。
固有値で割らなかった場合は主成分軸ごとに単位ベクトルの大きさが異なるからグラフにしたときに升目の形が長方形になってしまう感じ。
150デフォルトの名無しさん (ﾜｯﾁｮｲ 733e-r25I [149.54.201.210])
垢版 |
2019/05/12(日) 02:12:12.70ID:B3ncpqwY0
画像認識で教師なし学習って可能ですか？
例えばネット上の色んな画像をランダムに学習させてあとから犬の画像を抽出できるようにするとか
2019/05/12(日) 02:52:35.06ID:sBOzGE/v0
教師無しと教師有りに本質的な区別はない
2019/05/12(日) 08:08:33.24ID:LAPNzPPAM
>>140
自分の理解だと
高次元空間における主成分軸への射影ではなく、高次元空間に射影した時点で
自動的に主成分分析っぽいことができていて、あとはスカラーを調整するだけだったような
2019/05/12(日) 08:09:57.05ID:Jr9TZlLT0
https://tjo.hatenablog.com/entry/2019/05/10/190000
2019/05/12(日) 08:12:26.96ID:Jr9TZlLT0
＞「このまま今の仕事を続けていった場合、一体自分はどこに向かっていくことになるんだろうか？」「10年後に果たして自分の仕事はあるんだろうか？」と不安に駆られるのも無理からぬことだと思います
155デフォルトの名無しさん (ﾜｯﾁｮｲ 9b66-tQvV [183.77.216.198])
垢版 |
2019/05/12(日) 08:29:46.27ID:VqhQ+RPw0
長い
2019/05/12(日) 08:51:24.29ID:LAPNzPPAM
キャリアの先が不安だから
データサイエンティストではなくエンジニアの方になったわ
やること多くて反吐が出るけど
2019/05/12(日) 10:19:23.76ID:ICYeSmM7H
高度IT人材が数十万人不足！とか騒いでる側から、現職中堅からこんな声が上がってるとはね
AI、AI！はただの号令で実態はこんなもんなんだろうな
数年後には年間数万人規模の大学出AI人材輩出されるらしいが現場はどうするんやろ
2019/05/12(日) 11:25:59.32ID:z++b3CYg0
結局システム作らないと行けないから、論文書くような人以外は、従来型人材が必要なんでないかしら
2019/05/12(日) 11:38:51.72ID:wIsV6IWRa
50代の偉いポジションの人なんかはメール使うのがやっとというレベルでありその人が考える高度人材だから実際はお前らが想像するほど高度ではない
2019/05/12(日) 12:21:56.49ID:VqhQ+RPw0
松尾豊あたりが入れ知恵してるんだろう
2019/05/12(日) 12:37:03.79ID:z++b3CYg0
svmで分類出来る程度なら勝手に皆成る気がする
2019/05/12(日) 16:34:03.36ID:yphZ1GONp
>>149
理解しているのかしていないのか分からないけども
1. 高次元への写像
2. 主成分分析
という2段階のステップがあり、固有値、すなわち分散で割るのは主成分分析によるもの
次元削減で使う主成分分析も固有値で割るでしょ？

>>152
自動的にできるというのが言い方は微妙だけど
分類できるようにカーネル関数を選択するというのが正しい
2019/05/12(日) 16:38:55.57ID:yphZ1GONp
>>150
分類はできるけどそれが犬であるかどうかは教師が必要
2019/05/12(日) 16:41:47.65ID:yphZ1GONp
>>156
データサイエンティストって言っても多くは前処理要員だと思う
DataRobotにデータを食わせるためのエンジニアに近い
あるいは出てきた結果を偉い人にわかるようにWordやpowerpointに貼って説明する仕事
2019/05/12(日) 18:54:41.11ID:VqhQ+RPw0
偉い人にデータサイエンスブームが来るだけでは？
他人にやらせるより自分でできた方が良いだろ
pl理解するノリでデータサイエンスが必須スキルになるのでは？
2019/05/12(日) 20:57:22.15ID:dyyWf7Fh0
ほにゃらら人材が何万人不足ってのは
「安く使い倒せる人材」が不足って意味だからまともに受け取ると死ぬぞ。
167デフォルトの名無しさん (ﾜｯﾁｮｲ 733e-r25I [149.54.201.210])
垢版 |
2019/05/12(日) 21:05:53.21ID:B3ncpqwY0
画像で犬が認識できるようになるには何層辛い必要なんですか？
168デフォルトの名無しさん (ﾜｯﾁｮｲ 733e-r25I [149.54.201.210])
垢版 |
2019/05/12(日) 21:06:44.48ID:B3ncpqwY0
何層くらい
2019/05/12(日) 21:12:41.78ID:XrbI1zLA0
>>166
第五世代の頃もそう言われていて騙されたｗ
2019/05/12(日) 21:24:13.42ID:yphZ1GONp
>>167
CNNを3つ、すなわち畳み込み層とプーリング層を3つずつで6層かませて、その出力を全結合でうけたら結局最低7層くらいじゃないかね？
2019/05/12(日) 21:35:29.92ID:ICYeSmM7H
>>156
まぁ部署がなくなったりするよりはいいだろうw
172デフォルトの名無しさん (ﾜｯﾁｮｲ 733e-r25I [149.54.201.210])
垢版 |
2019/05/12(日) 21:45:49.32ID:B3ncpqwY0
>>170
そんなもんで行けるんですね
思ったよりコスト低かったです
ありがとうございました
2019/05/12(日) 21:48:32.58ID:sy9ClKDrM
>>162

しつこくてすみませんが、通常の主成分分析で固有値で割るっていうのが分からないです。
例えば3次元のテストデータ100個を主成分解析で2次元にする場合、

1. テストデータ(100X3)を標準化(平均0化＆標準偏差で割る)する
2. 共分散行列を求める(3X3)
3. 共分散行列の固有方程式を解く
4. 固有値が大きい順に対応する固有ベクトル2つを並べた行列(3X2)を作る(※固有ベクトルの大きさは1)
5. 標準化したテストデータ(100X3)と4.で計算した行列(3X2)の積を計算する

の手順だと思いますが、どこで固有値で割る計算をする必要がありますか？はじめに標準偏差で割るのと関係しています？
2019/05/12(日) 22:16:58.32ID:yphZ1GONp
>>173
単なる次元削減だとその通りで固有値で割るプロセスはないよ
PCAの出力をさらに分類に用いているから固有値で割る意味がある
2019/05/12(日) 22:41:24.92ID:Jr9TZlLT0
共分散行列の寄与度の話が横割で入ってるからややこしくなってる
きよど＝対象軸の固有値÷行列のトレース(固有値の総和)
2019/05/12(日) 22:46:24.16ID:Jr9TZlLT0
固有値大きいものの軸を残すのだから
寄与度も見とけという話
2019/05/12(日) 22:49:17.14ID:yphZ1GONp
>>175
今は寄与度の話ではなく正規化の話です

機械学習で分類をさせる場合に、最初の前処理として正規化します

PCAで座標系変換したので、新しい座標軸で正規化をしただけです

難しいことは言っていないですよ
2019/05/12(日) 22:50:54.86ID:Jr9TZlLT0
>>140を呼んでなかったな
固有ベクトルを1に規格化してるだけじゃね？
変換行列をユニタリ行列にした方が扱い易くなるし
2019/05/12(日) 23:32:08.32ID:yphZ1GONp
>>178
同じく質問を正しく理解してなかったかも
もしかしてこういう回答が欲しかったのかな

分散共分散行列 Σ
ある固有値λ=σ^2 固有ベクトルx

質問: 固有ベクトルの正規化はx/σではなくてx/σ^2はなぜですか？
回答: Σ=XX’で次元はσ^2だから。実際対角成分は分散が並ぶ。
2019/05/13(月) 00:06:31.85ID:fgQo8CVVM
レス下さった方ありがとうございます。
181デフォルトの名無しさん (ﾜｯﾁｮｲ 8101-BnMc [126.110.205.151])
垢版 |
2019/05/13(月) 01:04:21.95ID:Aw9fYqTa0
>>150
ネコは可能だけど犬はどうかな

有名なヤツ
http://zellij.hatenablog.com/entry/20130608/p1
2019/05/13(月) 01:58:58.24ID:raPjMjjZ0
文科省が○○万人不足！って騒ぎ出したらたいてい作りすぎで失業者の海になる
183デフォルトの名無しさん (ﾜｯﾁｮｲ 8101-BnMc [126.110.205.151])
垢版 |
2019/05/13(月) 02:06:03.05ID:Aw9fYqTa0
余って値崩れするくらいがちょうど良いんだよ。
経団連的には。
2019/05/13(月) 02:18:59.07ID:raPjMjjZ0
役所の肝いり人材増やそうとした業界は地雷だから進路をとるのはオススメしないところになる
2019/05/13(月) 06:18:49.06ID:DYqelPDQ0
>>184
ホンコレ
2019/05/13(月) 07:40:01.60ID:ZO0K8HVUM
AI人材の給料は新卒でも800万以上からスタートと聞いたけど違うの⁉
187デフォルトの名無しさん (ﾄﾝﾓｰ MM05-FpdI [210.142.95.242])
垢版 |
2019/05/13(月) 08:02:05.44ID:6CUBPQ20M
>>186
米国の話しね。
日本のサラリーマンは
まだ年功序列賃金が根強いので。
2019/05/13(月) 08:27:47.74ID:KmhIhj09a
日本ではどんなスキル持ってても新卒は300〜400万スタートで固定
189デフォルトの名無しさん (ｱｳｱｳｳｰ Sad5-WTbY [106.161.134.134])
垢版 |
2019/05/13(月) 09:07:05.39ID:C22xy9Fwa
>>188
パナだっけスキルがあれば1000万払いたいって記事みたけど。
2019/05/13(月) 09:36:36.91ID:75RnJmxl0
給与に期待したければ素直に外資行く

NTTも高度人材には1500万以上出すとか言ってたけど、
内部調整が上手くいかずに形骸化
日本企業で現場が管理職より高給を貰うと内紛が起きる
2019/05/13(月) 09:48:09.30ID:Kt7NEVhB0
ノーベル賞取る社員が出ても変わらんのな
2019/05/13(月) 15:24:45.95ID:bvgoIgNI0
コーディング(java or python,SQL,フレームワーク)
設計(デザインパターン,UML図)
数学(線形代数,微分積分,最適化数学)
統計学(大学一年レベル)
基本的なアルゴリズム(ロジスティック回帰,SVM,ランダムフォレスト,決定木,カーネル化)
DeepLearningの基礎(ニューラルネットワーク,RNN,CNN)

最低限、この程度のことをわかっていれば業界に入れる気がする
やってみれば簡単だし、すごい人材だとは思わないけど、どこにでも転がってるわけじゃないよなあ
2019/05/13(月) 15:30:30.94ID:cFShRLFxM
>>192
業界に入れても金にならない
2019/05/13(月) 15:38:16.99ID:bvgoIgNI0
俺なら初期ステこのぐらいで20代前半だったら全力で育てるけどな
2019/05/13(月) 16:00:15.71ID:QZeyc4uiM
そのステでどういう仕事あるんだろ。雑用の予感しかしない。
若ければいいけど
2019/05/13(月) 16:03:46.52ID:PK03RLzJ0
>>194
お前を使うほうに就職してるよ
2019/05/13(月) 16:09:58.77ID:bvgoIgNI0
>>195
エンジニアにするしかないからPGからじゃない
2019/05/13(月) 16:11:56.88ID:cFShRLFxM
>>195
web系（大手）かSIerに就職だろ
2019/05/13(月) 16:17:44.83ID:bvgoIgNI0
どっちかというと、業務用webアプリケーションを開発しているところの、
機械学習エンジニアの求人にひっかかりそう
2019/05/13(月) 16:20:05.85ID:QZeyc4uiM
ほぼワイのステだからね。ですよねーって感じだ。
2019/05/13(月) 17:10:03.77ID:HmTmr696d
>>186
日本は博士号持ってれば基本的に初年度は基本給22マン程度、次年度から36マン程度になり、入社5年でだいたい80マン位になる
2019/05/13(月) 17:47:44.67ID:VgiMIauBM
エンジニアになるにしても
新卒なら大学で何を習っていようがPGの下積みは必要だし
データサイエンティストになるにしても
たぶん前処理の下積みは必要なんじゃないかなあ
2019/05/13(月) 17:52:25.99ID:yzhNtOt8H
ちょっと意見を聞かせてほしい
AIの勉強会をやるとかで話す内容丸投げされて途方に暮れている。まぁ3回目なんだけど

一応他の社員が聞くわけだからなんか何かしら勉強になるものを提供したいと思うの
でも最近AIブーム終了だのコモディティ化しただのそんな話も聞こえてくるし
ヒントン先生がバックプロパゲーション後悔してるとかディープラーニング自体いずれより凄い技術に置き換えられるのではとか

そんなわけだから機械学習とかAI分野で色々技術が進歩しても大事になりそうな物って何だと思う？
例えば数学とか統計は間違いなくそうだろうなって。まぁプレゼンしても全然面白くなりそうにないのが困るけど
個人的にデータラングリングとか前処理とかはきっとずっと必要だろうしその辺なら話せるかなとか考えている
2019/05/13(月) 17:54:42.36ID:VgiMIauBM
>>203
説明変数、評価関数、最適化の関係は普遍的なことだと思う
むしろそれが全てみたいなところあるじゃん
2019/05/13(月) 18:53:09.54ID:WbHLMLVKr
>>201
5年目で80万もあれだが金払いのいいとこならあるとしても、博士卒は普通27歳なのに初任給22万って
206デフォルトの名無しさん (ｱｳｱｳｳｰ Sad5-Tcrn [106.180.14.187])
垢版 |
2019/05/13(月) 18:56:45.35ID:qW0HdUyQa
>>203
ディープラーニングが台頭した今だってSVMやロジスティック回帰やら決定木やらはデータ分析で現役だし
ディープラーニングより凄い技術が出てきたってそうなんじゃないの
2019/05/13(月) 18:58:43.63ID:VgiMIauBM
理系の博士号と取って、五年目で80万は平均値としては正しいかもなーって思った
俺はそういう世界のことよくわからないけど
208デフォルトの名無しさん (ﾄﾝﾓｰ MM05-FpdI [210.142.95.182])
垢版 |
2019/05/13(月) 19:28:31.24ID:iKyoSYqmM
ディープラーニングでうまく行かず
SVRを使ったけど
原因がわからん。

やっぱもっと勉強しないと
だめかなあ
今は勉強してなくても給料高いから
サボってしまう
2019/05/13(月) 20:02:19.16ID:6hKoG7EMa
統計も大事だけどその基礎として線形代数の方がもっと重要だな
2019/05/13(月) 20:06:45.88ID:RycU0k5v0
>>205
初年度は研修生である事に違いはないのでその程度が相場
2019/05/13(月) 20:16:39.53ID:76hfBhHZ0
>>192
＞最適化数学
はじめて聞く名前ですね…
2019/05/13(月) 20:22:18.24ID:rR5Ay+O80
最適化数学も知らないと臆面もせず書き込めることがこのスレのレベルの低さを物語っている
2019/05/13(月) 20:29:39.97ID:76hfBhHZ0
>>212
その「最適化数学」の中にでてくる technical term をいくつか紹介いただけないでしょうか？
2019/05/13(月) 20:33:23.65ID:RycU0k5v0
専攻してなきゃそんなもんじゃねーの？
2019/05/13(月) 20:36:36.23ID:royUZnP80
知らないことそのものを言ってるんじゃなくて、
自分が知らないことに対する態度のことを言ってるんだと思うよ
2019/05/13(月) 20:52:15.44ID:RXw/a9RH0
>>212
そいつは荒らしなのスルー推奨
2019/05/13(月) 21:09:00.43ID:DYqelPDQ0
プログラミングできなくても
ms-officeを使うように
中身を知らなくても
使うようになるよ
2019/05/13(月) 21:13:31.72ID:RXw/a9RH0
QZはC++厨房なので馬鹿にされるぞｗ
2019/05/13(月) 21:59:43.27ID:eZhrLGeRM
最適化数学くらいググればいくらでも出てくるだろ

だからこの擦れはレベル低いといわれる
（実際レベル低いけどｗ）
2019/05/13(月) 22:12:10.34ID:9QsNbP8la
最適な解を求めるのは計算量などの壁があるので
現実には準最適解で我慢するしかないがな
2019/05/13(月) 22:24:38.16ID:RXw/a9RH0
そんな話はしてねーよ
2019/05/13(月) 23:25:32.54ID:Lin7kyjOH
住人は二極化の傾向
2019/05/13(月) 23:41:05.48ID:lm4Ta2LV0
数理最適化なら普通によく聞くんだが、「最適化数学」でググると特定の本ばっかり出てくる…
2019/05/13(月) 23:42:53.23ID:WTnXiss50
>>207
平均はもっと低いぞ
アカデミックなら五年目で年収600も行かんことが多いし企業は残業次第じゃないか
2019/05/13(月) 23:45:37.57ID:WTnXiss50
>>210
俺が就活したときそんな求人見たことないが。まあ分野違うけど
2019/05/14(火) 04:40:20.09ID:tmpBh2DsM
>>224
そんなもんか
今はなんだかんだでオーバードクター向けの求人が多いから、
もう少しもらってるのかと思った
2019/05/14(火) 04:48:08.09ID:tmpBh2DsM
叩き上げの機械学習エンジニアからみると、
大学院でアカデミックなことを学んで、データサイエンティストになった人たちは輝いてみえるんだけど
お給料は俺らと大差ない上に、キャリアを考えたらエンジニアの方がずっと安定するのね
この国は技術や知恵に対する敬意が足りない
2019/05/14(火) 07:46:45.08ID:FDFESg8Y0
ポケモンをプレイしていた大人の脳には「ポケモン領域」が存在することが脳スキャンから明らかに
https://gigazine.net/news/20190507-brain-scans-reveal-pokemon-region/

これって昔流行ったおばあちゃん細胞だろ？
2019/05/14(火) 08:14:18.68ID:OfxHotEtH
>>227
今まで日本式経営は多くが近代的だったためデータの持つ力が分からなかった
データを活用する方法と、データが経営判断・利益に直結することが知られてきたので、データ屋さんは徐々に需要増と予想
2019/05/14(火) 08:21:34.40ID:klzpQa9I0
とは言っても特別扱いは無いだろね
色々な専門家が集まって企業は作られてるわけで、昔の花形分野の専門家と同じ扱いになるでしょ
2019/05/14(火) 08:36:03.29ID:1t0AuSqNp
>>229
その通りだね
データ関連事業は活性化すると思う

国の研究機関はさらにまずいね
データ関連のポジションがなくデータは研究者のサイドワークになっている
海外は米国、欧州、中国はデータ関連のポジションがある
2019/05/14(火) 09:15:59.28ID:dLAGyjDCM
まずは隗より始めよ。
国の研究機関で派遣のデータ関連の仕事あったよｗ
ポスト増やせないのね
2019/05/14(火) 09:23:38.47ID:1t0AuSqNp
>>232
パーマネントポジションという意味ね
派遣に任せるデータではなくて、博士号を持った研究者による専門チームが各国にある
派遣エンジニアはいくらでも必要だし雇用するけどもそれらを統括して将来構想を戦略的に練るポジションからして存在しない
データ戦略という概念がゼロ
2019/05/14(火) 09:36:47.85ID:dLAGyjDCM
>>233
そのとおり
派遣に丸投げで、論文の紹介すらできないんだもの。データ扱いたいなら自分が勉強するか、データ系の博士持ちせめて有期で雇って欲しい
2019/05/14(火) 13:06:08.23ID:bjURUwy5a
久々に立ち寄ったらポジションくれくれスレになってた
236デフォルトの名無しさん (ｱｳｱｳｳｰ Sad5-WTbY [106.161.129.63])
垢版 |
2019/05/14(火) 16:48:13.57ID:kMGrdpdaa
>>223
制御数学じゃないんか？
2019/05/14(火) 16:54:39.30ID:xQiDR/bs0
間抜け乙
238デフォルトの名無しさん (ﾄﾝﾓｰ MM05-FpdI [210.142.95.149])
垢版 |
2019/05/14(火) 18:59:05.36ID:rZErxOEYM
なぜ給料の低い国の研究機関に
ポジション求めるの？

民間企業でいいじゃん？
給料高いし変な縛りもない。
2019/05/14(火) 19:20:50.93ID:R0GTEc9nH
ポジションは外資のがちゃんとありそう
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況