【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/03/14(水) 17:50:01.12

究極を言えば人間も筋肉を出力とした誤差関数のフィッティング

2018/03/14(水) 18:34:10.50

人差し指にすこ～し力を入れるだけで人生が大きく変わってしまう現代でなにいってだ？

2018/03/15(木) 03:07:31.55

機械学習の導入サービスって結構需要ある？

2018/03/15(木) 05:39:00.54

導入ってなに？

2018/03/15(木) 05:45:49.22

>>26
人工知能って言っとけばOK

2018/03/15(木) 08:21:37.29

目先のお金のために騙すようなことすると、実は大したことやってないとバレた時に信用を失うよ。

2018/03/15(木) 09:25:40.77

松尾豊みたいに？

2018/03/15(木) 12:41:54.52

挿入サービスいいよ

2018/03/15(木) 17:21:43.04

2つのデータセットがあって
両方混ぜて学習させるのと片方学習してからもう片方では結果はかなり違う？

2018/03/15(木) 17:35:54.20

生か

2018/03/15(木) 18:04:52.94

違うわけねーじゃん

2018/03/15(木) 18:12:47.20

進歩はやい分野で昔作ったものをたいしたものじゃなかったと言われても困る

2018/03/16(金) 00:49:58.03

>>32
データセットの偏り次第

2018/03/16(金) 08:32:14.58

特徴量Xの選択や出力Yの確率分布関数の選択は人間がやっているのに、
それを明確に伝えずに「学習」とだけ素人に言ってしまうと、そこに人間の意志は介在しないと受け止めてしまう。
わかってて伝えていないとしたら、不誠実だよね。

2018/03/16(金) 09:30:55.29

素人に伝えるｗ。特徴抽出の説明もすればｗ

2018/03/16(金) 17:00:10.60

自分で調べろってことだよ

2018/03/17(土) 21:59:05.74

素人が勉強するわけがないｗ

2018/03/18(日) 14:10:52.20

>>14
なぜこういう文系脳がムにいるんだろう

2018/03/18(日) 14:27:24.14

>>41
いやいや14の意見は機械学習の動作原理よく理解していればまともな意見だと思うけど

2018/03/18(日) 14:34:39.13

知性があると感じるかどうかは受け取る人次第

2018/03/18(日) 14:38:38.37

実際にはないわけだが

2018/03/18(日) 14:46:23.37

そもそも、詳しければここに来ないかも

2018/03/18(日) 14:56:51.86

痴性溢れる会話ですね

2018/03/18(日) 15:38:26.20

囲碁将棋でAIに全然勝てないから、俺達の方がバカってことでいいよ

2018/03/18(日) 15:43:34.55

馬鹿だなーｗ

2018/03/18(日) 20:25:35.64

機械学習は単なる統計学の
発展した形っていうのが実情だろよ

2018/03/18(日) 20:54:40.41

強化学習にも応用できるが

2018/03/19(月) 01:05:14.03

>>49
ただの関数だよ

2018/03/20(火) 01:09:02.54

https://carview.yahoo.co.jp/news/newmodel/20180320-10294785-carview/

2018/03/21(水) 12:34:12.52

『ゼロから作るディープラーニング』のアマゾンレビューを久々に見たが
低評価が目立ってるな…。

あとゼロから作る自然言語処理をテーマにした続編が出るそうだ。

2018/03/21(水) 14:59:01.02

あれは良書だと思ったけど
ハードルを低くしたから変なのが評価しているのかも

2018/03/22(木) 05:08:45.74

個々人のレベルに関係するのかも

2018/03/22(木) 09:06:55.85

あーRNN(LSTN)方向にいくんか
kerasでDNNとZQNがよかったな

2018/03/22(木) 09:42:30.23

LSTN www

2018/03/22(木) 21:08:47.38

イクッ

2018/03/24(土) 10:30:31.49

インターフェース 2018年5月号買った人 or 見た人いる？

2018/03/24(土) 12:36:19.44

トラ技３月号のほうが良かった

2018/03/25(日) 16:08:28.88

学習用作成したデータの標準化って、要素単位でやるんですよね
配列全体をひとまとめに標準化するんじゃなくて

2018/03/25(日) 16:13:30.28

要素って次元のこと？

2018/03/25(日) 16:14:02.86

日本語でおk

2018/03/25(日) 16:31:41.77

次元です(体重、身長、性別(ダミー))とあった場合
体重は体重だけで標準化、身長は身長だけで標準化、ダミーはそのまま
に加工すればいいという感じでしょうか

2018/03/25(日) 16:44:47.42

計算は要素単位だろうけど標準化は配列全体をひとまとめに扱わないと無理じゃね

2018/03/25(日) 20:18:01.15

いや～あくまで次元単位（変数単位）ですよー

2018/03/26(月) 20:27:20.58

黒木玄 Gen Kuroki
‏ @genkuroki
#統計 #Julia言語
#機械学習の話を調べると、過学習を防ぐために「適当なところで最適化過程を止める」のような「極めて怪しいこと」(笑)をやっているようです。
その「極めて怪しいこと」(笑)の様子を単純なモデルで見てみたかったので、動画を作ってみました。
添付動画は n=64, d=3 の場合
https://twitter.com/genkuroki/status/977913862560165888/photo/1

#統計 #Julia言語動画1つ当たりの作成時間は約12秒です。

https://gist.github.com/genkuroki/c440bc748ba230921c1a1f3613053b21 …

http://nbviewer.jupyter.org/gist/genkuroki/c440bc748ba230921c1a1f3613053b21 …

2018/03/26(月) 20:40:56.60

>>67
過学習なんて、倒立振子の時代から問題になっていましたよ‥別に新しい話題ではないね‥

2018/03/26(月) 21:57:36.14

>>67
宣伝乙

2018/03/27(火) 01:12:23.82

＞動画1つ当たりの作成時間は約12秒です。

頭に浮かんでから12秒なら凄いけど

2018/03/27(火) 07:23:23.92

wikipediaも自分で書いてそう

2018/03/27(火) 07:33:06.76

機械学習における過学習は、機械学習が出てきたときからあるし。
過学習として考えれば別にこの50年で出てきた話題でもない。
スゲー昔からの話

**デフォルトの名無しさん** (JP 0H7f-hj1l) · 2018/03/27(火) 12:13:00.65

overfittingの歴史ってどこから始まってるの？

2018/03/27(火) 15:38:59.24

坊やがまだﾊﾟﾊﾟの金玉の中で尻尾振って泳いでいた頃からさ

2018/03/28(水) 13:18:47.89

カスゴミの異常なまでの噛みつき方は過学習の結果かもしれんぬ

2018/03/29(木) 13:29:13.57

過学習さけるなら
ワイはベイズを使う

2018/03/29(木) 14:15:51.54

事前確率なんてキンモー☆

**デフォルトの名無しさん** (JP 0Hf5-eHYU) · 2018/03/29(木) 15:53:16.31

ベイズだと過学習しないんですかあ？

2018/03/30(金) 16:26:12.89

ところでお前ら仕事は？

2018/03/30(金) 16:40:46.51

コンピューターがかってに稼いでいるよぉ

2018/03/30(金) 16:55:31.69

掲示板の監視

2018/03/30(金) 16:57:22.08

>>79
会社の創立記念日

2018/03/30(金) 17:57:13.08

特定した

2018/03/31(土) 04:34:59.46

attentionってどうやって実装するの？

2018/04/01(日) 22:08:55.92

最近のディープラーニング本で良いのは出たかな？

2018/04/02(月) 09:23:48.39

単位が取れるディープラーニング

2018/04/02(月) 09:57:41.70

>>86
それぐらいディープラーニング普及してるかな？
まあど素人の俺がtensoflowやchainerやkerasいじっているんだから結構普及しているのもな？

2018/04/02(月) 12:21:50.78

すぐわかるディープラーニング

2018/04/03(火) 00:51:21.63

「天才」年収１億円で採用　ゾゾ、先端技術の人材募集
http://www.sankeibiz.jp/business/news/180402/bsc1804021958007-n1.htm
ＡＩやビッグデータ処理、ロボット工学といった技術系を中心に、博士号取得者、研究員などから
年収１千万～１億円の「天才」枠は最大７人。年収４００万～１千万円の「逸材」枠は最大５０人

ゾゾの社長ってこの前62億円の絵画を買った人

2018/04/03(火) 00:59:11.27

博士号取得者、研究員などから

2018/04/03(火) 02:26:45.62

逸材が400万かよ。相場だぞ

2018/04/03(火) 07:04:18.68

ちょっと前に
DeNaが儲かっているからってそこに就職するような層が
飛びつくんだろうな

2018/04/03(火) 07:05:13.70

逸材程度で調子に乗るなってことだろ

2018/04/03(火) 07:26:23.24

>>92
新興のIT企業の場合そもそも永久就職する前提で就職しない
数年で成果上げて次の職場に進むか起業すればいいから就職先は今さえ儲かっていれば特に問題ない

2018/04/05(木) 02:10:59.76

機械学習がいくら人工知能だと持て囃されても
結局は全部誤差関数を最小化してるだけでベイズ推定とか線形回帰から進化してないんだよな

2018/04/05(木) 05:12:40.32

死ね

2018/04/05(木) 06:32:01.76

まあ、機械学習が人工知能というわけじゃないわな。
機械学習を利用して人工知能を作ったというだけで、人工無能もつくれる。

2018/04/05(木) 07:01:28.26

ディープラーニングよりも
線形関数のほうで解決出来るケースが
多い気がするのはワイだけ？

2018/04/05(木) 07:04:43.86

問題設定によるとしか
画像音声自然言語は無理じゃね

2018/04/05(木) 13:26:28.48

>>98
だいたいはそう
しかし事例はまれだか重要なレアケースを拾えなくなる

2018/04/05(木) 14:25:59.64

線形にした方が楽は楽だけどね

2018/04/06(金) 12:45:26.20

>>98
モデリングと評価関数が勝負だと思う

2018/04/06(金) 16:06:04.98

>>98
>線形関数のほうで解決出来るケースが多い気が

結果の良し悪しを度外視してみた場合には
扱いも作りも楽だから適用しやすいのでそれは言えるだろう
同じことから汎用性を考えればそういえると思う。

良い結果を求めたいという話（今回はそう書かれていない）になると
話は異なるが、今回は人が線形でという前提になっているので。

もし、計算のアルゴリズム自体をAIが自動的に作成してくれると
なった時には、違うでしょうね。

2018/04/07(土) 09:22:02.22

AmazonML(Amazon Machine Learning)を使っている人いますか？

2018/04/07(土) 10:56:03.90

おりますん

2018/04/07(土) 11:05:10.37

プライム会員ですが何か？

2018/04/07(土) 12:41:07.41

使用している方がおられるということなので
ぜひ可能な範囲で教えてください

チュートリアルにモデル構築についてあまり書かれていないのですが
AmazonMLは
・モデル選択不要（最適モデルをAMLから提案）なのでしょうか？
・リアルタイム処理、バッチ処理というのがありますがオンライン学習（逐次学習）にも対応可能でしょうか
・ローカルでRやPythonその他を使った機械学習に比べて使用感はどうでしょうか
・どのような用途で利用しているか（実務 or 学習）

2018/04/08(日) 23:43:29.20

ワイの美人と評判の妹も
AmazonMLに興味あるみたいだから
答えて欲しいだ

2018/04/09(月) 00:42:26.88

豊登劇似の妹がナンだって？

2018/04/09(月) 08:42:46.61

これって自前のデータをkaggleにアップロードして分析可能ということかな
しかもタダで
グーグルさんどんだけ太っ腹なんだと

http://blog.kaggle.com/2018/04/03/q1-2018-product-update/

2018/04/09(月) 09:18:12.06

アマゾンのことは荒れ草に聞け

2018/04/10(火) 16:46:27.07

卒論で１年かけてディープラーニングやることになったんですが
テーマをもらっただけで何から手付けていいかもわからない状態です

入力ベクトルあたえたら出力ベクトル出す予測器があって
出力ベクトルに対して誤差とかスコアを設定すると
予測器の中身の関数がかわっていくみたいな？認識であってますか？

JavaかＣしかかけないのでその２つでサンプルコードがあったりしませんか？

pythonでデータをつくってライブラリにおくるだけみたいなコードはよくみるんですが
中身の部分の実装が知りたいです

あと何に応用できるかがよくわかってなくて
とりあえず教師無し学習でネット上の文章から知識獲得して勝手にしゃべるようなＡＩを作るか
教師あり学習の例として何かパズルゲームをとくようなＡＩを１年かけてつくりたいなーとなんとなく思っています

たとえばゲームをディープラーニングでとかせようと思ったら
ある局面を入力にして出力にはとりうる行動パターンを設定する感じになるんですか？
最終的にとけた場合にしか評価ができないんですけどどういう風に誤差やスコアを設定すればいいんでしょうか

長文になってしまってすいません
参考になるサイトとかがあれば教えていただけるとうれしいです

2018/04/10(火) 16:58:34.58

実装をCとかJavaで造る(車輪の再発明)のが目的なの？
それとも応用する研究？

2018/04/10(火) 17:33:32.31

C言語で書かれてるライブラリならdarknetがあるけど、実装が目的なの？
応用にしてもどういうアプリケーションができるか教授と相談した方がいいよ

2018/04/10(火) 17:51:50.43

>>113,114
卒研なのでそのへんも自分できめていいんだと思いますけど
最悪ライブラリにデータ流し込んでグラフ描いて適当な考察のせておわりでもいいんですけど
１年あるしプログラムかくのがすきなのでできれば中身をかいて理解したいなーと思ってます

2018/04/10(火) 17:53:59.89

ディープラーニングをやるだけじゃ何もテーマ決まってないのと同じだよ

2018/04/10(火) 18:00:43.24

ライブラリの中身知りたいならゼロから作るdeep learningがCNNまでをライブラリ無しで実装しているのでオススメ
MLやってる絶対に研究室ならあるだろう

強化学習は結果をもとにそれまでの手の評価を行うから最初モンテカルロになるのは仕方ない
alphagoも同じようにランダムに打って結果から評価してるのは同じだけど
評価関数をあらかじめプロの棋譜で学習してるから途中の手筋である程度の収束させてる

2018/04/10(火) 18:15:43.27

>>116
画像認識とチャットボットとゲームＡＩあたりがいまうまくいってるみたいで
何かサンプルプログラムできたらなーってぐらいです

ちょっとゲームＡＩに応用するならどうなるのかなって考えてるところで
入力の与え方は分かるんですけど
出力と誤差の設定の仕方がわからなくて…

たとえばマインスイーパーをとかせるとかだったら
盤面情報を入力ベクトルにして　出力に開くマス「Ｘ，Ｙ」とかを設定すればいいんでしょうか？
その場合フィードバック誤差は爆弾をふんだ時点で-1　クリアまでいったら１とかにすればいいんでしょうか？

プログラムで誤差の逆伝播でニューロン関数のチューニングを実装すれば

利用者は入力出力誤差のエンコードだけやれば
あとニューロンの関数チューニングは勝手にやってくれていつのまにかＡＩができてるって感じになるはずなんですよね？

>>117
ありがとうございます
書籍なんですね
4000円もするの手が出ないので研究室にないか明日みてみます
なければ図書館さがしてみます

**デフォルトの名無しさん** (JP 0H39-yszm) · 2018/04/10(火) 18:16:15.47

頭悪そうな卒研。。。

2018/04/10(火) 18:18:09.78

ごめんなさい
やっぱりちょっと１週間程度できまったテーマでいきなり質問できるレベルじゃなかったかも
数ヶ月ほど勉強してからでなおしてきます
レベル低い質問してすいませんでした

2018/04/10(火) 18:22:48.64

ゲームのAIはA*アルゴリズムとか習うんじゃね
テーマとしてディープラーニングが与えられるんなら、これまでに機械学習とか人工知能の授業があったろうに、いろいろ設定がおかしいよ

2018/04/10(火) 18:44:00.03

A＊って将棋とか相手のいるゼロサム対戦ゲームで枝狩りする探索アルゴリズムじゃないです？
もちろんルールをコーダーが理解して最適なプログラムくめば一瞬ですけどＡＩっていうんですか？

ルールを直接コーディングせずにクリアできたかできないかって情報だけで
勝手にルールを理解してとけるようになるってのが機械学習だと思ってました

マインスイーパーを例に出したのは知ってる中ではそこそこお手ごろだったからなので
ディープである必要はないかもしれないです

2018/04/10(火) 18:54:11.42

>>112

＞＞入力ベクトルあたえたら出力ベクトル出す予測器があって
出力ベクトルに対して誤差とかスコアを設定すると
予測器の中身の関数がかわっていくみたいな？認識であってますか？

いんじゃね

2018/04/10(火) 18:56:43.41

ゲームAIは全然詳しくないから全然アドバイスできないけど
Deep Q Networkとか流行りすぎてqiitaにまとめられた記事大量にあるからそれ読んでみたら？
強化学習は使うだけならkeras-rlとかchainer-rlみたいな超便利なライブラリもあるから