【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/04/06(金) 12:45:26.20

>>98
モデリングと評価関数が勝負だと思う

2018/04/06(金) 16:06:04.98

>>98
>線形関数のほうで解決出来るケースが多い気が

結果の良し悪しを度外視してみた場合には
扱いも作りも楽だから適用しやすいのでそれは言えるだろう
同じことから汎用性を考えればそういえると思う。

良い結果を求めたいという話（今回はそう書かれていない）になると
話は異なるが、今回は人が線形でという前提になっているので。

もし、計算のアルゴリズム自体をAIが自動的に作成してくれると
なった時には、違うでしょうね。

2018/04/07(土) 09:22:02.22

AmazonML(Amazon Machine Learning)を使っている人いますか？

2018/04/07(土) 10:56:03.90

おりますん

2018/04/07(土) 11:05:10.37

プライム会員ですが何か？

2018/04/07(土) 12:41:07.41

使用している方がおられるということなので
ぜひ可能な範囲で教えてください

チュートリアルにモデル構築についてあまり書かれていないのですが
AmazonMLは
・モデル選択不要（最適モデルをAMLから提案）なのでしょうか？
・リアルタイム処理、バッチ処理というのがありますがオンライン学習（逐次学習）にも対応可能でしょうか
・ローカルでRやPythonその他を使った機械学習に比べて使用感はどうでしょうか
・どのような用途で利用しているか（実務 or 学習）

2018/04/08(日) 23:43:29.20

ワイの美人と評判の妹も
AmazonMLに興味あるみたいだから
答えて欲しいだ

2018/04/09(月) 00:42:26.88

豊登劇似の妹がナンだって？

2018/04/09(月) 08:42:46.61

これって自前のデータをkaggleにアップロードして分析可能ということかな
しかもタダで
グーグルさんどんだけ太っ腹なんだと

http://blog.kaggle.com/2018/04/03/q1-2018-product-update/

2018/04/09(月) 09:18:12.06

アマゾンのことは荒れ草に聞け

2018/04/10(火) 16:46:27.07

卒論で１年かけてディープラーニングやることになったんですが
テーマをもらっただけで何から手付けていいかもわからない状態です

入力ベクトルあたえたら出力ベクトル出す予測器があって
出力ベクトルに対して誤差とかスコアを設定すると
予測器の中身の関数がかわっていくみたいな？認識であってますか？

JavaかＣしかかけないのでその２つでサンプルコードがあったりしませんか？

pythonでデータをつくってライブラリにおくるだけみたいなコードはよくみるんですが
中身の部分の実装が知りたいです

あと何に応用できるかがよくわかってなくて
とりあえず教師無し学習でネット上の文章から知識獲得して勝手にしゃべるようなＡＩを作るか
教師あり学習の例として何かパズルゲームをとくようなＡＩを１年かけてつくりたいなーとなんとなく思っています

たとえばゲームをディープラーニングでとかせようと思ったら
ある局面を入力にして出力にはとりうる行動パターンを設定する感じになるんですか？
最終的にとけた場合にしか評価ができないんですけどどういう風に誤差やスコアを設定すればいいんでしょうか

長文になってしまってすいません
参考になるサイトとかがあれば教えていただけるとうれしいです

2018/04/10(火) 16:58:34.58

実装をCとかJavaで造る(車輪の再発明)のが目的なの？
それとも応用する研究？

2018/04/10(火) 17:33:32.31

C言語で書かれてるライブラリならdarknetがあるけど、実装が目的なの？
応用にしてもどういうアプリケーションができるか教授と相談した方がいいよ

2018/04/10(火) 17:51:50.43

>>113,114
卒研なのでそのへんも自分できめていいんだと思いますけど
最悪ライブラリにデータ流し込んでグラフ描いて適当な考察のせておわりでもいいんですけど
１年あるしプログラムかくのがすきなのでできれば中身をかいて理解したいなーと思ってます

2018/04/10(火) 17:53:59.89

ディープラーニングをやるだけじゃ何もテーマ決まってないのと同じだよ

2018/04/10(火) 18:00:43.24

ライブラリの中身知りたいならゼロから作るdeep learningがCNNまでをライブラリ無しで実装しているのでオススメ
MLやってる絶対に研究室ならあるだろう

強化学習は結果をもとにそれまでの手の評価を行うから最初モンテカルロになるのは仕方ない
alphagoも同じようにランダムに打って結果から評価してるのは同じだけど
評価関数をあらかじめプロの棋譜で学習してるから途中の手筋である程度の収束させてる

2018/04/10(火) 18:15:43.27

>>116
画像認識とチャットボットとゲームＡＩあたりがいまうまくいってるみたいで
何かサンプルプログラムできたらなーってぐらいです

ちょっとゲームＡＩに応用するならどうなるのかなって考えてるところで
入力の与え方は分かるんですけど
出力と誤差の設定の仕方がわからなくて…

たとえばマインスイーパーをとかせるとかだったら
盤面情報を入力ベクトルにして　出力に開くマス「Ｘ，Ｙ」とかを設定すればいいんでしょうか？
その場合フィードバック誤差は爆弾をふんだ時点で-1　クリアまでいったら１とかにすればいいんでしょうか？

プログラムで誤差の逆伝播でニューロン関数のチューニングを実装すれば

利用者は入力出力誤差のエンコードだけやれば
あとニューロンの関数チューニングは勝手にやってくれていつのまにかＡＩができてるって感じになるはずなんですよね？

>>117
ありがとうございます
書籍なんですね
4000円もするの手が出ないので研究室にないか明日みてみます
なければ図書館さがしてみます

**デフォルトの名無しさん** (JP 0H39-yszm) · 2018/04/10(火) 18:16:15.47

頭悪そうな卒研。。。

2018/04/10(火) 18:18:09.78

ごめんなさい
やっぱりちょっと１週間程度できまったテーマでいきなり質問できるレベルじゃなかったかも
数ヶ月ほど勉強してからでなおしてきます
レベル低い質問してすいませんでした

2018/04/10(火) 18:22:48.64

ゲームのAIはA*アルゴリズムとか習うんじゃね
テーマとしてディープラーニングが与えられるんなら、これまでに機械学習とか人工知能の授業があったろうに、いろいろ設定がおかしいよ

2018/04/10(火) 18:44:00.03

A＊って将棋とか相手のいるゼロサム対戦ゲームで枝狩りする探索アルゴリズムじゃないです？
もちろんルールをコーダーが理解して最適なプログラムくめば一瞬ですけどＡＩっていうんですか？

ルールを直接コーディングせずにクリアできたかできないかって情報だけで
勝手にルールを理解してとけるようになるってのが機械学習だと思ってました

マインスイーパーを例に出したのは知ってる中ではそこそこお手ごろだったからなので
ディープである必要はないかもしれないです

2018/04/10(火) 18:54:11.42

>>112

＞＞入力ベクトルあたえたら出力ベクトル出す予測器があって
出力ベクトルに対して誤差とかスコアを設定すると
予測器の中身の関数がかわっていくみたいな？認識であってますか？

いんじゃね

2018/04/10(火) 18:56:43.41

ゲームAIは全然詳しくないから全然アドバイスできないけど
Deep Q Networkとか流行りすぎてqiitaにまとめられた記事大量にあるからそれ読んでみたら？
強化学習は使うだけならkeras-rlとかchainer-rlみたいな超便利なライブラリもあるから

2018/04/10(火) 19:24:29.08

今どきchainer ってw

2018/04/10(火) 20:23:18.13

卒研の後書き
2chのみなさんに感謝いたします（笑）

2018/04/10(火) 21:52:24.66

かつていたが
わざわざ大学入り直してまでやる内容じゃないな

2018/04/11(水) 01:16:43.90

>>118
上手く行くのが判ってるのをやっても価値がない論文

2018/04/11(水) 05:21:58.71

以下はアルゴリズム

ダイクストラ法と、その派生のA*

グラフ/ネットワーク理論系の、NetworkX

計算時間が何百億年も掛かるのが、数秒で解けた
「おねえさんの問題」で有名な、
湊真一の超高速グラフ列挙アルゴリズム ZDD

2018/04/11(水) 06:49:35.77

なんだかんだ言ってちゃんとアドバイスしてくれるのなお前ら

ツンデレかよw

2018/04/11(水) 07:41:24.31

卒研のテーマ与えてやれよ

**デフォルトの名無しさん** (JP 0H5a-abcy) · 2018/04/11(水) 09:10:31.26

パーソンオブインタレストに学ぶAI攻撃型AIの設計と実装

2018/04/11(水) 09:46:17.59

パーソンオブインタレスト面白かった。もう終わったかな

2018/04/11(水) 22:33:39.26

盤面入力に負値を使うと活性化関数でハマるからおすすめしない
囲碁やオセロなら入力盤面を2枚以上にして、白と黒を別々の盤面の0/1で入力するのが定番だと思う

学習中のAIは重複打ちをすることもあるから、さらに打てる場所用の入力盤面を追加したり
特定の場所に注目する様な盤面を足すこともあると思う
計算処理の実装よりも、モデルやパラメータの作り直しの方が大変かもしれない

2018/04/12(木) 00:27:59.18

評価関数の最大化とかではなく少ない計算量で学習させて正解に辿り着くようなアプローチってどっかにないのかな

2018/04/12(木) 08:57:56.93

今まで散々あった

2018/04/12(木) 18:56:33.45

機械学習で、おっぱい触らせてとかエロい口説き実装出来ますか？

2018/04/12(木) 19:38:07.95

>>137
＞口説き
これはその方法論を知りたいですねえ

2018/04/12(木) 20:29:50.74

物理的に金塊とか見せびらかした方が良さそう

2018/04/13(金) 01:25:28.94

>>クソニン

2018/04/13(金) 02:58:25.25

>>137
そのGPUパワーでビットコイン採掘した方が口説ける確率上がると思うw

2018/04/17(火) 04:00:15.15

日経ソフトウェアが別冊付録付きでpython機械学習特集になっとった

2018/04/18(水) 00:35:10.91

＞＞141
そういえば、2020年待たずに、ビットコインに絡む電気消費量が
全米の電気消費量を越しちゃうんだって。
ビットコイン無理そうね。

2018/04/18(水) 00:47:16.95

ほとんどがエアコン代でさ
ロシアみたいな極地の勝利

2018/04/18(水) 00:55:40.56

量子ドット型コンピュータがあれば一瞬でできる

2018/04/18(水) 04:07:18.73

仮装通貨はいずれ規制されそうな予感

2018/04/18(水) 05:51:00.22

>>146
恐慌来そう。

2018/04/23(月) 22:44:58.44

>>147
空売りしようぜ

2018/04/24(火) 13:39:16.09

jupyter labとnotebookどっも括弧やクォーテーションの補完が効かないんだけどデフォ？
それともなんかおかしい？

2018/04/24(火) 14:45:08.11

まるちんこ

2018/05/04(金) 01:59:14.34

大学の社会学部で以下のような刷り込みをされた。すなわち、人間関係を非常に重視し、なんでも彼らの中で相談したうえで自身の判断を下すような輩は「他人志向型」で「内面志向型」に比べて程度の低い人間だと。
しかし弱学習器アンサンブルを手中にしている前者の方が正しい判断を下せるのでは？

2018/05/04(金) 02:16:20.57

知らんがな

2018/05/04(金) 02:34:10.65

前者はAIでも可能
後者が出来るのは人類と宇宙人だけ

2018/05/04(金) 03:04:42.90

ちんちんシュッシュ

2018/05/04(金) 14:26:05.44

某中堅の監査法人に勤めていて、1年ほど前から、人工知能を使った業務の自動化を検討して、
私もそのメンバーに選ばれましたが、私も含め周りの人間も手探り状態です。

大学は商学部出身なので、高校数学からやり直し、大学の線形代数、微分積分、確率
とやってきて、今、統計学(学士以上、修士未満、測度論の手前まで)を一通り学び終わったところです。
資格でいうと、統計検定準1級合格レベル(来月受験予定)、品質管理検定1級、アクチュアリー一次試験・数学合格。

ここまでだと、大学のカリキュラムや資格試験の出題範囲に沿って勉強していけばよかったのですが、
このあと、機械学習・データマイニングへと進んでいくには、どういうカリキュラムを組んで良いか途方に暮れています。
何か道しるべになるようなサイトやアドバイスを頂けないでしょうか？

2018/05/04(金) 14:38:42.92

仕事に就けよ

2018/05/04(金) 15:29:34.02

頭悪い

2018/05/04(金) 15:32:47.26

機械学習なんか数学わからなくても適当にライブラリ突っ込めばなんとかなるだろ

2018/05/04(金) 15:40:19.58

結局実務に活かしたいの？機械学習を学びたいんの？

2018/05/04(金) 15:51:29.33

>>158-159
着地点は実装ですが、前提として理論はしっかり学んでいきたいと考えています。

以前にも、コンサルティング会社とシステム会社にオブザーバーをお願いして、
内外のツールの選定作業をしましたが、どれも実務上使い物になるものはありませんでした。

2018/05/04(金) 16:36:19.06

お前が作ったやつが実用になるとおもってるのか（苦笑）

2018/05/04(金) 18:51:16.04

業務の自動化に費やした時間＞通常業務時間
となるのが目に見えてるな。

内部の人間しか細かい要求に答えられないと思われるが、システムの継続と保守を考えたら外注するのがコスト的にベストだよ。
需要に合ったものが出来ないのなら、コミュニケーション不足と考えたほうがよい。

2018/05/04(金) 19:29:00.82

>>160
もう、自分たちで作るしかないな

理論からしっかり組み立てて
試行錯誤の後、３年くらいで使い物になるものが出来るんじゃね？

2018/05/04(金) 20:11:29.97

専用にプログラマ雇ったほうがいいのでは？
本業とひっくり返りそうだ

2018/05/04(金) 23:23:35.05

システムの継続と保守ってとこが、無限に金吸い込まれて行くブラックホールになるんだよな。

2018/05/04(金) 23:58:23.94

コメントありがとうございます。
内製か外注かという点については、内部でも会議が重ねられましたが、
情報漏洩防止、株主代表訴訟対策、ノウハウの蓄積、コンサル業務への将来的発展性など
もろもろの諸事情を勘案して情報戦略として、内製ということで決まりました。

今は所内で社内SEを育てようと、私も含めてここ1年間はずっと社内・外部研修＆自習学習で、
本業からは外れています。経験者採用もやっていますが、なかなかこの分野での研究実績が優れた人は見つからないですね。

2018/05/05(土) 00:49:10.67

理論寄りの話はコンピュータ科学、実装寄りの話は情報工学やソフトウェア工学を学ぶのがいいと思うよ。

2018/05/05(土) 02:16:45.97

ツイッターで
CNNが畳み込み演算ってのは間違いで
正しくは相互相関だぞってキレてる
畳み込み警察いてわらう

2018/05/05(土) 05:22:23.10

convolution＝畳みこみじゃなかった？

2018/05/05(土) 08:36:54.54

Yes高州クリニック

2018/05/05(土) 08:57:44.25

>>155
人工知能を使うことが目的になってるように見えるけど、人工知能でどういう問題を解決したいの？

2018/05/05(土) 10:50:42.85

> 某中堅の監査法人

ってあるから
検査の結果が異常かどうかの判定や
品質の予測かな

だとしたら
既存のディープでない機械学習で十分に思える

2018/05/05(土) 12:14:35.24

深層学習の畳み込み層の処理は「畳み込み」じゃなかった件
http://tdual.hatenablog.com/entry/2018/05/02/113110
https://twitter.com/tdualdir/status/991505578311667712
正しくは相互相関なぜConvolutionalと名付けたまあ、ただの名前だし、数学の用語が誤用させるのはよくある

T2@T_Shuke
微分・積分・統計学を学べばconvolutionは幾度も出てくるけど、勉強してこなかったデータサイエンティスト（笑）はcnnで元来の意味とは異なる畳み込みを先に覚えてしまうということか

tdual@情報幾何
おい。畳み込み層の処理は畳み込みじゃないのかよ。
相互相関かよ。

きくらげ@Kiikurage
最近の「CNNは畳み込みじゃない」論争、なにが発端？

2018/05/05(土) 12:18:21.17

なんかこえー畳み込みおじさんいて笑う

T2 @T_Shuke
微分・積分・統計学を学べばconvolutionは幾度も出てくるけど、勉強してこなかったデータサイエンティスト（笑）はcnnで元来の意味とは異なる畳み込みを先に覚えてしまうということか

T2 @T_Shuke
できない、やらない、聞く耳を持たない、常に上から目線、大企業病の自称大企業の自称データサイエンティストは業界の面汚しだと自覚してほしい

T2 @T_Shuke
データサイエンティストは確率積分方程式とか勉強するの？

T2‏ @T_Shuke
確率論もさることながら統計学もやらないでデータサイエンティストを騙る人が多くて恐ろしい

2018/05/05(土) 13:07:58.74

で何がいいたいの？

2018/05/05(土) 13:32:48.47

マウント取りたい、でわ？

2018/05/05(土) 14:59:39.78

マウントでは無い。ガードポジションだ。

2018/05/05(土) 16:40:59.33

三度の飯より好きな粗探し

2018/05/05(土) 17:19:15.82

実際、CNNが畳み込みだと思ってる馬鹿が多いことに呆れるだろ
ここにもいるみたいだけど
まあそれだけディープニューラルネットが馬鹿でもそれなりに使えるようになったってことだけださ

2018/05/05(土) 17:53:07.26

あなたは心の病気だよ
相手が誰でも喧嘩を吹っかけて勝った気にならないと落ち着かない症状
しかしそんな事じゃ本質的な解決を避けてるだけだから
いつまでも満たされずにいつも不安になる
そして不安を一時的に誤魔化す為にまた喧嘩してマウント
DLの事など全く関係が無い
少しでも勝てそうなポイントばっかり探して勝とうとするだろ
負けそうになったらすぐ退散か話題をブチ切り
医者に相談するレベルで異常だよ
少なからずあなたのような人はいるけどいつまでもやってると全員にNGされて一人で絶叫するだけ
以前にも指摘されてたろ
こう書いても無視か絶叫だろうが
何らも会話する要素が無い
知らない人はあなたのコメントに惑わされることもあるだろうが
ウンザリ

2018/05/05(土) 18:03:59.62

おじさんていうか、この画像見る限りカマ野郎だな

2018/05/05(土) 18:41:33.03

単純なデータマイニングだったとしても
今ならＡＩと吹聴できる雰囲気

2018/05/05(土) 18:48:01.93

http://pr.fujitsu.com/jp/news/2017/08/30.html
これAI?

◆QZaw55cn4c (ﾜｯﾁｮｲ aa60-pRpi) · 2018/05/05(土) 18:51:58.57

>>183
ただのシンプレックス法にみえますが

2018/05/05(土) 18:52:13.33

いいえ

2018/05/05(土) 19:59:20.26

線形計画法？
まさかね

2018/05/05(土) 20:48:19.40

>>183
そもそもAIに統一見解などないので何でもAIと言ってもいいしAIでないと言ってもいい

2018/05/05(土) 22:12:18.36

この説明もわかりません
「例えば、8,000人の子供がそれぞれ第5希望まで希望を出すと、5の8,000乗通りの組み合わせが出てきます」
保育園の数をnとするとこども1人あたりの希望のパターンは5通りではなくて n x (n-1) x (n-2) x (n-3) x (n-4) 通りになるように思えるのですが

2018/05/05(土) 23:22:52.20

ちなみに以前からいる数オタサラリーマンはID:5AtpQsf4aではないから一緒にすんなよ

**デフォルトの名無しさん** (JP 0Hba-bITk) · 2018/05/05(土) 23:26:57.44

言ってることには完全同意だが

2018/05/05(土) 23:46:21.20

>>184
最適化には見えるが、シンプレックス法を使っているかどうかは
だれがみてもわからないでしょ。

2018/05/06(日) 06:48:12.43

>>187
最狭義に解釈したら全脳シュミレーション。

2018/05/06(日) 21:32:25.66

ある個人が1日に10回体重を計ったデータが100日分あるとしてください
いわゆるディープラーニングでは、その10個のデータを渡せば特徴量間の関係も織り込んだ予想をしてくれるのでしょうか
それとも最大値と最小値の差や標準偏差といったものを算出して特徴量として使うほうがいいのでしょうか？

2018/05/06(日) 22:33:48.38

同じ人の体重が1日10回の100日あったところで微妙な体重の増減しかわからないし、ディープラーニング関係ないんじゃないの？

2018/05/06(日) 22:34:25.54

>>193
最近の流行は前者ですね
1000サンプルでは全く足りないと思いますが

2018/05/06(日) 22:55:58.93

>>193
特徴量間とか言って体重以外にどんな特徴があるかわからんし何させたいのかわからんからなんとも言えない気がする。

2018/05/07(月) 00:30:01.13

話をぼやかすのはいいけど大事なとこも飛んでるんじゃないか

2018/05/07(月) 09:46:21.00

脳味噌も飛んでるんだろ

2018/05/07(月) 09:57:51.89

>>195
ありがとうございますその方向で始めてみます

>>194, 196, 197
すみません例えが悪すぎました

2018/05/08(火) 10:12:54.82

マイクロソフト、FPGAを用いたAI処理基盤「Project Brainwave」開発者向けプレビューを発表。GoogleのTPUより高性能と。Build 2018
https://www.publickey1.jp/blog/18/fpgaaiproject_brainwavegoogletpubuild_2018.html

2018/05/08(火) 13:10:53.78

Azureって全然使ってる話聞かないな・・・