【統計分析】機械学習・データマイニング18

2017/10/12(木) 20:21:31.89

機械学習とデータマイニングについて何でもいいので語れ
人工知能考察は未来技術板の技術的特異点スレで語れ

※ワッチョイ

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/02/15(木) 07:04:26.22

とりあえずどこかの学会員になることだね

2018/02/15(木) 07:33:59.60

>>858
基礎からやり直してこい

2018/02/15(木) 13:56:34.31

ＡＩ専門家が仲間入り、７桁の高額給与を約束する職種
https://www.bloomberg.co.jp/news/articles/2018-02-14/P44LJ96JIJV701

博士号を取得したばかりでも30万ドルを上回る収入を得ることが可能
だそうです
AIバブル真っ盛り、でもこれから５０年くらいは続くんだよね

2018/02/15(木) 14:20:41.70

昔USAの三大AI学科で博士号をとるとすぐに高級取りといわれていた

2018/02/16(金) 11:04:30.52

>>857
対象期間の全パターンを調べないとそうならないでしょうね。
パターンは無限なので、調べられないけど。

2018/02/16(金) 12:27:01.63

>>862
普遍分散を適用するのが一般的ということですね？

2018/02/16(金) 14:18:52.29

ですね

2018/02/17(土) 09:27:52.87

AlphaZeroのソースコードはわずかホワイトボード一枚に収まる : 情熱のミーム　清水亮
ttp://japanese.engadget.com/2018/02/12/alphazero/

2018/02/17(土) 10:15:14.52

goto main

わずか一行！

2018/02/17(土) 17:05:21.61

何枚紙貼ってんだよ

2018/02/18(日) 01:25:23.09

むかしむかしAPLという言語が有った
極端に短いコードが書ける、特殊な記号をつかうので
キーボードも見知らぬ記号が入ったものだった。
現在の言語より相当短くかけるが
メンテナンス性に問題があった。

それを思い出しちゃったよ。

2018/02/18(日) 09:49:13.89

>>868
昔情報処理試験にPL1という言語があったな。
でもなんでCOBOLってなんでまだあるの？

2018/02/18(日) 10:12:36.85

プログラム作り変えるの金かかるからでしょう

2018/02/18(日) 10:15:55.94

>>869
銀行とかのシステムで使ってるからその保守要員には必要な知識
ただしそのうちシステムもCOBOLなんて使わなくなるだろうから新卒で銀行の保守にあてがわれてCOBOLしかできないような人は近々捨てられる運命

2018/02/18(日) 10:52:53.56

といわれてはや数十年

2018/02/18(日) 11:03:27.95

>>869
PL1は昔仕事で使ったことあるわ
組み込みだった

2018/02/18(日) 12:26:31.39

＝言語の歴史＝

『PL/I』・『ケン・トンプソン』・『デニス・リッチー』
と
『C言語、』『UNIX』
の意外な関係。

なんてのがあったね。
PL/Iが無かったらUNIXは生まれなかったろうという。

2018/02/18(日) 13:41:22.04

>>868
代入記号が特殊キーボード使って←で

A←A+1

だったのはそろそろ見習って欲しい

2018/02/18(日) 14:18:24.96

キーボードに
ドミノみたいな記号があったよね

2018/02/18(日) 22:02:38.07

駿「他人の業績を自分がやったように語る、極めてなにかDM社に対する侮辱を感じます」

2018/02/19(月) 07:21:28.50

>>871
次はAI繋がりでおそらくpythonだろうな。

2018/02/19(月) 12:50:11.59

PL/MでなくPL/1を組み込みに使うなんてリッチな
環境ですね

2018/02/21(水) 08:50:35.80

良し悪し分類と種類の分類でどうニューラルネットワークの設計変わるんや

例えば料理だったら美味そうか点数付けるのと料理の種類判別するのの違い

2018/02/21(水) 10:06:11.32

そうだね

2018/02/21(水) 17:51:52.84

>>879
> PL/MでなくPL/1を組み込みに使うなんてリッチな

MITのProject MACの内容、特にOSのMulticsについて調べてごらん

このOSは当時の最新最強の言語であったPL/Iで書かれたんだよ
そしてBell Labs.もこのプロジェクトに関わっていたが後に撤退し
その失敗の反省を踏まえてBell Labs.の連中が作ったOSがUNIX
つまり何でもできるようにしようとして規模がどんどん膨れ上がったMULTIcsに対するアンチテーゼとして
狙いを絞って軽量小型で反応も速いUNIxが生み出されたわけだ

ただしUNIXの記述言語のCについてはPL/Iから特に影響は受けた点はないと思う

C言語がどういった言語たちから影響を受けてどんな流れで誕生したのかも面白い話題だが
それはまたいつか気が向いたら書くかも知れない

2018/02/21(水) 18:31:03.07

書くなら適切な場所でな

2018/02/21(水) 19:30:14.11

お客さん >>882 はどうも、Multicsを組み込みに使っている
みたいなんですけど。頭おかしいですよね。
そもそもライセンス違反ですよね

2018/02/21(水) 20:15:47.77

>>884
> お客さん >>882 はどうも、Multicsを組み込みに使っている

882が>>879へのレスでその879が「組み込みに使うなんて」と書いてるからと言って延髄反射で上のように揶揄レスをするのは
君自身の頭の悪さ、読解力の欠如をわざわざ自分から曝け出しているだけの行為だよ

879がなぜ突然にPL/Iと言い出したかを考えれば、879が狂人でもない限り、その原因は>>874の

> 『PL/I』・『ケン・トンプソン』・『デニス・リッチー』
> と
> 『C言語、』『UNIX』
> の意外な関係。
>
> なんてのがあったね。
> PL/Iが無かったらUNIXは生まれなかったろうという。

以外には見当たらない。だから私の882は、その874で触れられていて879が反応したと推測されるPL/IとUNIXとの因縁を述べたのですよ。
879が「PL/Iを組み込みに使うなんて」と組み込みという言葉を急に持ち出したのは874で組み込みで広く使用されているC言語が出ているからだと推察できる。

なお、一言断っておくと、言語の名前として879のように“PL/1”と書く人も少なくないがこれは間違い、正しくは１のローマ数字を用いた“PL/I”だ。

884はもう少し議論の文脈をきちんと押さえてから反応することだね。でないと己の読解力の不足を示すだけのレスになってしまうよ。

2018/02/22(木) 07:59:06.82

>>882
MITは今Juliaだ。そのうちpythonにとって変わる。

2018/02/23(金) 00:18:04.30

んなわけない

2018/02/23(金) 12:22:07.69

Juliaはこの10年近くAV界を席巻したな
将来性と言っても・・・・

2018/02/23(金) 16:57:13.59

Iとか1とかlがごっちゃになってるのは
昔のタイプライター式キーボードの名残で云々

2018/02/23(金) 20:21:30.43

>>889
あ～～～
なんで覚えてんのや

2018/02/23(金) 22:23:49.95

終わった

2018/02/23(金) 22:39:43.05

>>888
どっちの用途でも、性能アップにはシリコンデバイスの増設が必要だねw

2018/02/24(土) 03:35:00.34

qiitaは真面目な記事とゴミ記事の落差がありすぎる

2018/02/24(土) 21:22:56.45

pythonって欠点あるの？

2018/02/25(日) 00:08:37.26

変数が・・・・・まぁ気にしない人は気にならないのだろうけど。

2018/02/25(日) 00:13:50.17

変数宣言はほしい、typo は排除しきれない

2018/02/25(日) 00:42:33.02

>>894
スピード

2018/02/25(日) 04:02:17.51

コードの隠蔽が難しい

2018/02/25(日) 09:10:17.64

yjcaptionsを形態素解析でパースしたら語彙数が10000以上になってしまった
seq2seqするなら1hotと分散表現と1文字ごとと語彙減らすのどれがいいかな

2018/02/25(日) 17:43:16.50

人工知能が全く未経験でも学べると謳うこれはどうなのよ？
https://tech-camp.in/article-lp02/index.html?gclid=EAIaIQobChMIrf_Ps9XA2QIVVXG8Ch2hrAbZEAEYASAAEgKFqPD_BwE

2018/02/25(日) 18:22:37.79

>>900
ウイルス

2018/02/25(日) 21:21:17.07

>>901
まともに開けるサイトだよ。

2018/02/25(日) 21:38:23.20

パコソンが物故割れた

2018/02/25(日) 21:40:45.86

アフォンが爆発した

2018/02/25(日) 21:41:28.00

御冥福をお祈りいたします

2018/02/26(月) 04:30:36.40

おまいら、学習ってどれくらい時間使ってる？
ワイ、遺伝的アルゴリズムで8時間くらいPCフルで動かしてる

2018/02/26(月) 07:17:19.11

>>906
何を学習させてるの？

2018/02/26(月) 07:32:54.83

>>897
Juliaにしろ。

2018/02/26(月) 07:37:16.76

Juliaって使いにくいんだよな
matlabのコマンドウインドウをそのままpython対応にしてほしいわ

2018/02/26(月) 16:52:46.96

機械学習の基礎って1週間で学べる？

2018/02/26(月) 16:58:29.55

楽勝

2018/02/26(月) 20:08:09.42

tensorflowからkerasに移行したけどもっと早くに変えとくべきだったわ
kerasの楽さになれたら戻れんな

2018/02/26(月) 20:44:10.33

ケラケラ

2018/02/27(火) 00:11:37.36

chainerはtrainerに投げるまでのパッケージが何段階もあって面倒
kerasはモデル作ってコンパイルしてフィットするだけだから分かりやすい

2018/02/27(火) 00:47:26.28

pyTorch…

2018/02/27(火) 01:32:16.56

>>915
TFは別格にしても、pytorchもかなり流行ってきてるな

2018/02/27(火) 01:46:37.32

>>914
そんなことはみんな知ってるけど、信者が荒れるから避けてきてるんだよ

>>915 >>916
FB が頑張ってるからな

2018/02/27(火) 08:21:03.94

kerasは抽象化進んでるからこまい部分いじろうとしたらtf

2018/02/27(火) 15:55:02.38

モデルだけkerasで作って、訓練はtfに投げるっていう手もある

2018/02/28(水) 00:19:42.85

>>917
ﾜｯﾁｮｲにしてから問題ないよ～

>>918 >>919
そういう使い方いいな

2018/03/01(木) 10:34:42.63

あるモデルの予測性能に低下が見られた場合
トレーニングに使ったデータが既に手元にない時は
何をもとにチューニングをすれば良いのでしょうか

2018/03/01(木) 10:44:25.07

想像力

2018/03/01(木) 10:47:59.02

解決しました。ありがとうございます。

2018/03/01(木) 13:41:44.13

>>921
トレーニングに使ったデータを用いた予測と
直近のデータに差が生じた。
＝＞トレーニングに使ったデータでは差が出る
＝＞直近のデータでチューニングする
じゃないの？

**デフォルトの名無しさん** (JP 0Hbf-9qkV) · 2018/03/01(木) 16:42:02.06

学習モデル無いのにどこをどうチューニングするんだろう

2018/03/01(木) 17:32:30.43

エアー

2018/03/01(木) 18:24:10.61

オンライン学習でいいんじゃないの
トレーニング用のデータはない、新しいデータもない場合は無理な話だけどバリデーション用のデータがあるから性能評価できてるんだろうし

2018/03/01(木) 19:25:38.83

サポートベクター回帰について質問があるんだけど、
ここでいいの？

2018/03/01(木) 21:46:38.46

>>927
新しいデータがないとすると
チューニングが必要かどうかも
分からないと思うんだけど

2018/03/01(木) 22:57:30.16

オンライン学習を使わない場合は
モデルを継続的にメンテナンスするのに
モデル作成時とそれ以降のトレーニングデータを
延々と保持し続ける必要があるということ？
実務ではどうやっているのだろう

2018/03/02(金) 00:05:23.29

時系列的に変化してゆくものなら
初期モデルを保持する必要はないでしょう
初期状況がスタートになるデータと、
そうでないデータがあるなら
両者保持してそれぞれに適用する。
後者は動的に変化させてもいいし初期を引きずる
必要もない。

ま、置かれた状況に寄りということになるでしょうね。

2018/03/02(金) 00:11:29.37

ロバスト性の維持を必要とするかしないか
今のAIはその辺りの思考は適当かもしれない

2018/03/02(金) 01:49:20.06

CNTKってどうなん？

2018/03/02(金) 02:06:55.75

意外に悪くないよ

2018/03/02(金) 08:10:24.81

例えば手書き文字認識で最初に1万件のトレーニングデータで判別モデルを構築
その後新たに2万件のデータが入手できてそれをモデルに学習させるという場合
合わせて3万件のデータで適切なパラメータを探してテストしてモデルを構築することになるのかな

これはモデルを新しく構築するのと変わらないように思えるけど
つまり「学習≒モデルの新規作成」ということなのかな

これを続けるといずれはリソース不足になるけど
それを防ぐために最新の3万件を使ってモデルを構築するしくみにすると
切り捨てた古いデータから得られた知見はモデルに反映されないということになるのかな

2018/03/02(金) 09:04:33.85

サポートベクター回帰のことで質問。
目的関数や判別関数のなかにΣ(a-a*)っていう項がある。
a*は何を指していて、どうやって計算すればいいのだろうか。
ひょっとして、回帰曲線より上にあるデータに関してはaを計算し、
下にあるのはa*を計算するっていう風にするのかな？
もしそうだとすると、学習中は回帰曲線が変化していくのに合わせて、
aかa*かを変えていくってことなのかな？

実際の数式は、例えば↓のP.11
ttp://datachemeng.com/wp-content/uploads/supportvectorregression.pdf

2018/03/02(金) 09:11:06.56

>>935
オンライン学習だね
ディープ系だとあとから追加された教師データの影響が限定的な気がする
あとから追加された教師データで別のモデル作って、旧モデルとのアンサンブルを蒸留したほうが実用的には良い気がする

2018/03/02(金) 09:17:42.49

eラーニング

2018/03/02(金) 13:24:22.11

>>935
単純に最新の２万件だけとかにすると
同じデータばっかり連続して入ってくると
馬鹿になってしまう

2018/03/02(金) 13:47:26.85

いつのまにかkerasがCNTKに対応してたんだけど、やっぱりwindowsだとCNTKのほうが相性よかったりするんだろうか

2018/03/02(金) 14:40:53.80

>>940
CNTK の Keras 対応はまだベータのままだと思うよ

2018/03/03(土) 01:23:22.40

>>936
どや顔で答えるけど複素共役
重み係数に実数じゃなくて複素数使用することで重みの大きさだけじゃなくて、通信遅れみたいな取得波形のズレ具合みたいなものも相関取れる

2018/03/03(土) 01:33:49.21

しもた
どや顔してまちがえてしまた
ただの同じ種類の変数やん。

2018/03/03(土) 01:38:13.25

それぞれただの重みです。

2018/03/03(土) 09:02:30.36

>>944
重みというか、重みに関係するラグランジュ乗数だよ。
各学習データに乗数が２つあると考えるのかな？
あと、ついでに、この乗数を計算する更新式を知らないかな？
SVMの学習に使う更新式は見つかるんだけど、SVRの更新式が見つからない。

2018/03/03(土) 12:11:55.96

これらは筆者独特の説明のためにαとα*に分けただけ
本来はα-α*＝A、α+α*＝A'とでもおけばよい
ついでに言うとどうでもいいことだがこれらは本来のラグランジュの未定乗数法の定数ではない
筆者は何か定義を間違えてるのでは？

2018/03/03(土) 12:18:15.24

リンク先の資料ではなく
他の参考書なりネットで落ちてる他のものを見たほうがいいと思うけど。
基本的には重みを変化させて評価関数が小さくなるように重みを更新したらいいだけ。その方法は勾配法なり何でもよい

2018/03/03(土) 12:23:10.66

というか後半は二次形式になるから評価関数を偏微分して＝0とし、重みに関する行列つくって逆行列求めて終わり

2018/03/03(土) 12:58:57.79

>>946
他の資料をいくつも見てるけど、数式は同じだよ。
だから、筆者独自の考えではないと思う。

>>947
評価関数を最小にするよう重みを求めるのは分かるんだけど、
そのための常套手段というか効率のいい手法があれば教えて欲しい。
ないのかな。

>>948
俺の頭が追いつかなくて、全然理解できない。
逆行列を計算することで、最適解が解析的に得られるってこと？
色んな資料を見てると、そうではないようなんだよ。
あるいは、数学的には可能なんだけど、計算量が膨大なのかもしれない。

2018/03/03(土) 13:18:42.05

>>949
いやだからリンク先の資料は説明のための式変形だってば。意味を見いだすためだけの式展開。

方法は単純に中点法なりランダム法とかでよい。ただの凸関数だし。
適当に重みを2パターン用�ﾓして2点の評価関数を計算。さらに重みをそれぞれの中点求めてその値での評価関数も計算。一番評価関数が小さいものを更新。それでいける。

そもそも評価関数が重み定数の二次形式になってるから、最適解は一つしかなく、評価関数を重みベクトルの行列で表すとry

2018/03/03(土) 13:25:34.13

>>950
そこまでわかってるやつなら機械学習しなくても
直接方程式解いて最適解求めるプログラム書いた方が早くね

2018/03/03(土) 13:29:17.06

いや逆行列いっぱつで終わり

2018/03/03(土) 13:30:38.75

その辺がカーネル法のいいところですな

2018/03/03(土) 14:07:43.34

>>952
逆行列を求めるっていうのは、↓の式（７）を求めることに相当する？
ttp://cl-www.msi.co.jp/reports/svm.pdf

2018/03/03(土) 14:17:53.69

イエス
行列Qが正定値のときは書いてあるね

2018/03/03(土) 14:53:16.81

まあ一回偏微分してからな

2018/03/03(土) 15:31:05.81

>>955
じゃあ、>>954の方針でやってみるよ。
いろいろありがとう。