【統計分析】機械学習・データマイニング25

2019/06/27(木) 01:53:38.17

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

2019/07/09(火) 19:23:19.25

現代文、フィーリングで解ける人いるよね。言葉をちゃんと使える大人も少ないから、自分で勉強しないと。君は大人を超えてくれ。フィーリングは大切に。
https://www.youtube.com/watch?v=AxQjF0WS7Yc
現代文勉強法偏差値29から最短で偏差値62になる勉強法
https://www.youtube.com/watch?v=iXeADsgRq_g
#よなたん #大学受験 #勉強法
【現代文】保存版！9割取れる参考書カリキュラムと勉強法
https://www.youtube.com/watch?v=OtUkb2rJjZw
現代文が苦手な人のための現代文勉強法
https://www.youtube.com/watch?v=fNSdHsq1gT0&;t=269s
【開成→東大卒が教える】現代文の勉強法基礎編！理解のための4ステップ
https://www.youtube.com/watch?v=U7vhQaVPX0I
現代文の勉強法～屁理屈なし！高１でも半年で東大過去問を解く参考書の選定と使い方
https://www.youtube.com/watch?v=3o_xk0LUEq8&;t=754s
偏差値44から東大・京大・早慶上智に合格する大逆転勉強法（現代文編）参考書の使い方
https://www.youtube.com/watch?v=01NhY57R0Dk
阪大生が教える『田村のやさしく語る現代文』を活用する3つのポイント～現代文の基礎を確立しろ
https://www.youtube.com/watch?v=BK3f7-6MZfc
どう勉強すれば現代文の成績が上がるの！？【馬場センセイの大学受験１問１答vol.13】
https://www.youtube.com/watch?v=TZoukTmSM2s
現代文の勉強法（全部入りVer.）｜教科別勉強法
https://www.youtube.com/watch?v=CCdZCd32R2I
『きめるセンター』だけでは早稲田の現代文はツラい。高田先生も苦戦した『現代文と格闘する』は「やるべき!?」or「やらなくてよい!?」
https://www.youtube.com/watch?v=QfRkyQ2ryC0

2019/07/09(火) 19:24:00.26

『きめるセンター』だけでは早稲田の現代文はツラい。高田先生も苦戦した『現代文と格闘する』は「やるべき!?」or「やらなくてよい!?」
https://www.youtube.com/watch?v=QfRkyQ2ryC0
現代文読解力の開発講座｜武田塾厳選！今日の一冊
https://www.youtube.com/watch?v=EoC9GlPxOKE
現代文基礎の参考書を徹底比較！【参考書MAP】
https://www.youtube.com/watch?v=cn4wotDmBVM
東進　講師紹介 - 現代文 - 出口汪先生
https://www.youtube.com/watch?v=RvafT5lPt5Y
授業というものの価値はどこにあるのか
https://www.youtube.com/watch?v=RlMc1F5ElRM
【気になる一冊を完全紹介!!】船口のゼロから読み解く最強の現代文・船口の最強の現代文記述トレーニング｜武田塾厳選! 今日の一冊
https://www.youtube.com/watch?v=c67J9cv8nRU

2019/07/09(火) 20:51:06.96

>>110
文章を見て、その文章から絵や動画みたいなものを
自在に再現できるか？あるいはイメージできるか？

これで勝負するという訳で、

少年が通りを駆けて行った

という単語で、少年が町の中か田舎道か知らんがそこを
半ズボンでも履いて全力で走っていく動画かアニメみたいなものを
イメージできるか

人間なら、本が読める人ならこれはイメージできる、ということになっているが
実際に例えば大人向けの小説を読ませて、それらのイメージを脳内に描きながら
読める人はそんなにいない
だから偏差値63以上でないと文章の内容をイメージできない、なんて
言われている
本なんて幾つかの単語を拾ってフィーリングで読んでいる人の方が多いんだ、
などというのだ

新井氏のグループは、最後までその再現を十分な精度で達成できないまま
東ロボ計画も終了してしまった

だが、MicroSoftとかアリババとかが、その再現に相次いで高精度で成功し
最近では人間の出すスコアを完全に上回るようになってしまった！

なお新井氏のグループは機械学習すら十分に使いこなせていなかった？
なんて言われている始末

2019/07/09(火) 21:09:42.98

そもそも新井は研究業績もショボいんだよね
あんな大規模プロジェクトのリーダーには無理があった

NLP界の小保方

2019/07/09(火) 21:41:56.74

>>123
それって文章からそれらしい画像を検索したか生成したかってだけだろ
それで文章理解とか片腹痛い
だいたい「新井氏のグループ」とか書いてる時点で東ロボの実施体制を全然知らないってバラしてるも同然だからクソ黙ってろって

2019/07/09(火) 21:45:14.24

論理的に考えろ　新井（笑）

2019/07/09(火) 23:42:04.96

言語解釈からテスト問題の理解と回答につなげるとか
とんでもない溝があるような

2019/07/09(火) 23:50:26.38

2ちゃん見てれば人間でもほとんど読解できてねーじゃんとか思うし、AIには無理だろ。

2019/07/09(火) 23:53:21.68

それでも幾何とか微積分とか
人間がちょっと手直しすれば機械的に解けちゃうレベルにはあるんだろう
かなりのもんじゃないか

2019/07/10(水) 00:28:12.26

文章題のキーワード及び回答の選択肢のキーワードを抽出し、検索エンジンにかけて
ヒット数が多い方が正解の可能性が高いとか、そのレベルで人気知能を騙られると
まじめに研究している人が気の毒だわ。少数はだけどｗ
舐めきってる

2019/07/10(水) 00:30:34.34

東ロボが失敗したのは
新井紀子が無知で無能だったから

2019/07/10(水) 00:48:59.28

>>129-130
数学はそのレベルの解き方で結構いい所まで言った
でも英語や国語は良くなかった

やっぱ記号接地が出来てないと
そしてそれをMSもGoogleも今は出来てる

2019/07/10(水) 00:51:19.42

>>130
平成の長短除外の法則だなw

んでも今の教師付き学習は多数派が正解になるんだから
大きな枠組みでは変わらんのではないかとも思う

2019/07/10(水) 00:59:49.35

あのプロジェクトは問題設定のセンスが壊滅的に無かった
新井紀子にAIを語ってほしくない
数学もそんなにできないでしょこのｵﾊﾞﾊﾝ

2019/07/10(水) 01:21:52.41

いや、だからあれは検索ＩＦの前処理だろ
ＡＩじゃなくてさ

2019/07/10(水) 05:18:32.19

>>132
ほんとに？どんな感じなん？

2019/07/10(水) 08:50:59.14

>>134
新井さんは
汚いバカ教授どもと交際して、
セックス奴隷となって
そうやってアカデミックに仕事を
得たのだから
その努力は認めるべき。

俺は汚い教授のチンポしゃぶるなど
死んでもイヤ！

2019/07/10(水) 08:52:31.72

>>131
新井は無知で無能だが
フェラはうまいんだろうな(笑)

2019/07/10(水) 08:56:34.77

>>128
2chは爺さんが日頃の欲求不満を書いてるからだろ、理解する気なんか最初からない

2019/07/10(水) 12:32:37.72

新井氏を批判するのは結構だがここでやる意味はないな
ここは機械学習に関する情報を交換する場であってズブの素人がルサンチマンを吐き出す場ではない
日本人エンジニアの邪魔をして足を引っ張っていることに気づいて欲しい

2019/07/10(水) 14:27:00.55

singateで個人情報ダダ漏れ&クラウドソーシングと勘違いさせてるゴミサイトじゃん

2019/07/10(水) 15:22:34.09

>>141
金もらえるならそれでいいかな
そもそも完全にコスト部門だし
基幹システムですら外注に出す今の日本企業が
データサイエンティストとかいう怪しいものを雇うわけが無い

2019/07/10(水) 16:14:59.04

ここはチラシの裏

2019/07/10(水) 20:23:39.98

目的に応じたデータを選択して抽出してくる作業がスキルがいるのに
分析だけを任せるクラウドソーシングにニーズが有るとは思えん

まして、基幹システムも外注に出す日本企業のDBは肝心な指標が抜けてるゴミが多い

2019/07/10(水) 20:32:54.79

>>144
選択して出すだけなら誰でもできるやろ

2019/07/10(水) 20:39:27.40

>>144
その指標を追加ができないんですよ
今の日本企業は
予算ありきの縦割りで基幹システムに追加しようものなら
SIer含め何社が絡む話になるかわからん
たかがデータ分析のためにそんな工数認められるわけが無い
今あるデータでなんとかするしかない

2019/07/10(水) 20:43:50.19

>>146
指標を出せる能力がないだけ

2019/07/10(水) 21:19:13.49

日本企業のIT投資不足が深刻、2025年にはシステム6割が老朽化
http://blog.livedoor.jp/itsoku/archives/54285324.html

2019/07/10(水) 21:24:07.47

司法予備試験の問題、AIが“6割”的中　「合格ラインと同水準」
https://www.itmedia.co.jp/news/articles/1905/20/news122.htm

2019/07/10(水) 21:51:41.87

新井は研究者としてのセンスが皆無

2019/07/10(水) 22:01:56.77

日本の技術も精神論が通用しなくなった途端に終了したな
IT土方より土方の方が息長いしな
下位互換って言われたIT土方

2019/07/10(水) 22:46:49.82

ディープラーニングで音を認識　ほ乳類の脳に近い反応を示す
https://www.itmedia.co.jp/news/articles/1907/10/news134.html

ディープラーニングはほぼ脳と同等だったとのこと

2019/07/11(木) 02:05:20.28

>>152
脳と同等なわけねーだろ馬鹿！

おめーの脳はシナプス1個なんだろうな

おめーはゴキブリが大天才に見えるわけだ(笑)

2019/07/11(木) 03:28:24.18

新井紀子なんてcms作ってただけじゃん
しかも自分でコーディングしてないだけだし
女指導教官の「女枠」でアカポスゲットした、不平等ﾏﾝｺじゃん
なんてデカイ面してるんだろう
厚顔無恥なのね

2019/07/11(木) 07:51:13.83

なるほど読解力ない奴が多いなｗ

2019/07/11(木) 09:01:37.09

>>148
たぶん、問題にはならない

2019/07/11(木) 09:01:46.58

問題のすり替えに気づかれちゃうからね

2019/07/11(木) 10:16:59.48

いつもの日経の煽り記事、ゴミ
「ビッグデータや人工知能（AI）を使うビジネスに、多くの日本企業が乗り遅れる恐れがある」

2019/07/11(木) 11:03:44.53

乗り遅れるだけならまだ救いがあるが
7payみたいに害悪まき散らして
新規登録するジジババを恐れさせて減らして
普及を妨げてるからな

2019/07/11(木) 12:47:41.07

セブンペイとAIとは
全くなんの関係もないのだが
関係あるように見えるのか？

2019/07/11(木) 13:02:42.23

一般人にとっては

コンピュータ = AI

なんじゃないの? AI と言えば深層学習とイコールらしいし

2019/07/11(木) 13:51:00.57

>>158
他のビジネスにも乗り遅れてるから
AIだけ限った話ではない

2019/07/11(木) 18:40:00.58

ピンハネビジネスでは世界最先鋒
副作用もデカいけどw

2019/07/11(木) 18:47:39.33

邦人企業は中抜きが大き過ぎるんだよな

2019/07/11(木) 18:54:42.92

海外は中抜きしないの？

2019/07/11(木) 20:21:30.36

>>162
間抜け、そういう観点ではない

2019/07/11(木) 21:47:07.11

日本の大企業はSIerべったりだし
自分たちで何かできる体制はないよ

2019/07/12(金) 06:10:24.20

>>137
松坂和夫

2019/07/12(金) 06:19:03.94

東大数学科出て
入門書執筆だけ？

数学的業績無し？

そりゃ紀子もダメだわ

2019/07/12(金) 10:40:42.56

数学科出身って理系のくせに業績ゴミな人結構いるよ。

2019/07/12(金) 13:50:46.06

数学科で業績を出すって大変なことだぞ
実験とかシミュレーションとか設計とかでごまかせないから大変

2019/07/12(金) 14:53:06.33

でも読解力があるから

2019/07/12(金) 20:58:15.86

>>171
でも実験系と同じくらい研究に時間とエネルギー投入してるかというと、
そうとうも言えないｗ
結構怠惰な日常にうだうだ流されて無為な月日をおくってる人ゴロゴロいるｗ

2019/07/13(土) 01:13:41.03

成果出さないにも関わらず特に純粋数学の人は物理や統計等で使う数学より優れたことやってると思い込んで上から目線になりがちなのが困る

2019/07/13(土) 05:53:40.04

>>170
森毅

2019/07/13(土) 06:02:21.09

ていうか小規模な村社会の住人しか理解できないことやってるからな
サークル状態

2019/07/13(土) 06:39:50.86

>>175
そんなひどいこと言うたんなや！

2019/07/13(土) 07:47:59.15

大量の会話文をディープラーニングで学習させたら
人間のように自由に会話できるAIが作れそうに思えるのに
実際はそうはなっていないのはなぜですか？

2019/07/13(土) 08:03:36.51

>>178
人間とAIが違うから

2019/07/13(土) 08:12:38.11

>>178
・言葉が現実と結びついていないから言葉どうしの関連性だけ精度を上げても限界がある。
・そもそも学習機能が未熟だから。
・そういう試みが実際にはどの程度行われているのだろうか？

2019/07/13(土) 09:18:51.15

Keras の Xception で画像分類を学習させて、
意図的に過学習の状態を作ろうとしているのですがうまくいきません。

過学習が起きる条件としては
・教師データが少なすぎ
・パラメータが大きすぎ
・エポック回しすぎ
・学習率低すぎ

あたりだと思うのですが、
データの数を減らしても、
全層Trainableにしてパラメータ増やしても
エポック回しまくっても
学習率下げまくっても
val_acc が減らずに増えた状態から動きません

Xception にはなにか過学習防止機能でもあるのでしょうか？
学習率下げまくっても
過学習してくれません・・・

2019/07/13(土) 09:21:57.07

>>178
入力があってモデルがあって出力がある場合において
入力が違う可能性、モデルが違う可能性、あるいはその両方のどちらか

例えばモデルが完全だったとして、その場合は入力が足りていない
狼に育てられた人間が言葉を話せないのが良い例

モデルが不完全な場合、入力が完全であっても再現できない
ペットを生まれた時から育てても、人間と同じように話せない

2019/07/13(土) 09:29:36.13

まだまだハードウエアの能力が低すぎるんじゃないかな
逆に言うと足りないのはそれだけかもしれない
ハードウエアの能力が足りない間はどういうアルゴリズムを
組んでも人間のようにはいかないのかもしれない

2019/07/13(土) 09:51:07.16

>>181
10枚の画像で学習したものが10000枚の画像に適用して高いval_accを維持できるはずはないので、初期値にどっかの重みを読み込んでからスタートしているとかないかな

2019/07/13(土) 10:12:50.19

>>181
過学習の状態になったら
入力の中の本質的な特徴以外の特徴に反応して適切な出力をしなくなる
と思う

モデルが対象のデータ集合に対して
大き過ぎる
とかそんな感じじゃね？

結合を無くすような処理があると
過学習が起きにくくなる説ってある？

2019/07/13(土) 10:33:03.29

>>184
ソースは
https://harigami.jp/cd?hsh=57b55f0d-5c8b-4658-acff-71d2b3485c71
こんな感じで、すごくベーシックな転移学習です
重みがあるとすればImageNetですかね

>>185
なるほど・・・
classが5個だけなので過学習状態でも
テストデータが正解してしまっているということですかね

ちなみにデータセットはkaggleから拾ってきた5種類くらいの花の分類です

2019/07/13(土) 10:51:19.44

>>186
中間層のニューロン数は1024かな
これを2倍とかにして
学習回数を増やしてみるとか？

2019/07/13(土) 11:29:13.15

>>178
りんなを試せば分かるでしょ

2019/07/13(土) 11:31:06.63

遂に機械は文脈を理解し始めました(1/2)
https://webbigdata.jp/ai/post-2233

2019/07/13(土) 14:22:21.81

>>189
そういう
「機械が理解する」という表現が
大嫌いなんだ。
ウソだから。

「人が構文解析のうまい方法を
見つけてプログラミングしました」、
というのが本当のことでしょ？

マジで人工知能の記事って
大げさなウソばっか。
いやになる。

松尾や新井も馬鹿な詐欺師に
しか見えない。

2019/07/13(土) 14:52:17.50

>>190
この2人は本が売れればいいだけだしな
次回作も執筆中だろうしブームに乗って一儲けしたいだけ
学術的な成果はゼロってのはみんな理解してる

2019/07/13(土) 15:41:26.26

いんちきではない
真の成果を出して
発表しましょう

2019/07/13(土) 15:48:51.34

胡散臭い事でも大マジで言ってると金出してくれるバカが世の中にはたくさんいるんやで

2019/07/13(土) 15:53:01.92

BERTを超えたXLNetの紹介
http://medium.com/@akichan_f/bert%E3%82%92%E8%B6%85%E3%81%88%E3%81%9Fxlnet%E3%81%AE%E7%B4%B9%E4%BB%8B-dd243481f70a

2019/07/13(土) 16:08:46.22

人間の意識を機械へ移す
https://www.nikkei.com/article/DGXMZO42868710V20C19A3000000/
https://www.nikkei.com/article/DGXMZO44778940U9A510C1BC8000/
https://tech.nikkeibp.co.jp/atcl/nxt/mag/ne/18/00017/00007/

2019/07/13(土) 17:04:55.31

量子もつれが数学的に解明できない複雑な回路だと発生するのかも

2019/07/13(土) 17:56:24.74

>>190
松尾はともかく新井はまさに(ディープラーニングによって)「機械が理解する」という表現を嫌ってる先鋒だろ

2019/07/13(土) 18:03:08.57

>>196
統合情報理論で意識が生まれるということと
量子脳理論を合わせるとそうなる

2019/07/13(土) 18:04:51.42

>>178
Twitterからツイートとリプライの組を取ってきてディープラーニング(seq2seqとか)で対話するシステムを作ったらちゃんと会話できるかどうか考えてみたらわかるよ

2019/07/13(土) 18:30:37.50

>>195
「コピーロボット作れます」が「意識が生き続ける」になるのは語弊があると思うの。
自分は結局死んでなくなるよねそれ。

2019/07/13(土) 18:45:38.18

人間が理解しているかどうかを他者がちゃんと判断するのも難しい
結局理解度テストみたいなやつのスコアで評価するしかないよね
「AIがテストで高得点を取れたら理解していますね」がおかしいというなら
理解しているかどうかを判断するのに何をすればいいのか

2019/07/13(土) 19:07:42.79

文章認識は入力に対して、出力出してるだけ。つまり只の関数。

『理解する』という表現は正しくない

2019/07/13(土) 19:18:05.48

>>202
人間も突き詰めたらそうだよね

2019/07/13(土) 19:21:58.63

AIが「理解する」という表現を嫌うのは、理解が人間にしかできない崇高な営みであってほしい願望からくる防御反応なのかな

2019/07/13(土) 19:30:46.20

>>196
出力はあるけれど
内部が少し変化したら
出てくるかわからない
といった具合
それは計算してみないとわからない
という感じ

人間には主観があるし

2019/07/13(土) 19:37:58.86

ただのカオスのように思えてくるが

2019/07/13(土) 19:49:27.91

>>203
モノに対して記述されたものなら、人間もAI も似たようなものですが、
心を持つもの、人間とか、に対して記述されたものについては、AI の解釈は頓珍漢です

2019/07/13(土) 20:03:22.09

>>204
脳医学の人の方が人間の脳をモノとして捉えてそうだよね

手のひらに乗せた1500グラムに満たないモノがなぜこれほどまでに理解が出来るのか、という神秘さは普通の人間の感覚であって
脳医学の人はちっちゃいパソコンと思ってそうだ

2019/07/13(土) 20:39:46.70

>>208
脳科学を勉強してみたら

2019/07/13(土) 21:31:45.94

人間の活動なんて単なる化学反応の固まり
虫と基本的におんなじ
勝手に高尚なものと思ってる

2019/07/13(土) 21:45:01.02

化学反応で2chに書き込んでるのか、すごいな

2019/07/13(土) 21:51:43.24

>>195
すげー胡散臭いw

よくわからんのだが、人間の左脳半球と右脳半球に
半導体を取り付けるという意味ですか？

テセウスの船問題で、本当に元の人間だと言えるのか？
移植が完了しても、元の人間も存在しているはずでしょ？
記憶を機械に徐々にコピーしただけで、機械の私はコピーでしょ？

2019/07/13(土) 21:51:48.32

>>203
突き詰めたらとは？
何か論拠を示してください。

2019/07/13(土) 21:54:18.19

>>204
意味嫌う感情はないが、勝手に解釈されるのは不愉快ですね。

上でも述べてますが、何か根拠を示してください。個人的な私見に興味はないですね。

2019/07/13(土) 22:33:19.52

>>213
人間の感覚器官で捉えた物理や化学的な事象は
人間というシステムへの入力とみなせる
人間の体内では神経や脳内を電気信号や化学物質で伝わる
出力として行動をしたり会話つまり通信したりする
それが他の人の入力となって、、、
同時並行で入力と出力が複雑に関連しつつ繰り返される

全宇宙の物理、化学のシステムを記述できれば
過去から未来まで全て記述できるはず

2019/07/13(土) 23:14:22.75

>>215
214ではあなたの言葉ではなく、何か文献を出せと言っているだが

2019/07/13(土) 23:16:29.58

ちなみに私の個人的な私見だが
>>215の理屈はまともだとは思えない

2019/07/13(土) 23:35:09.62

個人的な私見

2019/07/13(土) 23:35:17.94

>>213
脳の仕組みとか電気信号とかはさておき、文章を読んで考え、出力するという振る舞いだけに着目することを突き詰めると表現した。
あなたの言う理解がどういった状態を指すのか分からないから話が噛み合ってないと思う

2019/07/13(土) 23:42:44.61

>>219
>>202にて『人間も同じく関数だ』という主張が貴方だけの主張なのか、一般的なものかどうかを問うているだけなのですが…。

イエスかノーで答えを求めているだけ。また、イエスならば何か文献を示してください。

2019/07/14(日) 00:00:51.34

人間イコール関数ではなく、特定の振る舞いに着目してブラックボックス化すると関数とみなせるってだけ
文献も何もなく、科学の俎上に乗せるための一般的な手続き
チューリングテストだって入出力だけに注目する事で人間とAIを同列に比較できるようにしてるでしょ？