【統計分析】機械学習・データマイニング29

2020/08/20(木) 09:16:43.41

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2020/09/08(火) 17:14:35.58

>>173
それはデータサイエンスっちゅーかビッグデータ（）とかいうムーブメント（）のほうじゃね？

2020/09/08(火) 17:48:16.29

>>174
ビックデータの延長にデータサイエンスが来てるんじゃね
リクルートとかとか

2020/09/08(火) 18:14:39.87

×ビックデータ
○ビッグデータ

×ザ・ビック
○ザ・ビッグ

?ビッグカメラ
○ビックカメラ

2020/09/08(火) 20:27:56.44

県内屈指の秀才とかならまだしも
そんな無理して大学に行かなくてもいいだろう
経済も技術も日本は行き詰まる
高卒で料理人とか美容師とか土木とかそっちに行けばいいんだよ
複雑な動作に知識、推論、創造力が必要で
尚且つ速度が問われるような仕事に関してはAI＋ロボットで対応しにくいだろう
今の若い奴は親元で金貯めて家を建て直したり、家を買ったり、安い土地でも買って暇な時に野菜でも作ってた方がいいだろ
仕送り＋学費なんかに投資するゆとりがあるのか？
日本がトップに君臨していた
おっさん、爺さん達の時代じゃないんだし

2020/09/08(火) 22:21:11.56

>>177
黒船来襲して外国人に使われる日本人の絵が見える

2020/09/09(水) 00:53:42.90

>>163
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/55

2020/09/09(水) 11:18:31.18

>>178
意外と日本人に使われるより外国人に使われる方が幸せかも知れないよ？

2020/09/09(水) 11:22:36.71

中国に占領されたら困るよお
子供埋めなくされて徐々に漢民族に置き換えられる未来

2020/09/09(水) 15:51:11.14

>>179
自分の言葉で語れない馬鹿かｗ

2020/09/09(水) 18:16:53.13

tensorflowをインポートしたりするときになんか英語がめっちゃ表示されるけど、どうすれば表示しないようにできるんだ

2020/09/09(水) 18:52:02.52

うましかには無理

2020/09/09(水) 22:55:10.39

>>182
俺のレスなんだが。

2020/09/10(木) 01:18:05.46

機械学習に限らず、大多数のプログラマは提供されたソフトウェアを組み合わせてるだけじゃない？
OS、コンパイラ、RDB、webフレームワークとか。
高給取りではないけど普通に食べていけるかと。

2020/09/10(木) 01:30:40.02

>>186
それらを開発している人達もいるしスイッチとかストレージとか基地局とかの制御ソフトを作っている人達もいる

2020/09/10(木) 01:36:22.45

医者に例えると研究する人と臨床医みたいな感じかもしれない
新しい治療方法を開発する人と
それらを選択して使って実際に患者の治療をする人

2020/09/10(木) 07:20:44.31

https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/65,67,78

2020/09/10(木) 14:31:26.47

よく見るやりとり

発表者「ディープラーニングを使って売上〇〇円達成しました！」
質問者「ルールベースのような単純な手法を使うと売上はどれくらいなの？」
発表者「わかりません…」

おわり

2020/09/10(木) 14:35:01.64

どこで見られるの？そのやり取り

2020/09/10(木) 15:21:53.97

>>190の脳内

2020/09/11(金) 00:35:00.43

>>192
http://asahi.5ch.net/test/read.cgi/newsplus/1599697393/

2020/09/11(金) 14:04:42.35

その種の失敗談は普通は表に出てこないからな。
表に出してる企業があったら結構信頼できる企業と思っていい。

2020/09/11(金) 14:15:08.24

>>190
そら、やってみないとわからんじゃろ＞単純ルールベースだとどうなるか
「（これまで、担当者のカンと経験でしか）やってみたことないからわからない」は正直じゃろ

2020/09/11(金) 17:03:14.59

>>195
DL有りきが問題って事だと思う
ルールベースの方が良い結果を得られるならそっちを採用するし
比較しないでDLを選択しているのはDL有りきって事

2020/09/11(金) 17:29:26.31

>>193
https://egg.5ch.net/test/read.cgi/river/1595679271/

2020/09/11(金) 17:45:46.39

>>196
まあそうなんだが
ちゃんと比較検証しようとおもったらﾏﾝﾄﾞｸｻがる・とりまはやりにのってみよう
でやっちまうのが
世の中のおおぜいらしいぞ

2020/09/11(金) 18:16:02.34

KLダイバージェンスってなんなの？

2020/09/11(金) 18:35:59.25

いちいちデータ分析してルール作るのが面倒臭いから機械学習にぶっこむんだろ？
真面目に比較検証する時点で意味ない
大抵のビジネス課題は最適化よりも事象の理解の方が重要なわけで、最適化に心血注げる数少ない問題くらいはエンジニアに俺ｽｹﾞｰさせてやれよ

2020/09/11(金) 18:42:24.45

おれらでもつくれる程度のルールベースｖｓ黒魔術状態の深層機械学習
ﾌｧｲｯ!

2020/09/11(金) 19:35:14.93

>>200
もっと利益が出る方法があるかもしれないのに？
利潤追求しないのは企業としてどうなのか

2020/09/11(金) 19:35:46.74

真っ当なDLプロジェクトはルールベースでやるのが面倒だからDLするのでは決してない
パラメータが多すぎたりそもそもルールを作るための理論が整備されていない分野だったりするせいで現実的な工数でルール作るのが不可能と判明しているか、
やれる限りのルールベース対応をしても全く要求精度を満たせなかったという実績があるか、どちらかが大前提
面倒なだけで現実的な工数でルールが作れると分かっているならその方がコスパはいい

2020/09/11(金) 20:11:36.44

>>202
追求する価値のある課題ならもちろん追求すべきだね
ただ実際問題として、そこらへんの企業がDLのPOCをやるために無理矢理捻り出した課題にそこまでの価値があることなんて稀だ
大抵のDLプロジェクトはDLを使って成果出したという実績を作ることが目的でやるわけで、やった時点で目的は達成されてるんだよ

2020/09/11(金) 20:25:37.95

AIも衰退期に入ったということだから、そういう冗談みたいなプロジェクトも減るのかな

2020/09/11(金) 20:31:17.11

>>204
そういうのなら長続きしなくなるのは目に見えているね
データサイエンティストも失業することになる

2020/09/11(金) 21:41:22.43

ルールベース以上の成果が出るのってもうGAFA並みのデータと技術がないと無理だし
日本企業じゃ絶対に無理だと分かる

2020/09/11(金) 22:19:50.72

無理なら実務ではDL使う必要ない
研究して実運用に耐えられるようになったら使うとか
GAFAみたいな所と提携したり委託したりサービスを買ったりした方がビジネス的には良いかも

2020/09/11(金) 23:51:58.60

>>193
https://video.twimg.com/ext_tw_video/1302046042913873920/pu/vid/1280x720/N8oOVAS-fmlhoZDn.mp4

2020/09/12(土) 00:05:24.17

>>206
今どんどん失業してるみたいよ
まあバブル崩壊しただけなんだけど

2020/09/12(土) 06:08:48.37

>>202
利益出すには100億円くらい投資が必要ですとか平気で言い出すのが今のDLだぞ。

2020/09/12(土) 10:20:27.71

ビットコイン掘るみたいだな

2020/09/12(土) 11:00:26.61

>>212
なるほどなっとくｗ
たしかに山師だなｗｗｗｗｗ

2020/09/12(土) 20:39:29.09

ルールベースと比較してる奴は寝言いってのか？

2020/09/13(日) 09:32:18.66

ルールベース　論理演算
DL　抽象演算

画像認識のような人智ではルールを構造化出来ないタスク以外、ほとんど前者で間に合う
特にビジネスユーズはそっちの方が向いてるし

2020/09/13(日) 11:01:10.23

判断の前段階の状況認識でDLの出番はけっこうあるけどな

2020/09/13(日) 15:21:47.50

サイト参考に乗ってるネットワーク図参考にしようと思ったんだけど
seq2seqでembeddingの後にbatch normかませるのってなんでだ？
lstmにbatch normかませるのは一般的じゃないって聞いたんだけど

2020/09/13(日) 15:51:11.80

>>215
AIでルールベースというは・・・

2020/09/13(日) 16:50:10.43

pepperくんのことかああああｗ

2020/09/13(日) 17:58:56.29

お前の思考もルールベースだろ？

2020/09/13(日) 18:52:43.21

いわゆる普通の業務システムだって広義のルールベースシステムだろ
そう考えると殆ど全てのビジネス課題にはルールベースが適していると言える
まあ言葉遊びはともかく、DLをやるために適した課題を探すという状況が変わらない限りは一過性のブームで終わるのは確実

2020/09/13(日) 19:09:52.30

AIの素人の寝言でござったｗ

2020/09/13(日) 19:11:54.98

既存のプログラムとの比較と言えばよかったのに（笑）

2020/09/13(日) 19:16:26.15

DTreeのアンサンブル学習の方がDLよりいい結果をだすとかあるんじゃないか？

2020/09/13(日) 22:22:27.46

ルールベースになんか恨みでもあんのかこいつ？

2020/09/14(月) 02:48:57.73

>>224
是非立証してください

2020/09/14(月) 07:35:27.03

アンサンブル過大評価厨はデータセットの過学習を見逃してそう(笑)

2020/09/14(月) 07:53:05.16

>>226
kaggle？の上位に多いんじゃない？

2020/09/14(月) 08:04:21.22

>>228アンカーまちがってないか？

2020/09/14(月) 13:42:55.66

kaggleは過学習についてガン無視してるからねえ
そう言うゲームとして考えると面白い

2020/09/14(月) 14:34:11.81

kaggleはゲームだよね
あんなに綺麗にデータが揃うことなんてない
まあ役に立たなくはないけど

2020/09/14(月) 20:01:38.41

実際にデータを取ったからkaggleに出てきているわけで「あんな綺麗に揃うことなどない」ではなく綺麗に揃えるようなプロセスを各企業が組まなければならないというのが真理

2020/09/14(月) 20:32:01.21

そこまでのお膳立てができるような優秀なデータドカタがいるんだったらモデル作成もそいつにやらせたらいい
そこらへんの自称AIエンジニアよりよっぽど仕事できるよそいつ

2020/09/14(月) 20:44:04.31

テヘヘ

2020/09/14(月) 21:50:09.68

リアルドカタの下位互換であるITドカタに
どこまでやらせるつもりだ
消耗品にも限りがあるんだぞ

2020/09/14(月) 21:59:35.65

データ処理は楽でしょ
もっとシンドイ開発沢山あるぞ

2020/09/14(月) 22:07:09.48

とりあえず、このカード明日までに読ませておいてくれ

2020/09/14(月) 22:26:03.20

誰か機械学習を用いた製品の品質保証に詳しい方はおらぬか…
企業として初めての取り組みで前例がない

とにかく免責事項山ほど並べとけとかいう乱暴な意見が幅を利かせてる状況
かといってどうすべきか自分でも解がなくて胃が痛い

同じような悩み持ってる人いませんか

2020/09/15(火) 02:56:31.78

「汎用人工知能なんてできっこない」Yun LeCun教授 FAIR
https://community.exawizards.com/aishinbun/%E3%80%8C%E6%B1%8E%E7%94%A8%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD%E3%81%AA%E3%82%93%E3%81%A6%E3%81%A7%E3%81%8D%E3%81%A3%E3%81%93%E3%81%AA%E3%81%84%E3%80%8Dlecun%E6%95%99%E6%8E%88/

＞「汎用人工知能（AGI)の開発が可能だと主張する人は、何か思い違いをしている」
＞「そもそもAGIという概念自体が間違っていると指摘」

＞私の考えでは、今日の学習方法でAGIに到達することはありえない。

＞それは人間に”汎用知能”などないからだ。
＞実は人間の脳は非常に特化されている。われわれの知能に汎用性があるように思うかもしれないが、われわれは多くのタスクの処理において、非常に下手だ。
＞コンピューターなら上手にできる多くのタスクにおいて、人間は非常に下手だ。

＞人間の特化型知能に似せて人工知能を作っても、それは特化型知能でしかなく、
本来の「汎用型」が意味するような「なんでもできる知能」を開発することなでできない

同教授によると、人間の知能も、”地球”という人間の置かれた特殊環境にのみ特化して進化してきた知能で、汎用知能ではないと主張する。

2020/09/15(火) 07:12:28.87

>>238
ケイタイ系銀行なんかが最近宣伝してる
AI投信！的な商品の
免責をみてみたらどうじゃろう

あるいは
顔認証アルゴリズムとか、自動運転の
保証規約とかどーなってるんざんしょ

2020/09/15(火) 10:02:46.77

手元にあるスマホでも品質保証はないわけで
不具合でよくアップデートとかしているし
時々爆発するのもあるし
何%以上の安全性とかなら数字はできるかもしれないが
絶対ということはない
世の中100%とか求めすぎ

2020/09/15(火) 13:51:33.66

実際には外的要因があるにしても、モデル上で厳密に論理的に100%は可能
モデルの時点で99.99なら1万人のうち1人は死ぬわけで、それをごっちゃにしたらダメ

2020/09/15(火) 14:41:53.58

>>236
いうて前処理はそれなりにキツいだろ

2020/09/15(火) 16:09:14.88

>>238
予算は？

2020/09/15(火) 17:13:31.60

前処理は営業の能力ないと無理
事業部を横断して調整して
データ分析で必要だからアクセス権くれとインフラや総務系に頼み込んで
プレゼンしてようやく許可得たと思ったら
現場のエンジニアに仕事の邪魔にならないレベルで
スキーマやそれぞれのカラムの使い方教えてもらって
ようやく必要なデータがわかり
その後負荷のかからないSQLを考えて作って
取得してデータ暗号化してクラウドに上げるバッチ作って
それを反感買わないように運用の中で仕込んでもらって
ようやく分析の準備ができる

2020/09/15(火) 17:31:35.43

それはキツイなｗ

2020/09/15(火) 17:50:59.21

100％正解出さなきゃ死人が出るような用途に機械学習モデルからの出力をそのまま使おうとするのが間違いなんだよ

2020/09/15(火) 19:12:54.75

そのまま使わなきゃいいだろ
最悪でも人が死なないようにルールを適用すりゃモデル上は100%死なない
人間にだって法律があるように、最終的にはルールベースの制御は必要

2020/09/15(火) 19:33:26.63

AIをAIで制御するんか

2020/09/15(火) 19:39:10.79

>>241
品質保証=100%だけじゃないでしょ
3σとかあるじゃん

2020/09/15(火) 19:40:51.20

結局法律とかルールとか超えなきゃいけない壁が多いからなあ
無難ところだけ実用化というか

2020/09/15(火) 19:40:55.07

>>248
ルールでも100%はないわ
当てはまらない例外は起こり得る

2020/09/15(火) 21:17:45.73

人の組織でも監視システムはある
国の三権分立もそう
立法、行政、司法
今のAIシステムは自分で判断して自分で実行してチェック無し

2020/09/15(火) 21:20:05.21

ルールに愛でもあるんかｗ

2020/09/15(火) 21:36:46.61

韓非子の霊でも降りてきとるとか

2020/09/15(火) 21:44:03.78

昨日品質保証について質問した者です。色々どうもありがとう。
製品は、人命に直接関わらないけど、間接的の間接的にくらいのレベルでは関わる笑

ソフトの品証に掛けれる予算は外注費基本的にゼロ、社内リソース３人月くらい。

皆さんの意見頂いて
製品で実現できるサービスを、誤検知があってはならない順にレベル分けして、上位のものに冗長性というか、フェイルセーフ機能・仕組みを追加する
→その安全性への取り組みを謳った上で、下位のもの含めてサービス全体機能はどしたって100%にはなり得ませんよと説明するくらいかなぁと思ってます

私は営業の立場なんで、「どしたって100%なんてならないんだから！そんくらいわかれよ！しょーがねーだろ！」
みたいな技術の投げやりな姿勢に腹が立って。そんなもんこっちもわかっとるっちゅーねん

2020/09/15(火) 21:56:29.57

品質保証は、予算次第

たいていは予算がないから、品質は悪い。
サービス残業してまで改善する人は、滅多にいない

2020/09/15(火) 22:18:18.65

>>256
誤りが起きたとして誤りを検出できるのかな？
AIで判定したものが誤りである事を検出するには正解がわからないと誤りであると検出できなそうだけど
正解は不明だけど誤りは分かる？
通信とかでのチェックサムみたいな誤り検出は送る側が正解を知っているから可能だし

2020/09/15(火) 22:19:18.20

>>257
そだよね、技術もコスト掛けられないジレンマから投げやりな感じで言ってるだけなのかもね

保証レベルが下がれば、お客様へのサービス紹介内容も変わるから沢山コスト掛けて欲しいとこなんだけど

ちなaiプロダクトの品質保証に金かけるってどういう感じなの？テスト用のサンプルデータ収集＆テスト時間？
ハードウェアならバラつきサンプル山ほど作るとか加速試験やりまくるとかイメージつくんだけども

2020/09/15(火) 22:30:10.15

>>258
あんま詳細に言えないから申し訳ないんだけども
誤りをトリガにするんではなくて
正誤関係なく作動するフェイルセーフ機能を入れるようなイメージ
ただそれを入れると明確にコストに跳ね返るから一部機能のみ＆入れたとしても100%安全性の担保はできない

というイメージ。イメージで申し訳ない

2020/09/16(水) 01:13:47.93

>>252
その指摘はズレてる
モデルに当てはまらない事象ならモデル自体の欠陥だろう
100%当てはまるモデルを作ることは不可能だが、モデル上で100%を実現することは普通に可能

2020/09/16(水) 07:10:52.63

>>254-255
ちょｗｗｗおまいらｗｗｗｗｗわろっしゅｗｗｗｗｗｗｗ

2020/09/16(水) 08:54:18.70

>>261
「モデル上で100%」とは「モデルが確実に判定可能なデータしか入力しない」ということか？
その判別モデルすら100%は不可能だから「モデル上で100%」も不可能だぞ

2020/09/16(水) 09:45:57.58

>>263
時速120kmに達した瞬間に自爆するルールをモデルに組み込んであれば、前段階のAIがどんなに馬鹿な判断をしようが時速120kmを超えることはない
モデル上はな

2020/09/16(水) 11:22:54.31

>>263は時速を100％正確に計測できる保証などなく誤計測は避けられないのだから120kmを超えることも完全には避けられないということを言っているわけで

2020/09/16(水) 11:24:32.85

で、時速計測器が正確だと保証するために新たな装置を用意してもその装置がまた不正確かもしれず無限ループになる

2020/09/16(水) 12:19:37.96

>>265
それはモデルが測定装置の誤差を考慮していないからで、その必要があるならモデルに組み込んだ上で適切な閾値を設定すればよい
モデル上既に重大事故を起こす可能性があることがわかっているのと、モデルに組み入れられていない要因により事故を起こす可能性があるのは別次元の話だ

2020/09/16(水) 12:41:36.92

現実世界で発生する誤差は有限の範囲に収まることが保証できないのでどれだけ余裕を持って閾値を設定しても漏れることは避けられないよ

2020/09/16(水) 14:23:42.73

法律でも予見可能性が問題になるからな
予見可能な問題には対応できるようにしないと

2020/09/16(水) 20:11:42.22

じゃあ何も作るな
問題が起きるのは必ず予見できるし

2020/09/16(水) 20:13:39.45

問題を必ず予見できるなんてわけがない
予見可能なのはあくまで予め想定している問題だけ
想定していない問題はそもそも予見しようとすらしないのだから

2020/09/16(水) 20:24:53.72

FAQ 想定外です

2020/09/16(水) 21:10:37.45

リスクを負わないとリターンは得られない
何かしようとするとリスクはある
それをどの程度減らしたり対策したり許容するかのバランスになると思う
下手すると事業継続できなくなる
また別の仕事してもいいんだけどね

2020/09/16(水) 21:12:22.35

>>271
その分野の多くの専門家が予見できるようなものは当然対応していないと能力を疑われることになるけどね

白黒つけるのは難しいと思う