【統計分析】機械学習・データマイニング28

2020/05/01(金) 09:32:34.08

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2020/06/18(木) 12:55:07.17

しょうもない自動化するよりも東京をバイパスできる高速作る方がよっぽど効率的だがな。

2020/06/18(木) 12:59:25.86

スケールせんがな

2020/06/18(木) 15:59:29.73

自動運転車はよ

2020/06/18(木) 16:10:20.66

通称自動車

2020/06/18(木) 16:40:55.35

>>350
Yes

>>357
既に外環道とかいうのの計画は途中まで進んでるぞ
使うとジッサイベンリ

2020/06/18(木) 17:22:10.21

首都高レースゲーム内ではまだまだ
互いにぶつかりまくりなんですけどね

2020/06/18(木) 21:06:04.78

外環道は三鷹練馬がまだなのか
あと計画は圏央道ってのもあるでよ
茅ヶ崎、八王子、つくば、木更津、更に大外回る

牧野 (ﾜｯﾁｮｲ de68-IXeA [119.231.187.251]) · 2020/06/19(金) 07:48:08.79

首都高はマジで終わってるわな
あれは国家的損失だと思う。

2020/06/21(日) 11:50:05.33

機械学習方面は割とむだに技術押しする輩が多いわ。
それ必要？ってのに予算無理やりねじ込むのがあまりに多すぎ。

2020/06/21(日) 12:13:40.59

SBなんてまさにそれですね。
社外取締役に名ばかりのAI専門家入れたことも影響してるかな？

2020/06/21(日) 12:22:51.55

DeepLあたりは上手いなと思うんだけど日本のAI系プロジェクト・プロダクトでこれはというものあるのかね

2020/06/21(日) 13:39:05.00

nictの音声認識系？

2020/06/21(日) 17:21:42.61

>>367
東京オリンピックでスタジアムとかを顔認証で入場するとかやる予定だったと思うけどどの程度役立つのかはわからないな

2020/06/21(日) 18:44:22.11

パチ〇コ屋あたりでは既にぐう使われてるという噂

2020/06/21(日) 19:15:51.83

AIってか深層学習は画像処理しかできないんだな。日経やその他ニュースサイトでも画像生成、
男女入れ替え、若返り、ノイズ除去しか成果でてないイメージ。

2020/06/21(日) 20:28:07.71

日本的に重要なのは強化学習を使った制御とか
そんな地味な分野なんじゃないの

2020/06/21(日) 20:33:04.74

>>371
囲碁への応用もあったんじゃないか？
視覚情報で処理できるものへの応用が可能性あるんだと思う

USB接続のカメラとか安く入手できるし
赤外線や紫外線カメラをつけたら可視光で判断できないものも判断可能になる

新型コロナ関連では発熱のチェックとか
発症前からウイルス排出してるから発熱してからだと遅いかもしれないけど
微妙な変化の特徴があれば発症前に判別できるかも

2020/06/21(日) 20:35:06.90

来店客を個人識別してマーケティングとかセールスにつなげるのは出てきそうだけどな
他には防犯で万引き注意みたいな

2020/06/21(日) 21:20:56.51

>>371
文書生成とか音声捏造もできるお

2020/06/21(日) 21:38:50.13

写真のモザイクを完全に取り去るAIが誕生。あれもこれも、見えるようになっちゃう…!?
https://www.gizmodo.jp/2020/06/perfectly-depixelate-faces.html

2020/06/21(日) 21:48:13.20

とっくに出来上がってるものとばかり

2020/06/21(日) 21:56:24.05

あれは出来るこれは出来るというのはあるだろうが
ミス無く長く居続けた方が有利な日本社会で
ワザワザ新しいことになんて本腰入れてチャレンジせんのじゃないか
何かあったら誰が責任を取るんだ！っていう話しになり
取り合えず保留って状態が永遠に続いて終了する

2020/06/21(日) 22:21:43.78

>>374
マーケティングで言うなら画像処理よりも顧客注文データを地道に分析する方が結果は出る。
もっと言うなら機械学習する前にデータベース整備を本気で行う方がその会社的に利益出るだろって
ことは往々にしてある。
めんどくさいし言っても聞かないからほっといてるけど。

2020/06/22(月) 01:40:13.83

>>379
ホント何処もかしこもエクセル様様ばっかりで
MySQLで組んだ人がやめちゃってメンテ不能
データはCSVかTSVでゼロから構築したあげく
最後はまたエクセルにダウンロードしてWordにコピペ
プリント印刷してハンコ待ち。

2020/06/22(月) 01:44:53.72

てす

2020/06/22(月) 16:56:06.88

トラクターの自動運転だって
https://www.itmedia.co.jp/news/articles/2006/22/news033.html

人身事故の心配は路上に比べれば少ないかな

2020/06/22(月) 17:10:57.77

AIというより単なるライントレーサーみたいなもんだろそれ
障害物を検知したときの非常停止に画像認識を使うくらいはやってるかもしれんが

2020/06/22(月) 18:14:51.02

畑に線を引くわけにも行かんからSLAMが何かの技術は使ってそう

2020/06/22(月) 18:19:32.93

https://agrijournal.jp/renewableenergy/43833/
でっかいラジコンみたい（笑）
ラジコンじゃないけど

2020/06/22(月) 19:36:59.82

普通のトラクターは400万ぐらいだ、高すぎる、絵に描いた餅

2020/06/25(木) 13:14:34.81

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2020/06/26(金) 05:02:08.70

タクシーの完全自動運転なら車両価格が３千万円でもペイする。
トラクターも２４時間稼働するような場所があれば同じ。

2020/06/26(金) 13:56:07.59

日本の農地の現状を知らない（笑）

2020/06/26(金) 14:07:00.62

すごいなー
https://prtimes.jp/main/html/rd/p/000001101.000002302.html

2020/06/26(金) 14:13:02.01

できますか？
「はい」「いいえ」

これだけやんω
ちゃんと裏獲れよωωω

2020/06/26(金) 14:29:57.37

「人工的につくられた知能」とかそんなまんまな回答を期待してるんだろうか

2020/06/26(金) 14:39:28.32

＞391
説明できますか？

2020/06/26(金) 14:47:53.21

日本の農業方面はほんま金ないよ

2020/06/26(金) 15:04:44.65

最低賃金や実習生の賃金が安すぎて、価格競争に負けるAI

2020/06/26(金) 15:31:19.06

アルバイトvs年間サブスク120万円

2020/06/26(金) 17:32:15.13

>>392
人工知能というワードには具体的な手法の意味合いなど含まれないから「人工的に作られた知能っぽいもの」以上の説明など誰もできない

2020/06/26(金) 18:14:41.04

判子を判子業界の圧力で
なくせない日本(笑)

2020/06/26(金) 18:29:46.45

印鑑って現時点でもほとんどの契約で法的には必須ではないと散々言われてるだろ
当事者間で印鑑不要と決めてしまえばそれでいいだけのこと

2020/06/26(金) 19:00:25.48

日本の田畑は狭すぎてAIトラクターなんていらない！
AIは危険な作業すべき。

トンネル掘削とか、
海底や高所での作業とか。

でもそのためには
もっともっとボディも知能も
進化させる必要あり！

2020/06/26(金) 20:41:51.77

詐欺とか
高い値段で買わせる為の一手法とか
書かれなくて良かったじゃん
良いイメージ勝っている

2020/06/26(金) 23:59:30.96

人工知能とは何か説明できますか？はタイムマシンは・・・？と同じだな。
まだ誰も作れていいないものの、何を説明するのか？ｗ

2020/06/27(土) 01:32:38.84

>>400
日本の田畑は狭すぎて畦道を無理やり走った
トラクター横転で運転手死亡とか普通にある
そういうのがAI自動運転に変われば
老人の無駄死にを減らせる

2020/06/27(土) 02:16:25.47

AIで畦道自動走行はまた別物じゃないかい?
舗装道路とは別に学習し直さないと行けないんでわ

2020/06/27(土) 04:41:04.99

老人の無駄死は増えていいよ

牧野 (ﾜｯﾁｮｲ 5b68-NJGG [119.231.187.251]) · 2020/06/27(土) 07:31:10.61

AIは特殊な道を走るのは苦手だぞ
この間も横転したトラックに思いっきり突っ込んでたし

2020/06/27(土) 09:01:14.31

ドライブレコーダーの動画ってどこかで吸い上げて
自動運転の学習データに使ってたりするのかしら？

2020/06/28(日) 22:24:44.73

テスラはしてるな

2020/07/02(木) 01:45:56.12

https://github.com/SystemErrorWang/White-box-Cartoonization
↑
ネットニュースでやってて見てたんだけど
プログラムにCCライセンスってあるの？
仮に出力した画像に対してだったとして
生写真の著作権は撮った本人が持ってるよね
アニメ風に変換すると著作権がプログラムを作った人に
移行するとかってあるの？

2020/07/02(木) 05:33:01.90

グレーなんじゃない？

2020/07/02(木) 08:45:47.13

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

2020/07/02(木) 09:31:47.69

>>409
写真を見て人が絵を描いたら絵の方には絵を描いた人に著作権が発生すると思うけど
単に作るだけではなくて思想感情を表現したものが著作物だから機械的な変換には著作権は発生しないかも
プログラムの方には著作権が発生するけど

C言語をコンパイルしてもコンパイラ作成者の著作物にはならないし

2020/07/02(木) 10:58:54.63

一行目、
二次的著作物だから、写真を撮った人、絵を書いた人それぞれに著作権が発生するのでは？

2020/07/02(木) 11:04:48.49

>>249
まず、東大＝頭がいい、数学が出来るというのは偏見だと思う
東大入試では情報幾何学とか出てこないし、大規模OSSのソースコードの解読とかもないから。
誤解がないように言っておくが、東大生は平均すると確かに頭がいいと思う。しかし、人の頭の良さは１つの観点から見たとしてもあまりに分散が大きいから、その平均にはほとんど意味がないというのが俺の考えだ
ちなみに当方中卒

そして、因果推論では理論が大切だと思うぞ
例えば、当たり前のように多くの人がスパースモデリンングの回帰分析のマージナルエフェクト（要するにlasso回帰の回帰係数）を使ってるがその根拠はどこにある？因果推論では強い多重共線性があるから、その根拠はほとんどの教科書にも書かれてないだろ？結局皆んながやってる方法が本当に因果推論として機能してるのか自分で計算して証明しなきゃならない
予測の問題と違って因果推論では考えなきゃいけないことが多い

2020/07/02(木) 11:21:59.00

>>413
写真を撮った人の著作権はある前提の話

2020/07/02(木) 12:17:30.61

頭悪そう

2020/07/02(木) 12:54:56.32

>>414
次元削減みたいなもん？

2020/07/02(木) 13:41:05.72

>>417
次元削減とは関係がない
例えば気温とコインランドリーの売上との因果を知りたいとしよう
雨が降れば気温が下がるから天気の影響を取り除いた条件付き共分散COV(売上,気温|天気）、これを求めるのが因果推論の目的。
しかし、その時よく使われる回帰分析は条件付き期待値E(売上｜気温,天気)を求めていて、さらに古典的な回帰分析は気温と天気が無相関であることを仮定している
そこでlasso回帰というベイジアンを導入してその仮定を取り除いている訳だが、その回帰係数が本当に条件付き共分散を与えるか教科書には書かれていない
ちなみに天気と気温が無相関であれば気温の回帰係数が０の時COV(売上,気温|天気)=0になることが証明出来るが問題はそうでないとき

2020/07/02(木) 13:49:28.76

>>418
共分散が因果関係を表すとは自分は理解していないけどそうなのか？
回帰分析は気温の変数と売上の変数の関係を数式で表してるだけで因果関係は判らないのはそうだと思う

2020/07/02(木) 14:17:49.90

いじめすぎ

2020/07/02(木) 15:03:08.67

>>419
＞共分散が因果関係を表すとは自分は理解していない
条件付き共分散には方向がないし、天気以外にも色んな影響を受けてるかもしれないから、その辺注意しながらデータを作っていく必要があるな
それをして、さらに正規分布に従うことを仮定したとしてもlassoの回帰係数を使うのが線形な因果関係を知るのに本当に正しい方法なのか疑問を持つべきだと思ってる
因果推論の手法は証明があって使い物になると思ってるからな

2020/07/02(木) 18:54:15.71

まあ、とりあえず共分散を信じきってる人よりましかな

2020/07/02(木) 19:47:25.34

一昔前のおじさんにはわかると思うけど
共分散構造解析が流行った時代があっての
ホッホ

2020/07/02(木) 19:51:18.83

>>422
共分散の話はしていない
条件付き共分散の話をしているがそれを信じるかどうかの話もしていない
条件付き共分散を信じるとして、それをどうやって求めるのかという話をしている

2020/07/02(木) 20:25:34.51

懐かしいね(笑)

2020/07/02(木) 21:08:21.58

受験勉強ができるなんてのはオーバーフィットの典型例じゃん

2020/07/02(木) 21:48:26.06

>>424
条件を満たすデータを集めて分散共分散行列を計算したらいいのではないの？
相関行列でも線形な相関の程度は分りそうだけど

共分散が分かると何が出来る？
何のために共分散が必要？

2020/07/03(金) 10:09:49.25

まるちんげーる(確率変数と時間の相関)
カルマんフィルタ

2020/07/04(土) 15:42:48.79

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

2020/07/04(土) 16:53:53.34

G検定受け終わったー
教師強制なんて参考書に出てこなかったんだが

2020/07/04(土) 19:35:14.08

Raschkaの機械学習の本を読んでいて、一番最初のパーセプトロンのところで躓いた。
重みをああいう風に更新しても正しく分類されていない点が正しく分類されるようになるとは限らないと思う。

中井悦司の機械学習理論入門の4.2.2でいうと、

点(x, y)が以下のように正しく分類されていないとする。

w_1*x + w_2*y < 0
t = 1

重みは以下のように更新される。

w'_1 = w_1 + x
w'_2 = w_2 + y

w'_1*x + w'_2*y = w_1*x + w_2*y + x^2 + y^2となるが、これがかならずしも正になるとは限らないと思う。

x^2 + y^2 > 0 ならば改善はされるとは思いますが。

2020/07/04(土) 20:40:48.67

xORのパターンはパーセプトロンでは分類できない
次元を増やすとか層を増やすとかで解決するんじゃないか

2020/07/04(土) 20:43:29.15

>>432
パーセプトロンで分類できることがあらかじめわかっているデータにアルゴリズムを適用したときの話をしています。

2020/07/04(土) 21:41:44.31

最小値じゃなくて極小値ローカルミニマムに捕まるときはあるだろうね

2020/07/04(土) 21:42:27.14

具体的にどんなときに問題になる？

2020/07/04(土) 23:01:52.65

>>431
パーセプトロンの収束定理というものがあるので、必ず有限回で正しく分類できるようになる

2020/07/04(土) 23:33:49.39

全くついていけない。1%もお前らの話を理解できない
そんな能力あるなあdeepnudeとかいろいろ貢献しろよ

2020/07/05(日) 01:51:19.26

>>431
その本読んでみないと何とも言えんな
パーセプトロンの解説なんてネット上に腐るほどあると思うんだがな
一般的には分類用の単純パーセプトロンはロジスティック回帰が使われる事が多くて、指数型分布族でコスト関数が凸になるからつまずくとこなんてあるかーって感じだわ
普通にロジスティック回帰の勾配法での更新式を自分で計算してみたらどうだ？
「ロジスティック回帰　勾配法　導出」とかで検索すれば直ぐ答えが得られるが

2020/07/05(日) 03:01:57.62

>>431
あーなるほど、これは活性化関数にステップ関数を使っていて、さらにデータは線形モデルで精度１００％が達成可能である事を前提としてんのね
それじゃあロジスティック回帰とは全然違うわなｗ
重みの更新式は学習率に応じて少しずつ何度も繰り返し計算されるからいずれ正になるぞー
w'_1*x=w_1*x+η*x^2 > w_1*x
となるわけだから
ηは学習率

2020/07/05(日) 05:01:10.59

ドヤりたいだけのつまらない人だよ

2020/07/05(日) 10:27:53.60

ドヤ

2020/07/05(日) 11:43:41.74

面白い人である必要はない

2020/07/05(日) 11:59:53.33

>>439
ありがとうございました。

ループの途中でi番目の点(x, y)のところに来たとします。

点(x, y)が以下のように正しく分類されていないとします。

w_1*x + w_2*y < 0
t = 1

重みは以下のように更新されます。

w'_1 = w_1 + x
w'_2 = w_2 + y

w'_1*x + w'_2*y = w_1*x + w_2*y + x^2 + y^2となります。
x^2 + y^2 > 0 ならば改善される。

ループを回して、次にまたi番目の点(x, y)のところに来たとします。
この時点で重みの値は他の点の処理によって、一般的に何度も更新されているはずです。
w_1*x + w_2*yの値を計算したときに、一つ前に計算処理をしたときよりも状況が悪くなっている可能性もあるのではないかと思うのですが、いかがでしょうか？

現時点でのw_1*x + w_2*yの値 < 一つ前の計算時点でのw_1*x + w_2*yの値 < 0

となってしまう可能性です。

2020/07/05(日) 12:02:13.77

>>436
そういう定理があるということは、結局は、分類されるということだと思いますが、
>>443
のようなことが起こらないということは自明なことではないと思います。

2020/07/05(日) 13:19:30.00

>>443
2乗したら虚数でなければまだ負にならないんじゃないか？
xもyもゼロの時は正にならないけど

2020/07/05(日) 15:52:53.52

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

2020/07/05(日) 18:53:06.09

>>443
w_3の存在を忘れてたりしない？
サンプルに１次元追加してそこを１で埋めればw_3はちょうど切片の役割を果たす
まずは１次元の場合で考えてみたらどうかな？
そうしたら切片の役割がより分かりやすいと思う
その上で、ステップ関数を使った単純パーセプトロンは損失関数をmax(0,-twx)とする事が出来る為、不正解となったサンプルのみ勾配法によって重み更新する事を考える
不正解の場合損失関数は-twx返す為、-twxをｗで微分して、答えは-txとなる
従って更新式は勾配法によってw+txとなることがわかる
証明としては不完全だけど分かりやすくイメージがつかめると思う

2020/07/05(日) 23:19:50.31

後出し小僧

2020/07/06(月) 00:43:36.99

xorなんて加群の準同型定理からなんとでもなりそうだが。

2020/07/06(月) 12:52:27.50

データサイエンスを過度に民主化するな
https://ainow.ai/2020/06/29/223422/

理論が分からないバカを量産するなという記事が出ていた

2020/07/06(月) 13:12:41.37

知ってた

2020/07/06(月) 14:48:12.42

分析や機械学習を安易に外に投げるような企業は、
納品された結果を検証する能力も無いから問題無し

稼げるうちに稼いでおけ

2020/07/06(月) 14:58:23.94

http://pfi.kishou.go.jp/Presen2019/2_shimizu.pdf
https://www.nict.go.jp/publication/shuppan/kihou-journal/houkoku65-1_HTML/2019R-02-04(02).pdf#page=4

MP-PAWR及びPAWRの高空間分解能な観測データを教師データとし、
従来型現業気象レーダーで取得される従来データとの 4次元関係（空間＋時間）を機械学習することで、
従来型レーダーの4次元情報から線状降水帯等の積乱雲群の発達を
低コストに予測する手法を開発する

線状降水帯をAIで予測するプロジェクトが始まった
https://i.imgur.com/d1xgflH.png
https://i.imgur.com/bQADDeE.png

2020/07/06(月) 15:00:37.27

https://www.cc.u-tokyo.ac.jp/supercomputer/ofp/service/olympic.php

＞最先端共同HPC基盤施設（JCAHPC）と理化学研究所計算科学研究センター（理研R-CCS）は、2020年東京オリンピック・パラリンピック期間中に、
＞関東地区における「ゲリラ豪雨」リアルタイム予報と情報配信を協力して実施する予定です。

＞今回はOakforest-PACSシステム上で、理研R-CCSの開発した「SCALE-LETKF」コードを使用して、
＞埼玉大学に設置されたMP-PAWRの観測データに基づき、リアルタイムシミュレーション及びデータ同化による予測を行います。

線状降水帯の予測も京超えのスパコンを占有使用することで、
予測が可能となる

2020/07/06(月) 15:08:33.51

全然しらないけど
雲が出て来はじめたら
雨降るよ、で案内すればいいだけなので
簡単そう？

2020/07/06(月) 15:10:34.55

オリンピック中止も予測しろよ

2020/07/06(月) 15:33:47.68

>>455
雲が発生してからでは遅い場合もある
積乱雲は急発達するので。