【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/01/19(火) 21:21:19.91

自分の脳みそを使えば、
AIなんて使わなくても、簡単にモザイク除去できる

2021/01/19(火) 21:24:10.62

>>51
https://youtu.be/__EoOvVkEMo
これとか

最近ではこれ
https://youtu.be/Hy_TNtHex2w

Waymoは無人タクシーをカリフォルニア限定で実現している

2021/01/19(火) 22:25:22.55

>>55
機械学習に頼らなくても
１フレームごとにその部分に似た角度の別画像を探して来て
その部分的を切り取り貼り付け境目をゴニョゴニョして、、、っていうアイコラ職人を自動化する方法もあるぞ

2021/01/19(火) 23:18:19.16

>>57
じゃあ聞くなよ
聞いたら自作になんねーだろ

2021/01/21(木) 23:20:17.89

機械学習で遊んでみようと思うのですが、kerasが一番使いやすいのでしょうか？

2021/01/21(木) 23:39:03.97

機械学習ならscikit-learnじゃん。
あとはXGBoost、LightGBM

2021/01/22(金) 00:26:08.83

サイキットラーンっておもちゃちゃん

2021/01/22(金) 00:31:24.29

>>65
SVMやロジスティック回帰やりたい時、君は何を使うの？

2021/01/22(金) 05:55:08.09

Kerasが一番簡単だと思う。AutoMLでいいなら、PyCaretかAutoGluon使っとけ。

2021/01/22(金) 07:07:02.87

ありがとうございます！色々試してみます
あまり関係ないですがscikit-learnをスキキットラーンって勝手に読んでました

2021/01/22(金) 08:06:01.96

>>68
以下が公式のFAQ。syってどう発音させたいのかわからないけど、みんなサイキット言う。実際に使っている人には、エスケーラーンでも通じる

https://scikit-learn.org/stable/faq.html#how-do-you-pronounce-the-project-name

2021/01/22(金) 20:35:31.03

いろんな方法があるけど
この手の問題はこの方法が第一候補みたいなデファクトスタンダード的なのはある？
とりあえずXGBoostとか
画像はCNN、深層学習とか
生成系ならGAN?とか
テキスト系ならこれとか

2021/01/22(金) 20:41:16.75

前のスレにあったPDFファイルでDNNを4層くらいで
データ数より多い横幅にして
ある方法で初期化すると
大域的最適解を学習できる
みたいなのが書いてあったと思うけど
実際に動かしたりした人いる？

あと圧縮できるくらい余裕があった方が汎化能力があるみたいなのも書いてあって
圧縮の方法の一つに量子化があると思うけど
素子の値の有効桁を変えたり整数で扱うとかで汎化能力が変わったりする？

2021/01/22(金) 22:09:20.12

RNNんまだー？

2021/01/22(金) 23:08:56.92

最新の脳研究が明かす「頭がいい人、悪い人」は何が違うのか
https://news.yahoo.co.jp/articles/fe254c14aea01eadd1dbdbf979187ba3f4a5c11c

知識蒸留、ていうか
ネットワークの枝狩りがなされている？

2021/01/22(金) 23:12:20.39

シナプス可塑性は昔からあるだろ

2021/01/23(土) 00:31:55.86

テーブルデータはCatBoost
画像認識はCNNからTransformer(Attention)に移りつつある
テキストはTransformer(Attention)
生成系はGANだけど、GANは考え方だからやっぱりTransfomerっていう
時系列予測は(Auto)ARIMAとかProphet?
異常検知はk近傍とかIsolation Forestなのかな?
次元削減はt-SNEかUMAP
クラスタ分析はとりあえずk-meansでいいのかなぁ
最適化アルゴリズムはなんだろね、ディープラーニングとしてはAdamだけど、汎用的には最近の流行りはやっぱり量子アニーリング?

2021/01/23(土) 00:55:51.78

>>71
元の資料は知らんが、単純にDropoutのことじゃないの?

2021/01/24(日) 11:53:47.10

100x100の画像を50万枚くらい使ってい学習してるんだけど
ストレージをHDDからSSDに変えたら学習速度って結構変わったりするのかな？
それとも読み込みの速度差って無視できるレベル？

2021/01/24(日) 12:38:31.63

>>77
GPU/CPUなりが100%で張り付いているなら変わらん。そうでなくても、その画像サイズなら、徐々にメモリに読み込んでキャッシュするようにしておけば、ほとんど影響ない
分散トレーニング(複数GPU利用)しているなら、高速ストレージを使うのがマスト

2021/01/25(月) 13:36:46.32

実際の実行速度で影響あるのはバックプロパゲーション部分がほとんどだからストレージの影響はあんまないでしょ。
よっぽど小さいモデルで単なる判別やるだけなら影響あるかもだが。

2021/01/26(火) 15:56:16.49

Yoloとかで画像内の大まかな位置検出、次いでU-netで細かい輪郭検出

一発で出来るデータセットあったらなあ

2021/01/26(火) 18:14:29.59

ネットワークではなくてデータセット？

2021/01/27(水) 12:45:36.57

ネットワークも欲しいしデータセットも欲しい

ところで最新の物体検出器のネットワークの各層の逆操作を丹念に作ってU-netに出来るのかな

2021/01/27(水) 12:48:18.48

？

2021/01/27(水) 13:12:37.72

何言ってるのか俺には分からん

2021/01/27(水) 13:36:55.78

俺も判らん

2021/01/27(水) 14:25:34.91

エンコーダデコーダモデルの話ちゃう？

2021/01/27(水) 18:18:20.91

https://www.acceluniverse.com/blog/developers/2019/11/u-net.html
画像セグメンテーションのためのU-net概要紹介

2021/01/28(木) 10:42:52.60

この人誰ですか？GNN画像検索しても名前が判りません
https://leo-dental.net/wp-content/uploads/2015/04/invi_teebjnn.jpg

2021/01/28(木) 15:00:51.51

>>88
世界的に活躍中のモデル、ソン・ギョホンさんですね。

2021/01/28(木) 16:22:39.91

自然言語処理はこのスレでおｋ？

2021/01/28(木) 16:26:02.58

機械学習で処理してるならおｋ
最長一致法とか文節数最小法とかならたぶんスレチ

2021/01/28(木) 16:47:41.89

汎用の自然言語処理スレは落ちた

2021/01/28(木) 17:42:21.48

顔だけで認知症かどうかを判断できたらしいが信じられない
http://www.qlifepro.com/news/20210127/screening-of-alzheimers-disease.html

2021/01/28(木) 19:50:56.12

どれぐらい顔に出るもんなのかね？

2021/01/28(木) 19:57:03.46

後、何年後ぐらいで本格的に人が要らなくなり
政府が対策を講じるようになるんだろな
日本はジジババ世代の影響もあり実店舗が他の先進国の2～3倍あったと思ったが
それも大量に要らなくなりそうだし

田舎なんかコロナで市内のスーパー以外ほどんどの店で
スマホ決済だと25％OFFで物が買えるようになっているけど
スマホで決済している人を自分以外で見たこと無いぐらいなんで
今のジジババが生きてるうちは人が接しないと無理だろうけど

2021/01/28(木) 20:22:52.03

顔を見ただけで「この人に話しかけても無駄だな」
という老人は結構いる

2021/01/28(木) 20:56:18.18

スマホ決済25%オフって何のキャンペーン？

2021/01/28(木) 21:03:43.58

>>93
汎化性能どの程度か怪しいなあ
とりあえず日本人だけみたいだし

2021/01/28(木) 21:10:20.06

こいつアスペだなってのは結構分かる

2021/01/28(木) 21:20:47.17

>>97
やってないところあるんだな
市のキャンペーンで市内の店で購入すると実質25%OFFになる

2021/01/29(金) 08:27:12.51

単に顔認識してるだけでは？

データセットのトレーニングとテストに別れてるのかどうかも、
クロスバリデーションの記述もないし
色々おかしい

2021/01/29(金) 10:37:25.97

教師ありだとしたらラベル付け担当失礼だな！笑

2021/01/29(金) 14:29:29.33

>>94
リアルで出会う人間でも一目でそれと判るのが一定数居るよな
ボーダーは判らんかも試練がそれは機械でも判らんやろ

2021/01/29(金) 22:02:13.37

画像だけじゃわからんだろ。動画なら反応のおかしさで大体わかりそうだが。

2021/01/30(土) 18:01:49.62

SMBC の池沼さんはこれ？
https://github.com/YukiLeafX

2021/01/31(日) 00:58:59.06

>>105
違う。本人はとっくに非公開にしてる。
コード自体はforkされまくって拡散しているが。

2021/01/31(日) 09:51:19.91

SIGNATEで株価予測コンペ始まってた

2021/01/31(日) 10:05:16.92

ソースなんて大して価値無いだろ

2021/01/31(日) 11:13:39.87

年収予測って何を根拠にしてんの？

2021/01/31(日) 11:28:14.26

んなもんリテラシーの低いあふぉを釣るための疑似餌じゃろ>>109

2021/01/31(日) 11:29:05.60

ソース流出したとかそんなことより年収300万なんてのが実在することの方が驚き
300万は額面だろうから手取りはもっと酷くなるだろうし

2021/01/31(日) 11:38:18.34

>>109
年収はヒアリングしたものを使っているみたい
https://findy-code.io/engineer-lab/github-annual-income-prediction

2021/01/31(日) 11:54:02.01

高めに判定して転職エージェントに客集めるとかなのかな

2021/01/31(日) 13:42:06.05

>>113
それもあるだろうけど、
企業側には「私たちの転職サイトに登録している人は年収査定のためにGitHubに自作コードを公開した人たちなので、コードも書類選考の材料にできます」と
言えるのが利点だろう。
転職希望者と募集企業に両方に利点を作らないと差別化出来ないから。

2021/01/31(日) 16:08:19.84

有名なオープンソースのソースコードをコピーしてもわかんないの？

2021/02/01(月) 19:20:34.69

>>112
まだコミュニケーション能力とか強調して言ってるんだな
文系色が強いと言うか
技術者系なんか特化して異常に出来る奴程
コミュニケーション能力が無い
それをどう組み合わせるかがスタッキングで精度を上げるのに重要なんじゃないのか
コミュニケーション能力高い奴集めると
https://it.srad.jp/story/21/01/04/1941201/
こんな状況になるんだろう

マネージメント専門とか経営専門とかいらねーってことで
根こそぎクビをはねて行って
破綻寸前から米国初の時価総額2兆円企業になったアップルもいるけど

2021/02/01(月) 19:51:10.46

>>116
非効率な業務を撲滅できないのはエンジニアにコミュ力がないのも大きな原因の一つだったりするんだけどな
明らかに無意味でどう考えても止めるべきな仕事を見て見ぬふりをしたり、小手先の自動化でお茶を濁したり
本職なら心当たあるだろ？

2021/02/01(月) 20:02:37.51

コミュニケーション能力ってなんだ？
定義が「仲良し能力」のケースが多くね？

相手に伝えたいこと、伝えてもらいたいいことを正確に伝達する能力がコミュ力だよな？

2021/02/01(月) 20:03:33.13

>>117
何か言うと仕事が自分に降りかかって来るんで
放置ってのはあるだろうな
やったらやったぶんだけ金くれるならやるけど

2021/02/02(火) 13:40:06.89

>>110
+1
>>118
+1

2021/02/02(火) 13:43:27.73

>>116
リーダーが退職したならwinwinではないかな

2021/02/02(火) 13:49:10.06

コミュ力って、ウェーイ力じゃない
チームで一緒に仕事をしていく能力のことな
周りと円滑に意思疎通できないと困るが、世間一般でいう陽キャである必要はない

2021/02/02(火) 14:01:07.92

>ウェーイ力
コーヒー吹きそうになっただろw
うむ、こういう簡潔でわかりやすい言葉選びができるのもコミュ力だな

2021/02/02(火) 14:16:53.01

チームで一緒に仕事をする能力と定義しちゃうと
空気を読む力が大きく左右しちゃうぞ

それは×だな

2021/02/02(火) 15:07:04.97

仕事仲間も仕事の提供先も人間なのに空気読む能力を軽視してよいはずがないんだけど

2021/02/02(火) 15:12:31.78

空気読んで将来発生しそうな問題点を隠蔽したら仕事はうまく進まなくなる危険性がある

2021/02/02(火) 16:18:27.33

そういう仕事論は飲み屋で部下か後輩にでも語りなさい

2021/02/02(火) 16:25:43.68

お断りいたします

2021/02/02(火) 18:02:30.56

みざる
いわざる
きかざる
日本はずっと昔からそういう國

2021/02/03(水) 11:04:19.48

さてこれまでトレーニング&推論実行型のコードをカスタマイズしてきたが
今後は推論実行オンリーのを改造だ

2021/02/06(土) 11:18:52.54

DEEPネットワークはカーネルマシーンの近似らしいぞ

2021/02/06(土) 13:19:51.10

横幅→∞での話？
深層になればカーネル法より有利らしいが

2021/02/06(土) 13:27:22.46

これこれ

Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
https://arxiv.org/abs/2012.00152

2021/02/06(土) 13:28:07.64

変分推論って実務で活躍する場面あるんですか？

2021/02/06(土) 17:09:07.10

変分推論が何なのか理解できていればそもそもそんな質問が出てくるわけがない

2021/02/06(土) 17:12:24.48

学生に平手打ちをくらわすおじさんの図

2021/02/06(土) 17:13:01.85

理解できてないからこそ質問してるのでは

2021/02/06(土) 18:44:39.56

ベイズ推定行うときに事後分布が解析的に出てこないような複雑な分布を近似する手法じゃないんですか？
間違ってたらすみません

2021/02/06(土) 19:22:15.73

メトロポリス兵スティングやな

2021/02/06(土) 19:31:28.56

>>133
カーネル関数をデータから学習しつつ
カーネル関数で写像してから分類とかする
と解釈出来るって言うのは前に貼られていたpdfファイルにも書かれていたな

2021/02/07(日) 00:36:23.57

>>134
ありがたい例がすぐに出てこないので
現時点ではない
覚えておくと便利だよ

**デフォルトの名無しさん** · 2021/02/08(月) 00:26:23.98

下世話ですがデータマイニングで簡単にお小遣い程度稼ぐにはどんなアイデアがありますか

2021/02/08(月) 03:23:27.55

>>142
ない
あれば誰かが既にやっているはず

2021/02/08(月) 15:02:23.64

グラボ工場を買っちゃう

2021/02/08(月) 15:27:53.75

nVIDIAの株を買う

2021/02/08(月) 15:38:08.64

既に高値だろ

2021/02/08(月) 15:42:15.50

既存データは分析済みだからね
データマイニングしても何も得られないと思う

2021/02/08(月) 15:47:35.72

分析済みなんてありえん

頭硬すぎ

2021/02/08(月) 16:37:57.53

この分野は、ディープラーニングだけ勉強しておけばOK？

2021/02/08(月) 16:48:42.91

ニーズによる

2021/02/08(月) 17:04:29.66

>>150
ありがとうございます。

この分野のブームのせいだと思われますが、最適化の本が売れているようです。
最適化の本はこの分野にとって本当に役に立つものですか？

2021/02/08(月) 17:37:09.75

この分野と言われても範囲が広すぎる
もっと対象を絞って質問してほしい

2021/02/08(月) 17:47:48.96

>>152
ディープラーニングに最適化理論は役に立ちますか？

2021/02/08(月) 17:55:00.99

>>153
最適化の基礎は知っといた方がいい

2021/02/08(月) 18:54:30.26

こういう質問をする人の想像してる「役に立つ」にはならんだろう

2021/02/08(月) 19:06:11.83

要らないよね

2021/02/08(月) 23:53:44.47

ディープラーニングでも普通に最適化使っとるがな。他にもハイパーパラメータのチューニングで必要だわな

2021/02/09(火) 00:00:33.85

あと、機械学習を仕事で使うなら、ディープラーニングだけで済むことはほぼ無いわな。データによっては精度悪くなるしな

2021/02/09(火) 00:08:51.80

何も考えずにautomlにつっ込めばええんや