【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/01/31(日) 11:38:18.34

>>109
年収はヒアリングしたものを使っているみたい
https://findy-code.io/engineer-lab/github-annual-income-prediction

2021/01/31(日) 11:54:02.01

高めに判定して転職エージェントに客集めるとかなのかな

2021/01/31(日) 13:42:06.05

>>113
それもあるだろうけど、
企業側には「私たちの転職サイトに登録している人は年収査定のためにGitHubに自作コードを公開した人たちなので、コードも書類選考の材料にできます」と
言えるのが利点だろう。
転職希望者と募集企業に両方に利点を作らないと差別化出来ないから。

2021/01/31(日) 16:08:19.84

有名なオープンソースのソースコードをコピーしてもわかんないの？

2021/02/01(月) 19:20:34.69

>>112
まだコミュニケーション能力とか強調して言ってるんだな
文系色が強いと言うか
技術者系なんか特化して異常に出来る奴程
コミュニケーション能力が無い
それをどう組み合わせるかがスタッキングで精度を上げるのに重要なんじゃないのか
コミュニケーション能力高い奴集めると
https://it.srad.jp/story/21/01/04/1941201/
こんな状況になるんだろう

マネージメント専門とか経営専門とかいらねーってことで
根こそぎクビをはねて行って
破綻寸前から米国初の時価総額2兆円企業になったアップルもいるけど

2021/02/01(月) 19:51:10.46

>>116
非効率な業務を撲滅できないのはエンジニアにコミュ力がないのも大きな原因の一つだったりするんだけどな
明らかに無意味でどう考えても止めるべきな仕事を見て見ぬふりをしたり、小手先の自動化でお茶を濁したり
本職なら心当たあるだろ？

2021/02/01(月) 20:02:37.51

コミュニケーション能力ってなんだ？
定義が「仲良し能力」のケースが多くね？

相手に伝えたいこと、伝えてもらいたいいことを正確に伝達する能力がコミュ力だよな？

2021/02/01(月) 20:03:33.13

>>117
何か言うと仕事が自分に降りかかって来るんで
放置ってのはあるだろうな
やったらやったぶんだけ金くれるならやるけど

2021/02/02(火) 13:40:06.89

>>110
+1
>>118
+1

2021/02/02(火) 13:43:27.73

>>116
リーダーが退職したならwinwinではないかな

2021/02/02(火) 13:49:10.06

コミュ力って、ウェーイ力じゃない
チームで一緒に仕事をしていく能力のことな
周りと円滑に意思疎通できないと困るが、世間一般でいう陽キャである必要はない

2021/02/02(火) 14:01:07.92

>ウェーイ力
コーヒー吹きそうになっただろw
うむ、こういう簡潔でわかりやすい言葉選びができるのもコミュ力だな

2021/02/02(火) 14:16:53.01

チームで一緒に仕事をする能力と定義しちゃうと
空気を読む力が大きく左右しちゃうぞ

それは×だな

2021/02/02(火) 15:07:04.97

仕事仲間も仕事の提供先も人間なのに空気読む能力を軽視してよいはずがないんだけど

2021/02/02(火) 15:12:31.78

空気読んで将来発生しそうな問題点を隠蔽したら仕事はうまく進まなくなる危険性がある

2021/02/02(火) 16:18:27.33

そういう仕事論は飲み屋で部下か後輩にでも語りなさい

2021/02/02(火) 16:25:43.68

お断りいたします

2021/02/02(火) 18:02:30.56

みざる
いわざる
きかざる
日本はずっと昔からそういう國

2021/02/03(水) 11:04:19.48

さてこれまでトレーニング&推論実行型のコードをカスタマイズしてきたが
今後は推論実行オンリーのを改造だ

2021/02/06(土) 11:18:52.54

DEEPネットワークはカーネルマシーンの近似らしいぞ

2021/02/06(土) 13:19:51.10

横幅→∞での話？
深層になればカーネル法より有利らしいが

2021/02/06(土) 13:27:22.46

これこれ

Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
https://arxiv.org/abs/2012.00152

2021/02/06(土) 13:28:07.64

変分推論って実務で活躍する場面あるんですか？

2021/02/06(土) 17:09:07.10

変分推論が何なのか理解できていればそもそもそんな質問が出てくるわけがない

2021/02/06(土) 17:12:24.48

学生に平手打ちをくらわすおじさんの図

2021/02/06(土) 17:13:01.85

理解できてないからこそ質問してるのでは

2021/02/06(土) 18:44:39.56

ベイズ推定行うときに事後分布が解析的に出てこないような複雑な分布を近似する手法じゃないんですか？
間違ってたらすみません

2021/02/06(土) 19:22:15.73

メトロポリス兵スティングやな

2021/02/06(土) 19:31:28.56

>>133
カーネル関数をデータから学習しつつ
カーネル関数で写像してから分類とかする
と解釈出来るって言うのは前に貼られていたpdfファイルにも書かれていたな

2021/02/07(日) 00:36:23.57

>>134
ありがたい例がすぐに出てこないので
現時点ではない
覚えておくと便利だよ

**デフォルトの名無しさん** · 2021/02/08(月) 00:26:23.98

下世話ですがデータマイニングで簡単にお小遣い程度稼ぐにはどんなアイデアがありますか

2021/02/08(月) 03:23:27.55

>>142
ない
あれば誰かが既にやっているはず

2021/02/08(月) 15:02:23.64

グラボ工場を買っちゃう

2021/02/08(月) 15:27:53.75

nVIDIAの株を買う

2021/02/08(月) 15:38:08.64

既に高値だろ

2021/02/08(月) 15:42:15.50

既存データは分析済みだからね
データマイニングしても何も得られないと思う

2021/02/08(月) 15:47:35.72

分析済みなんてありえん

頭硬すぎ

2021/02/08(月) 16:37:57.53

この分野は、ディープラーニングだけ勉強しておけばOK？

2021/02/08(月) 16:48:42.91

ニーズによる

2021/02/08(月) 17:04:29.66

>>150
ありがとうございます。

この分野のブームのせいだと思われますが、最適化の本が売れているようです。
最適化の本はこの分野にとって本当に役に立つものですか？

2021/02/08(月) 17:37:09.75

この分野と言われても範囲が広すぎる
もっと対象を絞って質問してほしい

2021/02/08(月) 17:47:48.96

>>152
ディープラーニングに最適化理論は役に立ちますか？

2021/02/08(月) 17:55:00.99

>>153
最適化の基礎は知っといた方がいい

2021/02/08(月) 18:54:30.26

こういう質問をする人の想像してる「役に立つ」にはならんだろう

2021/02/08(月) 19:06:11.83

要らないよね

2021/02/08(月) 23:53:44.47

ディープラーニングでも普通に最適化使っとるがな。他にもハイパーパラメータのチューニングで必要だわな

2021/02/09(火) 00:00:33.85

あと、機械学習を仕事で使うなら、ディープラーニングだけで済むことはほぼ無いわな。データによっては精度悪くなるしな

2021/02/09(火) 00:08:51.80

何も考えずにautomlにつっ込めばええんや

2021/02/09(火) 00:14:55.89

AutoMLでできるタスクならAutoMLまじ優秀。特にテーブルデータなら自分でモデル作る意味ほぼ無いと思うが、実際にはデータの種類の推測間違えたりするので、アルゴリズムの意味と必要な前処理はある程度知っておかないと、残念なことになる

2021/02/09(火) 00:32:05.18

SGDは最適化とはちょっと違うだろ。
少なくとも最適化の文脈では汎化性能については説明できん。

2021/02/09(火) 00:37:51.64

SGDは損失関数と重みに対する最適化そのものだと思うのだが。フレームワークで指定する際の名前もそのままoptimizerだしな。そこだけソルバー使ってもできるしな

2021/02/09(火) 09:01:46.62

SGDって単純な方法で最適化理論で扱われるようなものではないですよね。

2021/02/09(火) 09:14:02.99

最適化理論で扱われるもので、ディープラーニングで使われているものってありますか？

2021/02/09(火) 09:19:42.68

>>164
量子アニーリングは応用が研究されてるけど、確かに最適化理論の分野で使われるアルゴリズム(単純なシンプレックス法や遺伝的アルゴリズムとか)が機械学習で使われてるって聞かないな。何でだろ、速度的な問題か?

2021/02/09(火) 09:52:28.80

配送問題、配車問題はある程度実用化されてるでしょ

2021/02/09(火) 11:04:07.05

普通にビームサーチとNLPで使われているが

2021/02/09(火) 13:09:46.93

最適化アルゴリズムの実利用は昔からされてるけど、機械学習(ディープラーニング)の中で使われている最適化アルゴリズム(Adamとか)とは分断されてるという話かなと

2021/02/09(火) 13:53:37.95

最適化、って話から入ってくると言うとは
cs専攻じゃない人がやり始めようとして疑問に思うポイントなのかな

2021/02/09(火) 14:07:44.21

顧客満足度がポイントか

2021/02/09(火) 14:17:36.31

>>163
どんな条件を満たしていたら最適化になる？

2021/02/09(火) 14:54:43.94

overparameterizationて日本語だとなんて言うの？

2021/02/09(火) 15:01:20.27

>>172
めっちゃニューロン

2021/02/09(火) 15:03:43.05

えぇ...

2021/02/09(火) 15:07:42.69

赤池が出てくるとこじゃね？

2021/02/09(火) 15:12:59.57

>>163
どこからどこまでがあなたの思う最適化理論なのかざっと説明してほしい

2021/02/09(火) 15:16:23.35

>>176
最適化法などというタイトルの教科書でページを割いて説明されているようなものです。

2021/02/09(火) 15:20:00.79

前スレで貼られてたもの

http://www.kurims.kyoto-u.ac.jp/coss/coss2020/suzuki-lecture3.pdf

2021/02/09(火) 15:35:48.37

>>178
2chで理研AIPの資料を見るとは。参考になります

2021/02/09(火) 15:46:28.72

ニューラルネットワークの学習は勾配法の変種が殆どだろう

勾配法自体はもちろん最適化の話の一部なんだが単純だけど遅いので教科書での扱いは少しだけなのが普通

ディープラーニングに役立てるためだけに勉強するのなら特化した資料じゃないと

2021/02/09(火) 16:38:14.25

>>177
ｽﾞｺｰ

2021/02/09(火) 16:46:23.29

こういうのか
最適化法　伊理他

2021/02/09(火) 16:51:44.47

単純、という言葉は相対的なものなので
理解のためには異なる表現が必要

2021/02/09(火) 16:55:44.02

どうやら質問者はOR系の最適化とディープラーニング系のSGDとかの最適化の区別ができていない為
回答者が混乱していると思われ

2021/02/09(火) 17:21:18.35

>>177
質問の仕方から勉強した方がいいよ
長い人生で一番役に立つと思う

2021/02/09(火) 18:25:35.33

>>184
あぁなるほど

脳の老化ってプルーニングかな

2021/02/09(火) 21:14:22.86

プルーニング(刈り込み)、メモメモ

2021/02/09(火) 22:19:53.67

>>186
いえ、ドロップアウトです

2021/02/09(火) 23:54:51.94

条件付き最小解を求めるのは同じじゃないの？
計算力が不足したり数式で解けないから
現実的な解法が必要なだけで

2021/02/10(水) 01:53:15.74

じゃあメモリが圧倒的に増えて全バッチで最適化かませば良くなるかと言えばそうはならんのよ。

2021/02/10(水) 04:08:33.96

理論的にはOR系の最適化の方が遥かにしっかりしてるから
勉強するには面白いね

2021/02/10(水) 16:27:54.38

逆畳み込みで輪郭とか占有面積抽出

うまくやりたいもんだが難しそうだなあ

2021/02/10(水) 19:17:56.35

君にとってはそうかもな

2021/02/10(水) 20:28:03.60

>>190
学習がうまく出来るのと汎化能力は別問題だからな

2021/02/10(水) 20:29:00.29

>>192
輪郭って普通の画像処理でもフィルタ使って実現してるんじゃね？

2021/02/10(水) 22:34:50.44

ディープ使わなくても出来ることにディープ使うのはアホやろ

2021/02/10(水) 23:17:47.30

>>192
逆畳み込みってどんな処理？

2021/02/10(水) 23:23:45.39

ボケのフリに思えてしまう

2021/02/11(木) 00:18:41.60

>>197
deconvolutionでぐぐれ

2021/02/11(木) 01:51:00.91

例えばUNETのデコーダパートの処理であってる？

2021/02/11(木) 10:20:00.19

逆畳み込みを数式表現でしっかり書いてるサイトってほとんどないぞ

2021/02/11(木) 18:56:14.43

Yolo v5　のお勧めサイトを教えてくだちい

**デフォルトの名無しさん** · 2021/02/11(木) 21:09:37.91

おもしろいデータセット集めてるサイトって有名なあそことあそこの他にどこがある？

2021/02/11(木) 22:10:36.42

ドコだよ(笑)

2021/02/12(金) 10:50:36.67

そこだよそこ( ´∀｀ )

2021/02/12(金) 12:21:50.17

>>195
重なりまくってて従来の方法で輪郭を取り出せない状況がある

2021/02/12(金) 18:32:50.05

val accとval lossか同時に上昇してる場合ってどうしてる？
pytorch使ってるんだけど簡単にval loss下げる設定とかないのかな

2021/02/12(金) 18:47:57.07

>>207
そもそもモデル間違ってるとかタスク設定がおかしいとか無視するなら、パラメータ数を増やす

2021/02/12(金) 18:58:36.38

>>207
同時に上昇することなんてあるの？

2021/02/13(土) 02:10:03.27

>>207
正則化項が合算されてないか？
純粋なlossはどうなん？

2021/02/13(土) 20:51:31.78

ありがとう
多分タスク設定がおかしいんだろうなlossは下がってるし
もう少しデータ洗ってみるわ

2021/02/15(月) 07:55:36.79

最近学習し始めたものです

以下を参考にしているのですが、
https://www.tensorflow.org/hub/tutorials/object_detection

以下のような画像が出力されると思いましたが、
うまく表示されませんでした
https://www.tensorflow.org/hub/tutorials/object_detection_files/output_H5F7DkD5NtOx_1.png

こちらは、どこかのフォルダに表示されるのでしょうか？