【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

**デフォルトの名無しさん** · 2021/08/06(金) 17:48:36.83

非線形学習の基礎概念じゃん
何を長々やってんの

2021/08/06(金) 17:56:15.73

>>855
流石に読んでるぞ
てか読まなきゃ多様体が何だかわかんないじゃん

2021/08/06(金) 18:22:31.29

最近多様体のお勉強でもして、お話ししたくなったのかな？

2021/08/06(金) 18:57:54.44

多様体言いたいだけ

2021/08/06(金) 19:00:20.98

多様体

2021/08/07(土) 23:07:23.06

チビタレビ接続、アルファ接続なんて使用しません

2021/08/08(日) 01:36:39.38

実務未経験、kaggle初挑戦でソロゴールド取れたけど転職活動で評価されますかね
kaggleやる前は経験がないという理由でさんざん落とされまくった
masterまで取ってしまった方が評価高まるんかな
grandmasterまで取れたら引く手あまた？

2021/08/08(日) 09:58:13.80

実務はkaggleみたいに整備された環境ではないのでkaggle実績など実務経験としてカウントされません
実務でデータサイエンスやっている人が転職時にアピールポイントとして使うならまだ分かる

2021/08/08(日) 12:13:58.31

>>868
DeNAがkaggle経験重視してるから受けてみたら？

**デフォルトの名無しさん** · 2021/08/08(日) 13:13:50.96

Kaggleｗｗｗｗｗｗｗｗｗ
競プロer笑と同レベルって気付け

2021/08/08(日) 13:34:01.94

実務マウントもイタイよな

2021/08/08(日) 14:34:01.87

>>868
今の会社でデータ分析の部署に転属させてもらうか、プロジェクトに参加させてもらったら？
部長クラスに相談すれば悪いようにはならないかと。

2021/08/08(日) 15:35:49.38

>>868
数多ではないだろうがある程度評価はされると思うからそのままグラマスまでやれ

2021/08/08(日) 22:18:53.80

転職サイトでkaggleで検索すると何件かヒットするよ

2021/08/09(月) 11:23:28.16

ありがとう

データ分析の職種もいろいろあるね
研究開発もあればコンサルもあったり、データの活用方法の立案から任せたいところもあれば、データを集めるところからやらせたいところもある
この違いのせいで人によって言うことが全然違うというのは面接でも経験した

kaggleのような精度出しを重視するのは研究開発なのかな

grandmasterまでは少し時間かかりそうだから考えてしまう
ソロ金取れたからあとはチーム組みまくればさくっと取れるのかもしれないけど

2021/08/09(月) 11:36:38.45

>>873
今の会社のデータ分析やってる部署は機械学習の仕事は2割しかないらしい
古典的な統計手法がほとんどなんだとか
試しに社内公募で面接受けてみたら機械学習についてまったく質問されなかったから辞退した
業界はAIを活用し始めてるし会社もビッグデータを持ってるんだけど、そこの部長が機械学習に疎いようだから社外に出た方がよいと判断した

2021/08/09(月) 12:05:10.95

kaggleなんて初めて知った

2021/08/09(月) 12:34:48.65

>>877
まずはその部署で実務経験を積めばよかったのに。
機械学習プロジェクトでも古典的な統計手法は使うよ。

2021/08/09(月) 12:49:06.77

俺もそう思う
データサイエンスなんて実際は本当に泥くさい仕事だよ

2021/08/09(月) 12:50:30.94

>>879
いやまあそれだけじゃなくてあの部長とは反りが合わないと思った。

面接でケーススタディやらされたんだけど、こっちの解答が不正解で扱われたから模範解答を聞いてみて、
その模範解答間違ってるよと間違ってる理由を言ったら、間違ってないの一点張りで、根拠を聞いても今後の採用でも同じ問題使うから答えられないと。
いや出題ミス隠蔽のうえに間違った問題を使い続けるって…
人事に話したが俺の言い分は正しいように思うが人事は試験問題には立ち入れないんだと。何のための人事なんだか。

とりあえずこの人の下では働きたくないと思った。

今の仕事も統計関連ではあるから古典的な分析手法を異動してまで経験する必要はないかな。

2021/08/09(月) 12:51:41.18

>>880
どの仕事もそうだね。今の仕事もそうだから想像はつく。

2021/08/09(月) 13:48:53.19

>>868
kaggleのことよく知らないんだけどソロゴールドってどういう状態なの？

2021/08/09(月) 13:54:33.72

機械学習だけでなく古典的統計もちゃんとわかってる方が価値あると思うなぁ

2021/08/09(月) 14:43:49.71

皆さんが言う古典的統計って、計量経済のこと？

2021/08/09(月) 15:05:05.53

全く違う
そもそも古典的統計なんて言葉ほとんどつかわない

2021/08/09(月) 15:15:37.04

ナイチンゲール？

2021/08/09(月) 15:18:02.99

この発想はないわ、経済屋さんか？
>古典的統計って、計量経済のこと？

2021/08/09(月) 15:28:53.04

むしろ経済とは無縁の人の発想だろ

2021/08/09(月) 15:32:54.86

計量経済という言葉自体経済をかじってないとしらないだろ

2021/08/09(月) 16:07:47.57

古典的統計って単語でt値とかp値とか連想して質問してみました

2021/08/09(月) 16:29:06.17

p値や帰無仮説の類いは、統計分析で使われているが、本来は検定では？
古典的統計って、古典的統計分析の省略形？

2021/08/09(月) 16:48:39.03

そうなんです、私は仮説検定で育ってきて最近機械学習を勉強し始めたところで、二つの世界観の違いに少なからず戸惑っておりまして、漠然とした質問を投げて、何かヒントを頂けたらと思った次第です

2021/08/09(月) 17:14:20.50

機械学習でinsightを得て、統計的検定で確認するもんじゃろ
どこの現場もそうやっとるじゃろ?

2021/08/09(月) 19:50:41.35

その感覚がわからなくて。tks

2021/08/09(月) 19:55:34.56

tksとは珍しい略語を使うのう

2021/08/09(月) 21:20:56.44

古典的というのは別に用語ってわけでなくて比較的最近流行の的になっている機械学習以外の昔ながらのデータ分析手法という意味で言ったつもり。
セグメンテーションとか主成分分析とかいろいろあると思うけどデータ分析業界でどういう言葉が使われてるのか分からないので深く突っ込まず察してほしい。

ところでスレ違い申し訳ないけどひとつお聞きしたい。
皆さんとこのデータサイエンティストの女性率は何割くらいだろう？
うちの会社のその部署は部長(男)の下に4人の女性と3人の男性が所属していて、それぞれデータサイエンティストまたはデータエンジニアの肩書きが付いている。
しかしこの仕事を志望する人の大半は男性だと思う。ネットで調べても9割は男性だと出る。
意図的に女性を優遇して採用しない限り部署の過半数が女性になることは考えにくいと思うのだけど、この感覚は皆さんも一緒だろうか？

その部長はデータ分析部署立ち上げ当初から採用に関わっているらしい。
なんだかものすごく気持ち悪く感じた。合理的理由なく女性優遇してるとしたら法律違反でもある。

2021/08/09(月) 21:34:44.42

ベイズ推定勉強すれば

2021/08/09(月) 21:58:25.58

女性の割合をクォータ制とかで割合を決めたりするところもあるから違法とは言えないんじゃね？
海外では国会議員の割合とか会社役員の割合とかクォータ制導入してるとこもあるだろうし

人事のことは会社の人事権限を持つ人が決めることで
成果の責任を取るのも責任者になるはず
何故かそうならないこともあるけどな

自分のやりたいことをしたいのなら出世するか独立したら良い

2021/08/09(月) 22:04:18.62

成果は俺の物、失敗は部下の物ｗ

2021/08/09(月) 22:27:09.99

>>877
某メーカーの中で少し働いたことがあるがコテコテの統計学だったよ
それこそt検定とかF検定
しかも秘伝のタレと化した自前Fortranのライブラリを使わなきゃダメだった

2021/08/10(火) 00:32:57.08

>>897
＞しかしこの仕事を志望する人の大半は男性だと思う。ネットで調べても9割は男性だと出る。

そりゃ現状大半が男性で構成される環境を志望する女性はレアなんだから仕方ないだろう

2021/08/10(火) 08:47:35.51

>>901
秘伝のタレは継ぎ足していくもの。
改良されない数値計算ライブラリは、秘伝のタレではなく単なる化石？

2021/08/10(火) 13:51:45.49

>>903
社内の業務フローに組み込まれてるだろうから変えられないんだと思う
製品開発に直結するからね

2021/08/10(火) 14:48:04.03

>>904
並行して別のシステムを作っていけば
出来上がってから切り替えられるし
品質管理なら適用する製品を選べば良いように思う

例えば新製品は新システムで品質管理するとか

2021/08/10(火) 16:38:57.39

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/08/10(火) 20:17:47.53

まあ実際の仕事はkaggleで高得点出すことじゃなくて
kaggleがコンテストするためにやってるように、データ整備やコンテスト形式を整備する部分なんだよね。

2021/08/11(水) 08:52:04.34

rnnを試してるけど学習が安定しない
想定どおりに学習できることもあるしできないこともある
こんな感じだっけ？

2021/08/11(水) 09:57:19.51

>>908
いいえ

2021/08/11(水) 13:14:47.40

>>909
(o´･ω･`o)何が良くないんだろう

2021/08/11(水) 13:26:42.69

>>910
基本的な知識の得方

2021/08/11(水) 15:54:21.73

>>911
(o´･ω･`o)どう得れば良いの？

2021/08/11(水) 16:03:44.47

>>912
実は勉強するだけでいいんだ

2021/08/11(水) 16:07:34.59

先ずは全裸になります

2021/08/11(水) 16:20:47.36

学習データの選び方によって結果が異なるとか?

2021/08/11(水) 16:49:21.51

次に窓を開けます

2021/08/11(水) 18:15:56.01

うちは女性も多いってレスが無いところからするとやはり普通は男性が多そうだね。
転職活動してても女性は一人しか見たことがない。

>>899
人事に聞いた限りじゃそういうのはなさそう。今回の公募は応募者全員が男性だったそうな。
今回結局誰か採用したのかどうか結果は知らんが。

>>902
というより工学、数理、ITって一般的に女性より男性の方が得意だからというのが大きいと思う。
生物系以外の理系職はどれも男性が多いね。

>>907
いろんな会社に話を聞くと会社によってだいぶ違う気がする。
データ整備と分析で人員を分けていたり。
扱うデータの種類でも違うんじゃないだろうか。
例えば画像解析だと認識精度が重要である一方で精度を出せるスキルのある人は限られてそうで、
データ整備よりも精度を上げる仕事が重要になるんじゃないかと想像してる。
自動運転の研究なんかは日々精度を上げるための研究をしてるイメージ。知らんけど。

kaggleはホスト企業が精度を上げるアイデアをコンペを通して募集する場だね。企業からすればある種のクラウドソーシングでしょう。
だから入賞者には企業からそれなりの報酬が払われ、報酬を得るにはソリューションの説明が義務付けられてる。

2021/08/11(水) 19:23:33.11

>>915
あー、片寄ってるのかも。。。

2021/08/12(木) 15:53:15.16

テンソルの次元が間違ってた

2021/08/13(金) 10:22:01.47

nnで遊んでてどテンソルの次元が分からなくなることがあるんだけど皆さんそう言う苦労感じることはないの？

2021/08/13(金) 22:10:35.40

kerasだと間違わないけど生のtensorflowだとやらかし易いのかな

2021/08/14(土) 04:11:47.31

テンソルの次元を型として扱ってほしい時はあるよね
pythonだと型がふにゃふにゃだから仕方ないが

2021/08/14(土) 10:10:41.67

pytorch使ってるけど
fcに繋げるときに次元計算するの大変

2021/08/14(土) 10:15:40.32

LazyLinearがあるでしょ

**デフォルトの名無しさん** · 2021/08/14(土) 10:58:01.55

テンソルといえば、Python (つーかNumpy) の多次元配列が使いやすい上に速過ぎる

まあNumpyの線形代数ライブラリがC++とかでビルドされてるってだけだが、それにしても速い

問題が全部線形代数の言葉で記述される限りは、並のプログラマC++とかFortranでコード書くメリットほぼないね

2021/08/14(土) 22:58:37.25

NumPyは生のCPythonでの演算に比べて高速だけど、それでもボトルネックになり得るから、精度は落ちるがPyTorchのテンソルでGPUに計算させるね
CuPyというものも一応あるが

2021/08/15(日) 14:28:35.97

CPUよりGPUの方が速いっていうのはそりゃそうだろとしか
>>925とはレイヤの違う話

2021/08/15(日) 15:47:17.10

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンw

2021/08/15(日) 20:53:39.40

cupyはサイズが小さいテンソルだとcpuより遅いみたいだけど

2021/08/20(金) 12:10:40.90

方策勾配法で学習させたら累積報酬が伸びなくなったんだけどどうしたらいい？
https://i.imgur.com/JburTbf.jpg

2021/08/20(金) 12:49:52.15

>>930
状態の保持が間違っていたりする？
変な曲線になるんだよね。

2021/08/20(金) 20:03:47.74

>>931
ありがとう角度を三角関数で分解したり無理矢理スケーリングしたらなんとか学習進んでそうな感じする

2021/08/22(日) 04:03:30.28

Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています

Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます

Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ

なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？

Nimの実験的特徴
著者：アンドレアス・ルンプ
バージョン： 1.5.1
http://nim-lang.github.io/Nim/manual_experimental.html

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる

「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

2021/08/22(日) 09:13:36.46

>>1
kaggleやり始めた
全然順位上がらない😭

2021/08/22(日) 18:24:57.02

東京都のコロナ感染者数の予測をやっている人いませんか？

もしいるとして、どれくらいの精度ですか？

2021/08/22(日) 18:56:17.98

測定データに大きな偏りがあるため予測不能
なんか数字が出たとしても、誤差さえも見積もり不能

2021/08/22(日) 19:08:22.91

カコ習慣の平均とを使用するとか工夫すればある程度できるんでね？
でも予測ってどんなん？
出せても感染者の予想分布かな

2021/08/22(日) 19:09:10.38

過去1週間の平均等

2021/08/22(日) 19:12:35.97

統計の基本中の基本だけど
偏ったサンプルデータを分析に使うと
まともな結果は導けない

2021/08/22(日) 19:19:46.61

実務でまともなデータなんてあまり無いよ

そんなデータからなんらかの成果を出すのが腕の見せ所なんだけどね

2021/08/22(日) 21:24:36.63

そうだけど糞データではどうしようもない
後々面倒なことになる

2021/08/22(日) 21:47:00.98

Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています

Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます

Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ

なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？

Nimの実験的特徴バージョン1.5.1
http://nim-lang.github.io/Nim/manual_experimental.html

第二プログラミング言語として Rust はオススメしません Nim をやるのです
https://wolfbash.hateblo.jp/entry/2017/07/30/193412

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる

「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

2021/08/23(月) 11:25:28.32

optunaユーザーいる？
いまいちじゃないコレ？

2021/08/24(火) 14:58:57.23

>>935
コロナ感染者の予測を出したいなら、用いられた検査方法と検査キットの情報は不可欠
測定誤差が大きすぎ

2021/08/24(火) 16:23:56.10

回しかた足りないのかな？
3000じゃ足りない？

2021/08/24(火) 21:05:22.63

https://news.mynavi.jp/article/20210823-1954227/
東芝など、学習済みAIを用途やハードの仕様に合わせて展開できる技術を開発
2021/08/23 20:28

DNNのサイズをその重要度を見分けて削る事で
小さなエッジデバイス上でも性能を落とさずに
AIモジュールを動かすことができる、と

2021/08/25(水) 22:42:46.04

塩野義製薬　AI創薬技術によるマルチターゲットに対する創薬を目指した米InveniAI社との業務提携について
https://www.shionogi.com/jp/ja/news/2021/04/210428.html

塩野義、創薬研究における開発候補化合物の探索にAWSクラウドの利用を開始
https://classmethod.jp/cases/shionogi/

塩野義製薬、新型コロナ重症化抑制の候補薬で米バイオエイジ社と契約
https://www.nikkei.com/article/DGXZQOHD268OV0W1A120C2000000/

製薬業界の丸ごとAI化を目指す取り組み(LINC)が日本でスタート　塩野義、理研、京都大学、NEC等
https://news.mynavi.jp/article/20171013-okuno_vinas2017/

＞富岳スパコンを使った分子化合物シミュレーション
＞AI(機械学習)を使った、分子動力学計算の最適化　AIを使った分子自動設計　タンパク質立体構造の予測
＞知識ベース、過去の分子ビッグデータを整理し、解析、探索するデータサイエンス技術

2021/08/26(木) 08:54:20.20

ごめん、optunaちゃんとしてた

2021/08/27(金) 08:05:38.52

検定の考え方と機械学習(特にdeep learning)ではかなり考え方に差がある。

2021/08/30(月) 02:57:16.24

mecabより良い解析器って出てこないのかしらん？

2021/08/30(月) 09:31:33.03

mecabの何が不満?

2021/08/30(月) 11:41:39.31

sudachi

2021/08/30(月) 13:28:14.44

メカブは体にいい

2021/08/30(月) 19:26:51.33

>>951
使っている手法がcrfベースと古いから

2021/08/30(月) 20:53:05.50

>>954
手法が古くても必要な結果を得られたら問題無いんじゃね？

2021/08/30(月) 20:58:58.02

バイトペアエンコーディング全盛の今、形態素解析なんて時代遅れだよねと思いきや、Whole Wordなんて手法も出てきてやっぱり重要だっていうね

2021/08/30(月) 21:56:49.19

>>955
ビッグデータ処理してると数パーセントの精度の違いが大きく出てくるから
なるべく高精度のが欲しい

2021/08/30(月) 21:59:20.42

松尾研の要約システム、ひどいな

2021/08/30(月) 22:00:46.32

精度が売上に直結するならいいけど
弱い相関ならシンプルなロジック選んでしまうな

2021/08/30(月) 22:13:34.30

40年以上前から言われているけど
何文字以内、何行以下の要約というのは
あまり意味がない。必須な部分がかけてしまうかもしれないし
余分な部分が残ってしまうことがある

2021/08/30(月) 22:23:27.16

愚痴みたいになるけど形態素解析とかIMEみたいな古典的な分野ばっかやりすぎて
統計的機械学習やディープラーニングへの対応が遅れて
世界に取り残されたのが日本の自然言語処理のアカデミアってイメージ
アテンションやトランスフォーマーみたいな仕組みが
日本から出てこなかったのは悲しい