【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/04/16(金) 12:38:05.85

>>1
データ少ないときは深層学習じゃない方がいいの？

2021/04/16(金) 13:24:48.08

データが少ない時は決定木系でいいよ
特にテーブルデータ

2021/04/16(金) 14:17:37.95

機械学習は機械的に学習できる手法の総称でしかないので何でもあり

2021/04/16(金) 20:19:06.10

>>361
k-means はあらかじめクラスタの個数は指定しないといけないから、クラスタの個数がわからない状況では無力ですよ‥‥

2021/04/16(金) 21:52:50.72

何を当たり前のことを…

2021/04/16(金) 22:11:22.27

しっ、よしなよ
めちゃ早口で言ってるじゃん

rubyガイジ引き込む前兆だよ

2021/04/17(土) 00:53:32.90

まあしかしk-meansとかのクラスター分析ってなんか意味あんのか？って思うことはよくある。
教師なしでもPCAなんかはまだ使い道わかるけど。

2021/04/17(土) 03:24:44.86

SOM & GAN 　gaaan

2021/04/17(土) 04:06:51.97

クラスター分析は深層学習以前の統計解析が主流だった頃のNLPでよく使った。
よく使ったのが、大量の学術論文をベイズ分類器でテーマ別に分類して、分類後の
集合をさらにクラスター分析で類似文書ごとにまとめるというもの。
クラスター分析は、BOW的なデータ構造であればなんでも自動分類してくれるので
例えば画像ファイルからカラーヒストグラムを生成して、色分類ごとの色強度のデータ
ファイルを作れば、画像分類とかもできたので面白かった。
あと、クラスター分析とは違うが、最近、誰かがNLPにおける教師なし学習の
新潮流について触れて、例えば、よくあるワードベクターの2次元マップ(Word embedding)
を作り、英語とドイツ語のマップを重ねると英語とドイツ語の対訳辞書を自動生成
することも可能になるはずとか話していた。教師なし学習で対訳辞書みたいなものが
自動生成できるかもしれないという考え方は斬新だなと思った。

2021/04/17(土) 04:15:57.29

>>373
応用例を知りたいの？

2021/04/17(土) 11:10:35.27

>>373
類縁グループを定量的に調べられるのなら
分類とかだと非常に有効だね

2021/04/17(土) 12:00:18.35

k-meansとかのクラスタリングで
正常クラスタ群と異常クラスタ群に分けられる？

過去に異常検出した時のデータと正常データを区別できるようにしておいて
クラスタリングを繰り返して上手く正常と異常に分かれるクラスタ数を見つける

新たになデータが各クラスタのどれに属するか判定して
異常クラスタに属したら異常の可能性があるから
調べるとか運用停止するとかの対処をする

2021/04/17(土) 13:21:11.85

いや、分類ってそれなりの分類の尺度をユーザーが決めるから意味あるんじゃねーの？
機械学習的に分類しても、で？っていう気にしかならんのだが。

2021/04/17(土) 13:27:16.40

>>379
よく問題になるのは生物の分類だね
分類から主観を取り除くことが出来る

主観こそが大事と考える文系の為政者、経営者にとっては
邪魔な時がある

2021/04/17(土) 13:31:51.20

ある種の外れ値を認識する方法としては意味ある時もあるか。
主観がどうとか言ってるのは全く的外れにしか思わん。
逆に主観とのある種の一致性を無駄に主張する道具には使われてる印象だが。

2021/04/17(土) 13:45:29.23

外れ値は外れ値だけ正常値は正常値だけ近くなるような距離関数選んで
dbscanにかけろよ

2021/04/17(土) 13:51:53.23

コンドルはワシタカ目(もく)なのかコウノトリ目なのか
とか
フラミンゴはコウノトリ目なのかガンカモ目なのか

とかを骨格とか卵白のアミノ酸配列などに注目したりとか
色々指標を変えて学者が二百年も言い争い続けて、

結局はDNAの塩基配列をクラスター分析したら、
https://ja.wikipedia.org/wiki/%E9%B3%A5%E9%A1%9E#%E7%8F%BE%E7%94%9F%E9%B3%A5%E9%A1%9E%E3%81%AE%E7%9B%AE%E5%88%86%E9%A1%9E
コンドルはコウノトリに近いんだよ～って20年前の自称鳥類物知りが語ってたのに
結局ワシとかに近い方に入れられてしまった

2021/04/17(土) 14:41:09.11

>>383
で、その分類を誰がどう使うんだ？
そこで「正しい」とか主張することになんの意味があんの？
ってところを全く考えてなさそうな頭の悪さが見受けられる。

2021/04/17(土) 14:43:54.03

そう。。。

2021/04/17(土) 15:08:57.10

>>384
ある論争があった学問分野に
1つの解を与えた(これで解決したとは言っていない)
というだけでも恩恵はあるんじゃないかな

2021/04/17(土) 15:11:19.78

>>384
頭大丈夫か？

2021/04/17(土) 15:20:42.83

どのレベルで「客観的な分類なんて要るのか？」
と言いたいんだろうと思ってたが
古典的な哲学寄りの煽りだったのか

2021/04/17(土) 15:22:02.38

自分の頭が大丈夫かどうか
それは誰にも分からない
腹が減ったのは分かる

2021/04/17(土) 20:52:47.18

人間の恣意的な分類より
体型的で規則的な分類の方が個人による分類の違いがでないから分類結果の共有に間違いが少ない

2021/04/17(土) 22:10:48.61

サイボウズ青野社長が目指す「100人100通り」の働き方実現
https://www.nikkan-gendai.com/articles/view/money/228305
初公開！　サイボウズの自由すぎる働き方はこんなやり方で管理されていた
https://cybozushiki.cybozu.co.jp/articles/m005338.html
どうしてサイボウズは、働き方を変えられた？
「時間」と「場所」の制約がない多様な働き方
https://toyokeizai.net/articles/-/17941
サイボウズの働き方改革事例（前編）
「働き方の多様化」へ、その歩みはトップの覚悟からはじまった
https://ws.zxy.work/case/171/
サイボウズの働き方改革～働き方の多様性がチームワークあふれる会社を創る～
https://jinjibu.jp/article/detl/eventreport/2172/
サイボウズはなぜ自由な働き方ができる？　ーインターンが見た裏側には、ツールと情報共有があったー
https://www.wantedly.com/companies/cybozu/post_articles/311667
働き方先進企業が警告「パワハラ的な日本企業は在宅勤務で沈む」
https://business.nikkei.com/atcl/gen/19/00189/092800012/
「働き方を自分で選ぶ」時代へ。その多様性が責任になり、パフォーマンス向上につながる。
https://www.nice2meet.us/talk-cybozu-hr.html

2021/04/17(土) 23:03:07.99

>>370
https://qiita.com/deaikei/items/11a10fde5bb47a2cf2c2
エルボー法でも使ってみてくれ

2021/04/18(日) 01:15:06.95

機械学習で分類するには分類基準をまず人間が与える必要がある訳でそれを客観的と言えるのか

2021/04/18(日) 03:01:48.20

客観的である必要はない。
人間にとって分類しやすいかどうかのがよっぽど意味があるというのに。。
分類をなんのために行うのかさえわかってないでk-meansで出ましたとか言ってるバカは
機械学習とかやめてほしいわ。印象を悪くする。

2021/04/18(日) 03:53:49.04

>>392
全く手段がないというわけではないんですね‥ありがとうございます

>>392
ＵＲＬ内結論コメント
＞＞現実のデータを使ってエルボー図を書いてみると、上記のような「綺麗なヒジ」はなかなか現れない
＞＞言いたいことはエルボー図の時と同じだ！！！

2021/04/18(日) 09:08:11.82

https://qiita.com/futakuchi0117/items/6f444ea1596506fafe5d
x-means法が既にあるね

2021/04/18(日) 09:46:42.30

>>394
自然科学は自然を理解するモノだから
人間の考えより自然の方が正解

対象によって何が正解かは違ってくる
人間の都合で良いものは人間に合わせたらいいけど
自然科学は自然が正解
実験結果とか実際と差があるなら人間の仮説の方が間違いだから修正する

2021/04/18(日) 09:55:52.80

元のデータ空間のままでk-meansが上手くクラスタリングできない場合は
別の空間に移してからクラスタリングすると良いかもしれない
DNNも入力に近い層で空間を移していると解釈する人もいるし
どんな写像にするかをデータから学習していると考えられる

中間層の出力を使ってクラスタリングすると上手く分けられるようになっているかもしれない

2021/04/18(日) 11:49:56.96

測定誤差や間違いを多く含むデータを利用し、人間の主観が入った機械学習を利用している時点で…

2021/04/18(日) 13:36:27.79

その測定誤差を低減する上で必要な基礎知識って大学のデータサイエンス課では教えてなさそう
https://www.ds.shiga-u.ac.jp/about/ds/curriculum/

ジャンル的に工学部の履修内容だからか？

2021/04/18(日) 17:14:46.61

どんな手法でどんなデータを計測するかということを設計する時点で設計者の主観が大いに入り込むことを理解できずに
データだけから判定を下すのだから客観的だろと言っている自称DSが多過ぎる

2021/04/18(日) 20:04:19.08

>>397
クソ馬鹿野郎は黙っててくれ。
物理においても人間の主観を蔑ろにするようなバカは話にならん。
量子力学も相対性理論も厳密には正しくないニュートン力学にどのような意味で帰着されるか
厳密に考えてる。
そういうことをまるっきり理解していない輩は消えてくれ。

2021/04/18(日) 20:21:19.55

そう。。。

2021/04/18(日) 21:38:13.62

GeForceの新規生産をCUDA動かない新verに切り替えるらしい噂
マイナー相手に争奪戦で勝てる気が全くしないw

2021/04/18(日) 22:09:58.07

>>404
CUDAが動かなければGeForceの意味がない。ディープラーニングでもゲームでも使い物にならない。CUDA性能を維持してマイニングに使えなくするのがマイニング対策済30x0では？

2021/04/18(日) 22:16:31.16

>>404
それはマイニング制限とは別の話？CUDA使いたければTesla買えとか？

2021/04/18(日) 22:17:55.90

Tensorコアだけじゃどうしようもないからなあ

2021/04/18(日) 23:13:01.66

>>402
人間の主観じゃなくて観測する側の状態じゃね？
主観だと観測する状態は同じでも人によって違う結果になる
そうするとどんな値でも間違いではなくなる

2021/04/18(日) 23:13:58.56

>>399
測定誤差は正規分布に順うとしたら誤差の平均値が判るからその値を調整したらいい

2021/04/18(日) 23:14:17.97

フィッシャーの三原則とかある

2021/04/18(日) 23:15:20.18

>>401
主観が出来るだけ入らないように実験計画するんじゃないの？
主観を出来るだけ入れるように実験計画する？

2021/04/18(日) 23:21:52.89

量子論の不確定原理なら人間の主観とか関係なく不確定なんじゃね？
不確定だとしても確率的には値の差があるだろうから9割はこの範囲の値とか決まるだろうな
どんな外れ値でも確率ゼロではないから絶対に間違いとは言えないけど観測される頻度は稀になるはず
それよりも大きな頻度で観測されたら仮説の方が間違いなのは変わらない

2021/04/18(日) 23:35:52.79

>>412
主観入りまくってますがなw

2021/04/19(月) 00:16:28.58

>>409
正規分布という名前が悪すぎます、ガウス分布でいいのです
ガウス分布は数ある誤差分布の one of them

2021/04/19(月) 00:49:42.58

>>412
現象を説明する為にモデルを当てはめる時点で主観入ってる

2021/04/19(月) 09:16:49.17

All models are wrong, but some are useful.

2021/04/19(月) 09:31:02.90

>>416
誰の言葉？

2021/04/19(月) 09:32:33.96

F=G*m1*m2/r^2

2021/04/19(月) 09:35:52.97

George Edward Pelham Box

2021/04/19(月) 10:50:45.42

ニュートン力学は間違ってる(厳密には正しくない)から使えないとか言い出すやつは頭悪いだろ。

2021/04/19(月) 11:20:30.03

スレタイ読めないやつと比べてどっちが頭が悪いの？

2021/04/19(月) 14:28:49.64

>>421
スレタイと関係ないと思っちゃうのか。。そりゃ頭悪いな

2021/04/19(月) 14:37:35.07

>>422
どう関係するの？

2021/04/19(月) 17:58:53.25

>>404
CUDAを動かなくする、という情報は少なくとも自作板では見つからなかったな

2021/04/19(月) 19:34:04.83

>>417
ロジャーペンローズが似たようなことを言っている

2021/04/19(月) 20:34:22.39

人間が考えるなら主観が入り込むというなら全てに主観が入り込むことになる
つまり主観という点では差がない

出てくる成果には現実を上手く説明できるかどうかの差が生じる
より現実を説明できる成果は単なる個人の固定観念とは違う価値のあるもの
現実と合致する程度が高い成果は一個人の主観とは言えない程に質が変わる

2021/04/19(月) 21:20:07.15

主観的か客観的かは重要ではない
どれだけ客観的な手法を構築したとしても予測精度が低ければ使い物にならない

2021/04/20(火) 07:24:15.31

>>420
君は>>416の英文をきちんと理解できてるのかな？

2021/04/20(火) 08:08:47.60

新卒で機械学習エンジニアになったけどGUIで学習するツールが導入されてて、マウスポチポチするだけでお仕事になるの納得行かない

2021/04/20(火) 08:10:50.56

単なる作業員になったらその内捨てられる

2021/04/20(火) 08:20:33.94

>>430
そう、危機感を感じている。
データサイエンス協会の人たちに「ライブラリが使えるだけじゃダメ、数学頑張れ」って教わってきたからモヤモヤする。
ツールでだめだったら即諦めってのも悲しいところ

2021/04/20(火) 08:55:31.90

>>429
どこのシステム？

2021/04/20(火) 09:05:48.17

ファインチューニングすらしないでいいとか羨ましい

2021/04/20(火) 09:49:15.80

データの仕事するなら数学よりコンサル力が重要
もしくはWeb分析や製造管理などドメイン知識を学んで特化するかだな
技術系でいきたいならクラウド使って基盤から自分で作れるようになれば引く手数多
最適化エンジニアは自動化されて終わるよ

2021/04/20(火) 11:59:17.59

メーカー研究開発やってるけど機械学習に対する敷居はここ数年で大きく下がったね
GUIツールなら実験系の人でも普通に使ってるし
データサイエンスに加えて、それ以外の専門を持たないと厳しいね

2021/04/20(火) 18:16:49.45

>>432
会社バレしたくないから言えないですごめんなさい

>>434
Web分析やりたいなぁ　スクレイピングさせてもらえるなら楽しいだろうな
>>435
ドメイン知識大事なのはわかる
世の中の全員が機械学習できるようになったらとても楽しい世の中になると思う

2021/04/20(火) 18:27:49.71

>>436
特殊なシステムか。。。
ソニーの奴辺りを使ってるかと思った

2021/04/20(火) 22:42:35.89

>>435
というか、専門分野を持たない統計屋が成り立ってる現状が疑問
数学をさらに極めているアクチュアリーでさえ、金融工学等でスキル補強してる

2021/04/20(火) 22:59:27.20

だからデータサイエンス学部とかちょっと心配になるね。

2021/04/20(火) 23:09:28.18

データから突き詰めていけば
その領域の構造も見えてくるんじゃないの？

予備知識として知っておいた方が良いけど
先入観とか思い込みで新たな発見を阻害しているかも

2021/04/20(火) 23:58:44.60

データから突き詰めて、分かった事実の99%は、その領域の人間にとって、何を今さらって言うレベルの常識なのが現実

2021/04/21(水) 00:26:38.44

それでも需要があるのは何故？

2021/04/21(水) 04:57:56.95

（１）マーケティングの成功　（ただ単に運がよくはやれたってだけかもｗ）
（２）１％に賭けてるところもあるかもしれない　（薬系なんかは特に）

2021/04/21(水) 09:27:01.32

いわゆる「暗黙知」の問題を解決できるから
例えば、初心者に対して説明しやすい
あまりにも当たり前だと思い込んでしまっていることは
そもそも話そうとすらしない

2021/04/21(水) 15:29:43.27

それも現場では当たり前だから話そうともしないけどね。

2021/04/21(水) 16:39:38.54

データサイエンス学部って企業と組んでむしろゴリゴリドメイン細分化してなかったっけ
DS実用化の観点からは正解にも見えるけど

2021/04/21(水) 16:58:44.66

企業と組むっていってもデータ渡されてモデル作るだけでしょ
少なくともうちの会社と大学の共同研究はそう
そんなもんKaggleと大差ないよ

2021/04/21(水) 17:10:53.01

ほんまやね
新しい学部だし企業でもないからそこまで深くコミットすること出来ないんでしょね

2021/04/21(水) 18:06:22.19

基礎だけ教えるだけでしょ
あとはpythonかrあたりを習わせて

2021/04/21(水) 20:54:12.98

リコメンドとかは個人毎に人がやるのは作業時間的にむりなんじゃね？
作業時間は人件費、コストになる
売上アップ分より少ないコストで実現できれば投資する価値がある

2021/04/21(水) 21:00:23.59

当たり前と思われている事も
具体的にどの顧客やケースに適用できるかは
勘でしかわからなかっただろうから
担当者毎に違う判断をすることになる

ある担当者は知見を使えると考えるけど
別の担当者は知見を使えると考えない
その知見が明確に認識されていなければ組織内で共有もされていないだろうから
経験の浅い担当者はその知見があることすら認識していない

知見を可視化する事は共有可能になるし
組織全体の成果の底上げにつながる

2021/04/21(水) 21:22:24.85

一般論としてはその通りだけど、実際の仕事では一般論じゃなく個別の課題に対して何をどうすればどう効果があるのかを説明できなきゃいけない
容易に想像できる通り、そのためには最適化より重要なスキルが山ほどある

2021/04/21(水) 21:58:18.31

解くべき問題を探し回って捻り出さなきゃいけない時点で相当なハンデなんだよな
普通のソフトエンジニアリングだったら、解くべき問題なんてそこら辺の事務のおばちゃんに聞けばいくらでも出てくるだろう
逆に言えば解くべき問題を見つけられる人間に希少価値があるとも言えて、だからコンサルの飯の種としては最適だ
一方で解く側の人間にとってはパイの小さな分野だと言える

2021/04/21(水) 22:49:45.31

今の世界中の課題は新型コロナ
データサイエンスで何ができるか

2021/04/21(水) 22:51:36.83

少し前に目の結膜か何かをカメラで撮ると感染しているか判別するAIアプリのニュースがあったな
役に立つのか知らんけど

2021/04/21(水) 22:55:35.42

ガンとか他の病気も早期発見できたら役に立つと思うけどな
トイレの便器にセンサーつけて異常検知するとか言うニュースもあったな

コロナ禍でストレスかかってる人が増えているとかも聞くし
早く検知して対処できたら良いんじゃね？

2021/04/21(水) 23:33:54.27

普通のソフトエンジニアリングでも、データドリブンな開発というのはこれから重要になっていくと思うけどな。
その辺のおばちゃんが言ってることをデータを収集して分析して、本当なら改善すればいいし単に特殊例でそうなっただけならスルーすればいいし。
定性的な開発で済む場合もあるけど、定量的な開発ができることで業務改善できる分野はいっぱいあると思うよ。少しでもそういう見方で意味論をある意味捨象して数値で評価しようとする立場の人間が増えることはいいことだと思うけどな。
まあ、数値の評価ってのはいかようにも出せるので、文系的な議論がしっかりなされた上で数値的な評価で裏付ける、というのがよいと思うけれど。

2021/04/22(木) 02:31:03.78

事務のおばちゃんを例に出すまでもなく、ソフトウェア・エンジニアリングはマネタイズの方法がたくさん開発されてて実績も豊富
DS分野でいうとBI導入が流行ってるのもマネタイズの分かり易さからでしょ

2021/04/22(木) 08:38:37.02

ソフトウェアエンジニアリングとかソフトウェア工学って
ソフトウェアを作るときにバグをどうやったら少なくできるかとか
生産性を上げるにはどうするかとかそう言う分野のことを指すんじゃね？

ソフトウェア事業とかソフトウェアビジネスって言った方が良い

2021/04/22(木) 08:57:06.72

>>459
正解

2021/04/22(木) 09:30:40.56

マネタイズできてるのはかなりの規模で使われた場合ばっかだろ。
中小や受託案件なんかは全く関係ないわ。

2021/04/22(木) 14:18:43.57

>>454
むしろ、コロナ騒動でデータサイエンティストの無力を実感

・国や地域によって患者・重傷者・死者のカウント基準が異なる
・陽性と判定するCt値も同様に定まっていない
・PCR検査以外の感染者の検出方法ほぼ全てで擬陽性が多分に含まれる手段を用いている

データとしてゴミだらけで統計以前。
これらに問題提起をして的外れな対策に意見すべきであった

2021/04/22(木) 14:42:04.01

検査数(当日)と患者数(2日前)とか
そこからかよ。みたいな

2021/04/22(木) 18:30:59.89

>>462
所詮雇われ屋しかいないしな
まともな予測出したのって北海道の免疫学の教授とGoogleくらいでしょ

2021/04/22(木) 19:26:43.57

頼れそうなデータは重症者と死者数なんだが
死んだときに感染していればカウントするそうだから
データとしては「かなり」多めに出るな
誤差さえわからない

2021/04/22(木) 19:47:09.32

「重症」の定義が国によってばらばらなんだが

2021/04/22(木) 19:47:48.04

＋日本の新規感染確定＠PCR分てのは保健所分だけ公表で、医療機関独自系は非カウントなう