【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/06/10(木) 22:57:40.78

return pd.read_csv('../input/train.csv')[self.features]
の代わりに
self.xtrain= pd.read_csv('../input/train.csv')[self.features]
するとか

2021/06/10(木) 23:05:38.45

>>677
単純にクロスバリデーションの度に読み込み処理が入ってるからって事でしょ。

メモリ上に保持しとけばいいんじゃないの

2021/06/11(金) 09:46:57.34

kaggleってどれだけ実践的かな
インターンの子にやらせるにしては簡単？

2021/06/11(金) 10:05:31.38

インターンにKaggleをやらせる意味がわからん
ネットで悪評書かれそう

2021/06/11(金) 10:42:38.59

>>682
短期間で目に見える成果を期待できそうな課題、を考えるのって難しくない？

2021/06/11(金) 10:49:53.11

普通にバイトみたいな仕事やらせりゃいいでしょ

2021/06/11(金) 11:21:10.37

大学の講義でSignate使ったことあるしコンペはインターンにちょうど良さそう

2021/06/11(金) 11:34:53.28

期間とか実力とか人数にもよるからなんとも言えん

2021/06/11(金) 11:41:41.42

>>684
バイトにさせたい仕事もないんだよね
うちに来るのが間違ってるのかも

2021/06/11(金) 11:47:24.35

それならインターン生に何したいのか聞いてそれっぽいことさせてやれば満足して帰るでしょ

2021/06/11(金) 11:48:31.17

>>678,679,680
ありがとうございました！
ご指摘の通り、サンプルコードではクロスバリデーションのフォルダごとにCSVを再読み込みしていました。

2021/06/11(金) 12:24:01.91

>>687
Kaggleは自宅でもできるからなぁ
せっかくだから泥臭いデータ抽出とか体験してもらえば？

2021/06/11(金) 12:31:22.49

Darknetでも渡しておけば良いのに

2021/06/11(金) 13:27:39.05

>>690
なるほどね
汚いデータはある

2021/06/11(金) 14:58:37.35

普段から業務時間の一部を使ってコンペやってるような企業が社員と組ませてコンペやるなら意味あるかもしれないけど
そうでないならインターンでやることか？と思ってしまう

2021/06/11(金) 15:10:54.60

>>693
もっともだと思う

2021/06/11(金) 16:32:54.05

バイトにはクソ汚い前処理をやらせるのがいい
SQLとかデータベースとかまともに勉強してないだろうから
その辺の処理が1番良いと思うね
まずはSQLですよ

2021/06/11(金) 21:02:46.31

この業界でバイトにできる仕事ってあるのかな?
タグ付けぐらいかと思うけど

2021/06/11(金) 21:48:27.03

>>696
モデル作成はできる学生いくらでもいるから十分バイトでいけるよ
実際うちの会社でも学生バイトに投げたことある
むしろ抽出や前処理のほうが社内システムやドメイン知識が必要で難しいんじゃないかな

2021/06/14(月) 21:09:17.24

多次元データをクラスタリングするとき脳死でtSNEしてDBSCANしてるんだけど他にオススメないですか

2021/06/15(火) 11:44:37.99

tsneすると、お花みたくなって綺麗だからスコ

2021/06/15(火) 12:36:02.30

可視化するために使われる事が多いのであって
次元削減したら逆に適切な分類が難しくなるんじゃね？
分類するための重要な次元の値が次元削減で他と混在して分類に使えなくなる

2021/06/15(火) 12:57:04.03

可視化以外に解釈にも使うからなぁ
人間が解釈しやすいカテゴリ分けができるくらいまで次元数落とすのが理想かな？
どんな変数が潜在しているかアタリをつけるのが腕でもある

2021/06/15(火) 13:03:08.02

>>701
自分は解釈しやすくするのは広い意味での可視化、見える化だと思う
可視化という言葉の解釈しだい

2021/06/16(水) 06:52:37.95

今更ながら青木先生の統計学サイトのPythonライブラリで遊び始めた
とりあえず全機能動かすか

2021/06/16(水) 17:28:54.92

【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 [孤高の旅人★]
ttps://asahi.5ch.net/test/read.cgi/newsplus/1623831843/

松尾豊？

2021/06/16(水) 20:29:05.96

松尾なら許す
銀髪インチキ野郎なら許さん

2021/06/16(水) 23:21:00.05

松尾さんはそういう役目だろうから仕方ない

2021/06/17(木) 04:15:49.22

完全に＼(^o^)／オワタ

2021/06/17(木) 04:29:12.94

【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 ★2
https://asahi.5ch.net/test/read.cgi/newsplus/1623869608/

2021/06/17(木) 05:36:44.15

>>705
誰？

2021/06/21(月) 11:41:32.31

青木氏のサイトのPythonコードはとりあえず200くらい紹介されてたものを動かして使用例なんかも見たが
「じゃあすぐこのデータにふさわしい統計指標を算出出して」っていわれると現状では
30分以内に解決できない理解度だなあ
3時間なら選び出せるか

慣れるのに数ヶ月掛かるな

**デフォルトの名無しさん** · 2021/06/21(月) 11:48:19.01

前時代的な学び方と言うより他ない

2021/06/21(月) 12:51:57.23

>>709
最近テレビによく出てる宮田さんじゃね

2021/06/21(月) 18:59:28.26

>>712
宮田裕章って人？
初耳～

2021/06/21(月) 20:20:28.22

>>713
たぶん

2021/06/22(火) 11:57:05.13

>>714
松尾某と同じく業績はともかくメディア対応が上手いのかな

2021/06/22(火) 13:50:53.19

風貌はいかにもAIやってますーって感じ

2021/06/24(木) 14:20:39.68

福島邦彦の記念講演やってる

nhk前所長の発表、聞き取りづらい

モソモソ言ってて分からん

2021/06/24(木) 14:53:38.55

柳井ってキモいな

2021/06/25(金) 18:15:12.09

三宅陽一郎が論文の賞取ったけど
どうよ？

**デフォルトの名無しさん** · 2021/06/25(金) 19:15:43.90

アカデミアと縁ないとこにいるくせに表彰の類に物申したがるの良くないよ

2021/06/25(金) 20:03:31.46

これ論文なのん？って印象だったからどうなのかなって

2021/06/26(土) 08:15:16.06

deeplに遊戯王カードのテキスト読み込ませたらなんか全体的に遊戯王調の翻訳になってしまった
クセの強いデータが混じると全体の精度が落ちるな
クセの強いデータを除外するAIを開発しないと

2021/06/26(土) 08:30:46.85

なんでそんなこと起きるの？Deeplで。

2021/06/26(土) 13:25:12.54

三宅陽一郎という名前は、どこかで見たと思ったけど、

マイケル・ディックハイザー「ゲームプログラマのためのC++」2011 の監修か

2021/06/26(土) 17:09:34.51

ゲームのAIってはっきり言って今言われてるAIとは別物
どちらかと言うと古典的なものだよ

2021/06/26(土) 17:34:46.32

で、非エンジニアや非研究者が思い描く (SFで描かれる) AI は更にまた別物っていう

2021/06/26(土) 18:43:38.31

AI（線形回帰）

2021/06/26(土) 18:55:40.50

思考をプログラムで実現することで
記憶、比較、試行、検索、情報処理
こういう多岐にわたるものだから
違うものとは思わない
なんとかAIという表現で区別してるけども

2021/06/27(日) 09:58:00.20

プログラム＝論理的
AI＝抽象的
と定義できるけど、抽象表現も細分化すればブール論理×確率で表すことが出来てしまう

2021/06/27(日) 13:39:55.67

AIは人工知能で定義が広いからなんでもAIと言えてしまう
人が作った知的な操作とかをするものだったらなんでも当てはまる
知的の程度は色々あるけどその辺は決まってないだろう

2021/06/27(日) 18:58:00.15

あたしゃ認めないよ
ゲームに実装されてる奴はaiでもなんでもない

2021/06/27(日) 19:22:23.28

人工知能の定義はあるよ

2021/06/27(日) 19:52:46.62

aiを信じられない人よりは幸せ♪

2021/06/30(水) 08:08:58.43

一般人の思うAIってあれでしょ
脳ミソのマークに点とノードが描かれてるよくあるあのイラストの感じでしょ知らんけど

2021/06/30(水) 08:10:16.44

ノードは点だわ俺もバカだった

2021/06/30(水) 08:32:50.26

AIに知性を吸い取られたなw

2021/06/30(水) 11:32:34.97

点と点が大きな点になる

2021/06/30(水) 12:24:28.84

>>737
深いな

2021/06/30(水) 12:52:25.52

点は面積0では？

2021/06/30(水) 18:08:27.18

GitHubにソースコードの「続き」を自動で補完する機能「GitHub Copilot」が登場
OpenAIとAzureの協力により実現
https://gigazine.net/news/20210630-github-copilot/

きたぞ

2021/06/30(水) 20:17:44.64

またOpenAIかすげえなぁ

2021/06/30(水) 20:21:20.13

どのくらいきれいに生成されるんだろうね

2021/06/30(水) 23:00:58.15

全て削除しておきました

2021/07/01(木) 13:46:18.57

>>739
測度論的にはそうだね

2021/07/06(火) 12:03:11.04

人間の脳に未知のシグナル送信経路があることが判明 https://karapaia.com/archives/52303631.html

本当かどうか分からんけどちょっと面白い

バックプロパゲーションじゃない方法も出てきてnnはまだ進歩するかな

2021/07/09(金) 15:19:16.69

久々に日本から面白い論文が出たけど日本人がいない。。。
https://arxiv.org/pdf/2106.14843.pdf

**デフォルトの名無しさん** · 2021/07/09(金) 17:57:25.72

全ての論文、プレプリントに目を通してるかのような口ぶりはやめてくれ
会社またはMITまたは東工大または東大に所属する3人の著者が日本人を含まないという極めて普通の状態がさも特殊であるかのように語るのをやめてくれ
中身に触れずに「面白い」と言うのは何も語ってないに等しいと気付け

アカデミアに縁ないんやなあって

2021/07/09(金) 18:54:56.38

アカデミアにえんあってすごいですね

2021/07/09(金) 18:59:04.34

ヒーローアカデミアに縁があるのか、サイン貰ってくれ

2021/07/09(金) 20:12:33.67

>>747
カリカリしてて草

2021/07/09(金) 20:35:59.03

YORORすげーなぁ

2021/07/09(金) 20:43:06.84

arxivのPDFに直リン張る奴とは仲良くなれない

2021/07/10(土) 00:26:35.17

なにはともあれこの論文は面白いな

2021/07/10(土) 00:46:16.15

私は、MBAを取るために、ハワイにある伝統的なビジネススクールに通っていたとき、どこかの大企業で
働く中間管理職が教えるマネジメント「論」や経済「論」を学ぼうとしている自分に気付いた。
ビジネス経験のない先生は、学校制度の外に一度も出たことがない人だ。
つまり彼は、5歳で幼稚園に入ってからずっと学校制度の中にいるにもかかわらず、学生たちに実社会に
ついて教えようとしていることだ。とんだお笑い草だと思った。
講師陣や中間管理職や教師のほとんどは、ゼロからビジネスを立ち上げるのに何が必要なのかについては何も知らなかった。
ロバートキヨサキ「人助けが好きなあなたに贈る金持ち父さんのビジネススクール」P６２～６３

2021/07/10(土) 11:01:28.89

チラシの裏にでも書ておけよ

2021/07/10(土) 11:10:05.91

bert本のイベント見たら自分の提案手法じゃなくて応用をやってるだけなのに仲間内で誉めあってて日本のアカデミアは駄目だと思った

福島先生やら甘利先生みたいなのはもう出てこないのか

2021/07/10(土) 17:44:00.49

お前がママになるんだよ

2021/07/10(土) 18:44:42.03

それは私が20年前に発見した、甘利

2021/07/10(土) 19:50:36.98

機械学習分野を本気で極めたい人は大学などに残らずとっとと大手グローバル企業に行く
その方が金もデータも桁違いだから
そういう所に行けなかった人が仕方なく大学に残っている印象

2021/07/10(土) 20:02:52.89

bert本売り切れてるんだが

**デフォルトの名無しさん** · 2021/07/10(土) 21:24:32.86

>>759
「グローバル企業」とやらが出した論文でやってみた系じゃないものってあるの？
新手法を作ってるのも物理の言葉でMLを説明してるのもアカデミアじゃん

2021/07/10(土) 22:12:19.75

アカデミアとやらがはしゃいでるBERTはGoogleが作ったんでしょ

2021/07/11(日) 00:42:47.94

>>761
トップカンファレンスの論文に少しでも目を通したことがあればそんな見解にはならないはずだが

2021/07/11(日) 00:46:59.90

まあ日本の学会は全部しょーもないよ
俺もだしたことあるけど
なんか自分の専門分野以外はよくわからないし
興味も持たれない感じ
かと言って商業寄りの話はスルーされる感じ

2021/07/11(日) 11:11:05.10

>>761
日本のアカデミアはなんにも証明してないぞ
やってみた系ばかり

2021/07/11(日) 12:21:03.03

https://pbs.twimg.com/media/E5maUdCVUAQ5uG8?format=png&;name=large

2021/07/11(日) 16:21:15.31

日本のアカデミアは逆に数理的な論理だけで実際のアルゴリズムとあまりに乖離した理論だけのものが多いわ。
PFNの Spectral Normalization はそういう意味じゃ相当例外的な結果だと思う。

2021/07/11(日) 17:12:41.04

今さらかもしれんが、BERTの事前訓練てみんな何GBくらいの日本語データでやってるの？

2021/07/11(日) 18:11:26.19

>>767
統計数理なんとかや情報学なんとかは理論が多いイメージ

2021/07/11(日) 18:17:17.14

fbはやってみた系が多い印象

2021/07/14(水) 11:30:20.54

fbのnlpは提案系が多い

2021/07/16(金) 19:08:30.21

>>766
なんで

2021/07/19(月) 11:33:23.50

scikit-learnをproductionレベルで使う人はいるの？

2021/07/19(月) 14:18:58.09

>>773
むしろ何故使わないと思ったのか

2021/07/19(月) 14:31:07.73

>>774
学習用かなと思ったの

2021/07/19(月) 14:48:30.86

>>775
そんなことないんだよ
でもまぁ、名前がね

2021/07/19(月) 17:46:13.87

machine learningの "learn" じゃないの？
ロジスティック回帰みたいな簡単なモデルで済ませるときは便利よね

2021/07/19(月) 18:06:16.98

Pipelineなんかもscikit-learnが標準となっているし
実務では利用するんだけど
最近は代替品で便利なものがいろいろあるので、使い所さんが減ってるね

2021/07/19(月) 18:59:04.55

>>776
thx