【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/06/08(火) 16:14:58.02

虹に赤紫が無いのは判ったけど
色相環で言うとH=0-290あたりまでが虹？
290-360が無いってこと？

2021/06/08(火) 17:46:42.71

>>643
最初に答えた人はどうか知らんが、>>617ではスペクトル分布なんか考える必要なく単一の波長を測定できるようなニュアンスのことを言っていたので突っ込んだだけ

2021/06/08(火) 18:10:03.41

Outlier（外れ値）推定って、どの程度まで精度を上げられるもん？
ランク学習が効果的という断片的すぎる情報を聞いたけど、どう応用すればいいか解らん

2021/06/08(火) 18:31:37.75

>>649
まずは外れ値の定義を決めた方がよさそう。
どんな問題を扱ってるの？

2021/06/08(火) 18:59:28.01

タグ付けして結果と照らし合わせて分析する

2021/06/08(火) 21:41:17.43

明日からはSSII2021ですね
最近の学会はオンラインだから楽だけど出張なくてつまらない

2021/06/08(火) 23:14:42.34

>>632
＞赤紫色だと認識する光の波長がある

ない
あるというのなら、その周波数または波長を示せ

2021/06/08(火) 23:36:23.06

>>653
https://encycolorpedia.jp/c54ea0
この色は約516.47nmの波長である

2021/06/09(水) 02:17:44.03

アップデートできないんだから何言っても無駄
バカの壁を崩せない又は洗脳されていて抜け出せない状態

2021/06/09(水) 03:24:17.07

>>654-655
調べたことが正しそうかどうかを別のソースでチェックする癖はつけたほうがいいよ。

https://en.m.wikipedia.org/wiki/Visible_spectrum

516nmって緑あたりの波長だよ

てかさ、深層機械学習がいかに強力なツールであろうとも、物理的事実はひっくり返らないから。

2021/06/09(水) 03:37:28.53

光なんだから波長も周波数もあるに決まっている
合成しようと波であることに変わりはない

2021/06/09(水) 06:58:34.18

レーザーのような、単一スペクトル光には波長も周波数もあるのはその通り。
赤紫や白のような、複数の波長の光の波を合成して出来た波は、確かに波だが、こういう波の波長や周波数を表すときは、波長分布(スペクトル分布)、周波数分布で表す。
合成したからといって一つの波長を持つようにはならないよ。
つまり、単一スペクトル光でない光を波長で表すのは無理。(分布にしないとだめ)
なる、出来るというのなら、100nmと1000nmの光とか、400nmと700nmの光を1:1で混ぜたときに波長いくつになるのか具体的に教えてくれるかな。

2021/06/09(水) 09:10:43.69

しつこい

2021/06/09(水) 09:14:56.96

与えられたデータをどう加工するかは自由だから自分の思うようにやってくれ
なのでこのつまらない話題そろそろ終わりにしてくれる？

2021/06/09(水) 14:31:40.69

終わりにしたければ、スルーすればいいだけ

2021/06/09(水) 14:46:32.00

wake-sleepアルゴリズムの日本語訳語ってなに？

2021/06/09(水) 19:22:33.15

>>662
うさぎと亀

2021/06/09(水) 19:37:54.25

寝起き

2021/06/09(水) 21:04:40.01

日本語訳って誰か決める権威がいるの？

2021/06/09(水) 21:07:40.68

>>665
んなわけあるかい
明治文壇の同人誌会派じゃあるまいしｗ

バズらせたもん勝ち

2021/06/09(水) 21:15:44.01

>>659
質問に返答しないで「しつこい」はアカデミアとしてダサいと思わないの？

2021/06/09(水) 21:17:18.19

だめだね

2021/06/09(水) 21:39:31.83

機械学習スレで延々と光学の話して何がしたいのか

2021/06/10(木) 00:19:08.68

>>669
元々人間の色の好みをどのように取り扱うかという話だったように記憶しているので、
人間にとって不自然な光の波長という概念を持ち出すのは筋悪じゃないか？という話をしている。
人間には光の波長はわからなくて、LMSの刺激値しかわからないのだから。CIE LabもXYZもRGBもその線形変換なんだから、その辺の値を使うのが入力おしては本質的だよ。
HSVとかですら、余計な前処理が入ってる可能性がある。全単射とはいえ、全く線形ではないし。

2021/06/10(木) 00:23:21.07

そもそもYUYV転送した時点でｗ

2021/06/10(木) 00:56:25.89

蒸し返すﾌﾞｰｲﾓ死ねよ

2021/06/10(木) 02:05:06.72

いつもの人と違う感じか？
そんなに何人も異常者がいるとは思えんのだが

2021/06/10(木) 08:06:14.53

波長で判断するのが不適当だと思うなら勝手にそうすればいいだけ
別にこのスレで許可を得る必要なんてない

2021/06/10(木) 10:56:03.57

HSV は全単射ではないのではないのですか？

>>673
少なくとも >>670 さんはいつもの人だと思います
あと5chに来てる人の母集団の特性としては健常者の方が圧倒的に少ないと思います

2021/06/10(木) 16:51:21.94

色彩工学やら色彩心理学の人？
もう飽きたんだけど

2021/06/10(木) 22:27:02.23

書籍「Kaggleで勝つデータ分析の技術」の内容について教えてください。
この書籍のサンプルコード内のコメントについてです。

・第4章「分析コンペ用のクラスやフォルダの構成」サンプルコード
https://github.com/ghmagazine/kagglebook/blob/master/ch04-model-interface/code/runner.py

・183行目のコメント抜粋
「# 毎回train.csvを読み込むのは効率が悪いため、データに応じて適宜対応するのが望ましい（他メソッドも同様）」

「効率が悪い」というのは、速度の遅さだと思うのですが、
「データに応じて適宜対応」とは、具体的にどんな対応があるのでしょうか？

CSVからデータベース(mysql)などに移しておく？くらいしか思いつかないもので・・・。

もしお分かりになる方見えましたらお願いいたします。

2021/06/10(木) 22:55:34.82

>>677
毎回読み込むのが効率悪いって意味かと
読み込む必要がないデータは読み込まなくて済む
データを読み込んだ後で変更やデータクリアとかしてなければ再利用できるのでは？

2021/06/10(木) 22:57:40.78

return pd.read_csv('../input/train.csv')[self.features]
の代わりに
self.xtrain= pd.read_csv('../input/train.csv')[self.features]
するとか

2021/06/10(木) 23:05:38.45

>>677
単純にクロスバリデーションの度に読み込み処理が入ってるからって事でしょ。

メモリ上に保持しとけばいいんじゃないの

2021/06/11(金) 09:46:57.34

kaggleってどれだけ実践的かな
インターンの子にやらせるにしては簡単？

2021/06/11(金) 10:05:31.38

インターンにKaggleをやらせる意味がわからん
ネットで悪評書かれそう

2021/06/11(金) 10:42:38.59

>>682
短期間で目に見える成果を期待できそうな課題、を考えるのって難しくない？

2021/06/11(金) 10:49:53.11

普通にバイトみたいな仕事やらせりゃいいでしょ

2021/06/11(金) 11:21:10.37

大学の講義でSignate使ったことあるしコンペはインターンにちょうど良さそう

2021/06/11(金) 11:34:53.28

期間とか実力とか人数にもよるからなんとも言えん

2021/06/11(金) 11:41:41.42

>>684
バイトにさせたい仕事もないんだよね
うちに来るのが間違ってるのかも

2021/06/11(金) 11:47:24.35

それならインターン生に何したいのか聞いてそれっぽいことさせてやれば満足して帰るでしょ

2021/06/11(金) 11:48:31.17

>>678,679,680
ありがとうございました！
ご指摘の通り、サンプルコードではクロスバリデーションのフォルダごとにCSVを再読み込みしていました。

2021/06/11(金) 12:24:01.91

>>687
Kaggleは自宅でもできるからなぁ
せっかくだから泥臭いデータ抽出とか体験してもらえば？

2021/06/11(金) 12:31:22.49

Darknetでも渡しておけば良いのに

2021/06/11(金) 13:27:39.05

>>690
なるほどね
汚いデータはある

2021/06/11(金) 14:58:37.35

普段から業務時間の一部を使ってコンペやってるような企業が社員と組ませてコンペやるなら意味あるかもしれないけど
そうでないならインターンでやることか？と思ってしまう

2021/06/11(金) 15:10:54.60

>>693
もっともだと思う

2021/06/11(金) 16:32:54.05

バイトにはクソ汚い前処理をやらせるのがいい
SQLとかデータベースとかまともに勉強してないだろうから
その辺の処理が1番良いと思うね
まずはSQLですよ

2021/06/11(金) 21:02:46.31

この業界でバイトにできる仕事ってあるのかな?
タグ付けぐらいかと思うけど

2021/06/11(金) 21:48:27.03

>>696
モデル作成はできる学生いくらでもいるから十分バイトでいけるよ
実際うちの会社でも学生バイトに投げたことある
むしろ抽出や前処理のほうが社内システムやドメイン知識が必要で難しいんじゃないかな

2021/06/14(月) 21:09:17.24

多次元データをクラスタリングするとき脳死でtSNEしてDBSCANしてるんだけど他にオススメないですか

2021/06/15(火) 11:44:37.99

tsneすると、お花みたくなって綺麗だからスコ

2021/06/15(火) 12:36:02.30

可視化するために使われる事が多いのであって
次元削減したら逆に適切な分類が難しくなるんじゃね？
分類するための重要な次元の値が次元削減で他と混在して分類に使えなくなる

2021/06/15(火) 12:57:04.03

可視化以外に解釈にも使うからなぁ
人間が解釈しやすいカテゴリ分けができるくらいまで次元数落とすのが理想かな？
どんな変数が潜在しているかアタリをつけるのが腕でもある

2021/06/15(火) 13:03:08.02

>>701
自分は解釈しやすくするのは広い意味での可視化、見える化だと思う
可視化という言葉の解釈しだい

2021/06/16(水) 06:52:37.95

今更ながら青木先生の統計学サイトのPythonライブラリで遊び始めた
とりあえず全機能動かすか

2021/06/16(水) 17:28:54.92

【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 [孤高の旅人★]
ttps://asahi.5ch.net/test/read.cgi/newsplus/1623831843/

松尾豊？

2021/06/16(水) 20:29:05.96

松尾なら許す
銀髪インチキ野郎なら許さん

2021/06/16(水) 23:21:00.05

松尾さんはそういう役目だろうから仕方ない

2021/06/17(木) 04:15:49.22

完全に＼(^o^)／オワタ

2021/06/17(木) 04:29:12.94

【新音声入手】親密企業の参入を指示平井卓也デジタル相に官製談合防止法違反の疑い　週刊文春 ★2
https://asahi.5ch.net/test/read.cgi/newsplus/1623869608/

2021/06/17(木) 05:36:44.15

>>705
誰？

2021/06/21(月) 11:41:32.31

青木氏のサイトのPythonコードはとりあえず200くらい紹介されてたものを動かして使用例なんかも見たが
「じゃあすぐこのデータにふさわしい統計指標を算出出して」っていわれると現状では
30分以内に解決できない理解度だなあ
3時間なら選び出せるか

慣れるのに数ヶ月掛かるな

**デフォルトの名無しさん** · 2021/06/21(月) 11:48:19.01

前時代的な学び方と言うより他ない

2021/06/21(月) 12:51:57.23

>>709
最近テレビによく出てる宮田さんじゃね

2021/06/21(月) 18:59:28.26

>>712
宮田裕章って人？
初耳～

2021/06/21(月) 20:20:28.22

>>713
たぶん

2021/06/22(火) 11:57:05.13

>>714
松尾某と同じく業績はともかくメディア対応が上手いのかな

2021/06/22(火) 13:50:53.19

風貌はいかにもAIやってますーって感じ

2021/06/24(木) 14:20:39.68

福島邦彦の記念講演やってる

nhk前所長の発表、聞き取りづらい

モソモソ言ってて分からん

2021/06/24(木) 14:53:38.55

柳井ってキモいな

2021/06/25(金) 18:15:12.09

三宅陽一郎が論文の賞取ったけど
どうよ？

**デフォルトの名無しさん** · 2021/06/25(金) 19:15:43.90

アカデミアと縁ないとこにいるくせに表彰の類に物申したがるの良くないよ

2021/06/25(金) 20:03:31.46

これ論文なのん？って印象だったからどうなのかなって

2021/06/26(土) 08:15:16.06

deeplに遊戯王カードのテキスト読み込ませたらなんか全体的に遊戯王調の翻訳になってしまった
クセの強いデータが混じると全体の精度が落ちるな
クセの強いデータを除外するAIを開発しないと

2021/06/26(土) 08:30:46.85

なんでそんなこと起きるの？Deeplで。

2021/06/26(土) 13:25:12.54

三宅陽一郎という名前は、どこかで見たと思ったけど、

マイケル・ディックハイザー「ゲームプログラマのためのC++」2011 の監修か

2021/06/26(土) 17:09:34.51

ゲームのAIってはっきり言って今言われてるAIとは別物
どちらかと言うと古典的なものだよ

2021/06/26(土) 17:34:46.32

で、非エンジニアや非研究者が思い描く (SFで描かれる) AI は更にまた別物っていう

2021/06/26(土) 18:43:38.31

AI（線形回帰）

2021/06/26(土) 18:55:40.50

思考をプログラムで実現することで
記憶、比較、試行、検索、情報処理
こういう多岐にわたるものだから
違うものとは思わない
なんとかAIという表現で区別してるけども

2021/06/27(日) 09:58:00.20

プログラム＝論理的
AI＝抽象的
と定義できるけど、抽象表現も細分化すればブール論理×確率で表すことが出来てしまう

2021/06/27(日) 13:39:55.67

AIは人工知能で定義が広いからなんでもAIと言えてしまう
人が作った知的な操作とかをするものだったらなんでも当てはまる
知的の程度は色々あるけどその辺は決まってないだろう

2021/06/27(日) 18:58:00.15

あたしゃ認めないよ
ゲームに実装されてる奴はaiでもなんでもない

2021/06/27(日) 19:22:23.28

人工知能の定義はあるよ

2021/06/27(日) 19:52:46.62

aiを信じられない人よりは幸せ♪

2021/06/30(水) 08:08:58.43

一般人の思うAIってあれでしょ
脳ミソのマークに点とノードが描かれてるよくあるあのイラストの感じでしょ知らんけど

2021/06/30(水) 08:10:16.44

ノードは点だわ俺もバカだった

2021/06/30(水) 08:32:50.26

AIに知性を吸い取られたなw

2021/06/30(水) 11:32:34.97

点と点が大きな点になる

2021/06/30(水) 12:24:28.84

>>737
深いな

2021/06/30(水) 12:52:25.52

点は面積0では？

2021/06/30(水) 18:08:27.18

GitHubにソースコードの「続き」を自動で補完する機能「GitHub Copilot」が登場
OpenAIとAzureの協力により実現
https://gigazine.net/news/20210630-github-copilot/

きたぞ

2021/06/30(水) 20:17:44.64

またOpenAIかすげえなぁ

2021/06/30(水) 20:21:20.13

どのくらいきれいに生成されるんだろうね

2021/06/30(水) 23:00:58.15

全て削除しておきました

2021/07/01(木) 13:46:18.57

>>739
測度論的にはそうだね

2021/07/06(火) 12:03:11.04

人間の脳に未知のシグナル送信経路があることが判明 https://karapaia.com/archives/52303631.html

本当かどうか分からんけどちょっと面白い

バックプロパゲーションじゃない方法も出てきてnnはまだ進歩するかな

2021/07/09(金) 15:19:16.69

久々に日本から面白い論文が出たけど日本人がいない。。。
https://arxiv.org/pdf/2106.14843.pdf