【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/05/23(日) 13:52:05.04

クソチョンw

2021/05/26(水) 23:12:49.71

>>546
んじゃ、お前はこのスレで一切情報を得なかったんだな
得てたら金払えよ

2021/05/28(金) 09:52:49.33

逆に同業者が知ってないと迷惑って話もあるからそれは極論だわな。

2021/05/28(金) 10:33:05.14

逆切れｗ

2021/05/28(金) 18:02:12.37

仕事で専門でやってるのに基本的な知識もなく自力で調べようとする能力もないならこっちとしては今後は関わらないようにするだけでしょ
わざわざ教育してやる必要もない

2021/05/29(土) 02:13:46.43

そうしてきてバカで溢れて今苦労してるってのがこの業界だろうに。。

2021/05/29(土) 02:35:48.06

最近レコメンド実装したけどレコメンドってあんまり進化がないよな
協調フィルタリングという古典的な手法を使ってしまった

2021/05/29(土) 09:10:16.66

>>559
メンテナンスも楽だし、いいと思うよ

2021/05/29(土) 10:48:37.13

>>559
正解の定義次第でどうとでもなるからな

2021/05/29(土) 20:45:27.24

それを超えるアルゴリズムを開発して
論文発表しても良いのよ

2021/05/30(日) 05:45:34.87

画像から猫種も見分けられる？

2021/05/30(日) 07:18:13.54

>>563
ネコを種類別にしてたくさん見せれば可能

2021/05/30(日) 08:48:03.86

そのうち人工知能で学習したパラメータの膨大なデータベースができて、人間の知能を超えたらもう俺たちは何も考える必要はなくなるのかな。
そうなると俺たちは、単なる有機体の塊くらいの価値しかなくなるのか。

2021/05/30(日) 09:06:40.30

その前に機械学習が完全自動化されて俺たちが無価値になる未来が目前に迫っているから安心しろ

2021/05/30(日) 09:28:02.26

お前の価値は元々その程度だ、安心しろ

2021/05/30(日) 09:54:37.96

>>566
目前って具体的にはいつ？実現される根拠は？

2021/05/30(日) 10:14:06.20

>>568
実はこのスレのレスもお前以外は全部GPT-3搭載のbotだよ

2021/05/30(日) 11:01:49.50

会話系の人工無能を作ったら、まずここで試す

2021/05/30(日) 11:04:30.02

ターミネーターって35年前の作品なんだな

2021/05/30(日) 12:18:11.58

Are you hungry?
https://www.youtube.com/watch?v=_nEIz7crVrU

2021/05/30(日) 18:01:08.77

人間が諸悪の根源だからな
AIが権力を持ったら
直ちに殲滅だな

2021/05/31(月) 19:50:26.60

gpt3って論理使えたっけ？

2021/06/02(水) 11:26:59.88

パイタッチは草
https://github.com/facebookresearch/PyTouch

2021/06/04(金) 05:44:33.97

>>575
pypyとか人前で口に出せないよな

2021/06/04(金) 10:37:04.81

人工知能学会の資料に書かれている内容について教えてください。

不動産情報ポータルサイトSUUMOでのデータ活用(※PDFです)
https://jsai.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&;item_id=8811&item_no=1&attribute_id=22&file_no=1

２ページ目　＞　３．リコメンドシステム　＞　３．２従来型アプローチ　＞　１コンテンツベースフィルタリング
「間取りなど、カテゴリー変数を取り入れる場合、類似度を直接に算出できないため、ログから同時検索される確率を類似度として用いている」

↑上記資料には、このように書かれています。

この「カテゴリー変数は、類似度を算出できない」のは、なぜでしょうか？
順序が無いカテゴリー変数は、隣り合った数値であっても近さを表現できないから、という意味でしょうか？

また「ログから同時検索される確率を類似度として用いる」というのは、具体的にどのような処理が想定されますでしょうか？
(経験不足のためイメージできないもので。。。。)
以上、もしわかる方がお見えでしたらご教授いただければ幸いです。

2021/06/04(金) 12:48:21.16

>>577
ログってのが何なのかわからないけど
その文脈で言うとtf-idfのことでは？
それを使ってコサイン類似度を求める
深層学習が出る前はその手法が割と使われてた

2021/06/04(金) 12:54:08.51

第１検索語、第２検索語で
同じ第１検索語の時に第２検索語の分布が出来るから
その確率が高い物は第１検索語との距離が違いって感じかも

2021/06/04(金) 13:00:27.61

>>577
カテゴリ変数の距離を自分で考えてそれが妥当ならそれを採用してもいいんじゃね？
間取りだと1R,1K,1DK,2K,2DK,2LDKとか有るけど
1K,1DK,2K間の各距離をどう計算するのが妥当か

2021/06/04(金) 16:27:18.41

検索条件をカテゴリ変数として扱ってるんだろ？

2021/06/04(金) 20:55:49.74

>>577
カテゴリー変数は量的変数と違って
赤と緑、赤と青どっちが近いかこっちで決めないと行けない
ログは人気投票で赤と緑をクリックする量と赤と青をクリックする量で
決める

2021/06/04(金) 21:03:31.65

>>582
色だと光の周波数に数値化できるからそれで距離を計算するとかできない事もない
好きな色を選んでくださいって言う場合には周波数で距離を求めるのが妥当かわからないけど
もしかすると周波数と好みの間に関係があるかもしれない

周波数と好みに関係があるという仮説を立ててデータで検証するときは周波数で距離を決める事になりそう

2021/06/04(金) 23:13:35.28

>>577
1DKと2Kの区別は、不動産業界ではあるかもしれないが、不動産サイトを検索する
一般人にとっては主観的概念でしかない。したがって、業界の基準をそのまま当て
はめると一般人の検索行動と乖離が生じ、サイトの定着率が悪化する可能性がある。
そのため、検索サイトでは従来からアクセスログを解析することで、時空間的に
近い検索を「近い概念」と考えて、ユーザーに明示的に示す手法がとられてきた。
これはいわゆる「この検索をした人はこういう検索もしています」とか「この
商品を見た人はこの商品もみています」というよくあるレコメンドのやり方となる。
このレコメンドは、Wilson score intervalという統計解析手法に基づいており、
検索履歴を時系列で扱うことにより、特定の検索A1とそれ以降に行った同一人の検索
A2/A3...の近似距離値を自然対数のカーブのように指数的に低減させていくことで
A1に近いらしい他の検索入力を求めるというものとなる。
ただし、このアクセスログ解析法は、特定の検索の後に行われた検索パターンを
逐次、解析する必要があるため、大規模サイトの場合、計算量が膨大になりすぎる
傾向があり、大手ではこのためだけに解析用のクラスタコンピューターを導入する
ケースもあった。上の論文では機械学習を新手法としているのはそのためとなる。

2021/06/04(金) 23:18:31.01

誤）特定の検索A1とそれ以降に行った同一人の検索
正）特定の検索ワードA1と同じ検索を行った全ユーザーの検索

2021/06/04(金) 23:57:52.10

アプリオリじゃね？

2021/06/05(土) 05:14:40.09

>>584
その概念面白いな。同時検索ログを使ってダミー変数にLLEみたいなことしたら面白そうだな。

2021/06/05(土) 13:08:10.57

> また「ログから同時検索される確率を類似度として用いる」というのは、具体的にどのような処理が想定されますでしょうか？
アソシエーション分析のsupport値かと。

2021/06/05(土) 15:44:41.08

>>583
＞色だと光の周波数に数値化できる

色は周波数とは関係ない
よって色は、周波数を使用して数値化できない
色は、眼球中の網膜に分布する三種類の錐体細胞 S, M, L の刺激の度合いで決まる

すなわち「色」は感覚であり「色覚」というべき、よって色の数値化の理論は私には難解に感じます、グラスマン(1809-1877,プロイセン）という数学者にして印欧語族論者を思い出します

2021/06/05(土) 16:19:37.57

光は電磁波という物理現象で、その周波数で異なる色に見えるのをご存知ない?

2021/06/05(土) 18:18:17.64

>>589
その受容細胞が反応する周波数に違いがある

2021/06/05(土) 18:22:39.59

>>589
ペダンチックに振る舞ってたのに失敗してて草

2021/06/05(土) 18:47:15.95

たまに見かけるアホだったか

2021/06/05(土) 20:03:19.74

単純に色を数値化しても意味ない
色の好感度みたいなものを量る方法を
思いつくと役に立つ

2021/06/05(土) 20:17:34.80

色とイメージの関係は文化的、慣習的なもの
国とか地域で違うのは心理学で研究されている

2021/06/05(土) 21:02:33.90

>>590-591
周波数成分の異なった光が同じ色に知覚されることは十分にありうることは、どう説明しますか？

2021/06/05(土) 21:08:10.00

>>596
知覚を対象にするなら目の見えない人や色弱や色盲の人もいる
周波数や波長を色の距離として採用する事も可能と言うだけで必ずその尺度を採用するべきとは書いていない
色から受けるイメージとかは文化や風習で変わると書いている
人の意見を正しく読み取った方が良い

2021/06/05(土) 21:12:15.30

BERTの埋め込み表現の各次元って何を表しているんですか?

2021/06/05(土) 21:49:23.62

>>596
違う色だが同じ周波数にエイリアスする色が存在しても、色と周波数が関係ない事にはならないが
関係ないとしたら波長400nmの電磁波が紫に見え、波長が伸びると青、緑、黄色、赤と変化してゆく事実は何?
全単射でなければ数値化出来ない訳はない

2021/06/05(土) 22:25:30.88

もう負けだよ諦めろｗ
色に周波数がないとか馬鹿にもほどがある

2021/06/05(土) 22:27:58.80

心理量と物理量の違い
音もピッチは心理量で周波数は物理量
何を研究対象とするかでどちらを採用するのが妥当か変わる

2021/06/05(土) 22:31:04.89

時間も心理量と物理量で違うこともある
退屈な時間は心理的には長く感じるけど物理的には等しい
相対論だと観測する人によって物理量も変わるけど
心理量を時、物理量を時間と区別する人もいる

2021/06/06(日) 06:01:28.13

>>598
分からない

色々観測して推測はできる。。。

2021/06/06(日) 07:01:58.44

>>598
BERTに限らず埋め込み表現の各次元の意味を人が理解するのは基本的に無理

2021/06/06(日) 07:13:07.15

>>596
> 周波数成分の異なった光が同じ色に知覚される
可視光でそんなことがあり得るんですか？
具体的にどんな時に起きるんですか？

**577** (ﾜｯﾁｮｲ cf73-PlKh [153.200.72.220]) · 2021/06/06(日) 09:45:47.44

>>578,579,580,582,584

THX!!!
めっちゃ参考になりました！

2021/06/06(日) 10:44:29.36

>>605
赤色光と緑色光を混ぜたら黄色に知覚されるとか

2021/06/06(日) 13:21:06.65

人間にとっての色はLMS錐体の刺激値であるというのは間違いない。
それを単一の波長で表せるかというと表せない。
白とか、赤紫とか、原理的に複数の波長の混合でしか表せないものがある。
普通の人間の色覚を数値化する場合は3次元のLMSの刺激値で十分で、特殊な場合(光学シミュレーションしたいとか、4錐体2錐体の生物も扱いたいとか)はもっと多次元のスペクトル分布を扱う必要がある。
でも可視光の波長に色がついていないわけではない。(波長からLMS錐体の刺激値への写像が存在する)

2021/06/06(日) 13:34:39.67

>>608
ある波長、周波数の光に対して
各受容体の反応のレベルが変わるだけ

各受容体の反応の仕方は個人差がある
ある人は赤の波長に強めに反応するとか

2021/06/06(日) 13:36:37.21

>>608
何を対象とするかで変わると何回も言っているだろう

動物や昆虫の視覚を対象としたら人間の可視光の波長だけではカバーできない
その場合も物理量である波長や周波数は使える概念

2021/06/06(日) 14:01:19.04

>>608
世の中には4錐体の人も結構いるらしく、その人のために32bit ビットマップRGBAがあるんだと、長い間信じていました

2021/06/06(日) 14:04:51.02

シャコさんをおもいだした＞色覚

2色覚の人間はけこういぱいいる
4色の人はウルトラレア

2021/06/06(日) 14:09:49.01

>>589
>>596
あきらめろ

2021/06/06(日) 19:01:46.49

>>609-610
だからそう言ってるじゃんか、
スペクトル分布からLMS刺激への写像だと

3DCGのレンダラーでRGBじゃなくてスペクトル分布で色を計算するものがあるんだけど(OctaneとかSpectral Cyclesとか)
極端なケースだとその方式の方がリアルに見えるね

2021/06/06(日) 19:25:09.29

受容体って言いたいだけじゃ
cmosセンサも同じようなものだけど

2021/06/06(日) 19:41:03.98

もともとの話の色の距離ってことならCIEのL*a*b*で測るのが定番だろうな。

2021/06/06(日) 22:05:08.19

>>614
スペクトル分解しなくても光として存在するし波長とか周波数とかの物理量も測定できるんじゃね？

何を対象とするかで変わる

錯覚とかを研究するなら同じ物理量の光で
見る人がその前に違う光を長時間見続けていたとか
隣接して別の波長の光の有無とかの影響を受ける

そうなると受容体だけではなくて脳内の色の認識処理も関わる事になる

2021/06/07(月) 10:38:46.41

ニンジンが赤いのはβカロチンだが
βカロチンは赤以外を吸収する
植物の葉が緑なのは葉自身が緑以外を吸収してるから

2021/06/07(月) 19:32:51.30

>>617
一点だけ聞きたいのだが、白色光の波長はいくつなの？

2021/06/07(月) 19:41:20.55

>>619
白とか黒は明度で色とは違う概念
色相環とは別に明度がある

2021/06/07(月) 19:55:11.28

>>620
じゃあ、赤紫の波長はいくつ？

2021/06/07(月) 20:01:30.95

さすがにそのへんはｇｇｒよｋｓ・・・

2021/06/07(月) 20:33:45.30

>>622
この質問がggrksだと思ってるのなら、あなたは可視光についてほとんど何も理解していないと言っていい。

2021/06/07(月) 20:46:34.09

白色光＋赤紫くんIP変えてるの？なんなの？？？

2021/06/07(月) 20:47:13.14

>>621
ここに載ってる
http://phenomenon-of-light.jp/page2.html

2021/06/07(月) 20:56:45.82

>>623
あなたはいったい何を理解されてるのでしょうか？

2021/06/07(月) 21:04:25.68

っていうか理解してるのならとっととそれ使って作りたいもの作ればいいのに何を無駄話してるんだろう

2021/06/07(月) 21:11:58.81

データマイニングにRGBは関係なくて
自動車の自動運転ではRGBをAIで分析する
思い違いがあるのでは

2021/06/07(月) 21:21:51.46

>>625

https://polyhedra.cocolog-nifty.com/blog/2014/06/post-5597.html

これでいい？
光として存在してる(見える)ことと、単波長の電磁波であるということはなんの関係もないという話。

基本的にはその辺の光はスペクトル分布でしか測定できないのよ。色覚においては、そのスペクトル分布を3次元に写像したLMS刺激値か。

2021/06/07(月) 22:17:22.27

>>629
そのサイトは光の周波数が連続で無限にあって
デジタルみたいに量子化されていないと言っているだけ
周波数は連続しているからその連続した値と人間の色の区別の対応関係が無いだけ
新しい色の名前を作ればもっと細かくなる
色の分け方も文化による

何度も言っているけど何を対象とするかで変わる

人間の色の認知だったら受容体だけではなくて脳の色の認識とか色覚異常とかもある

2021/06/07(月) 23:26:32.10

>>630
赤紫とか、白とかっていう光は、人間の色覚のなかにだけ存在して(LMSの3次元の値)、
単一波長(スカラー値)のスペクトルの光としては存在しないのよ。
複数の波長の光子が飛んでくるから赤紫とか白は人間の知覚できる色(?)として存在する。

だから、光が存在して見えるから波長とかの物理量が単独の値として測れるというのは勘違いなんだよ。
同じ色を見続けると色が見えなくなってしまう、とかいう話は確かにあるけど、それ以前の問題として、スペクトルと色の関係わかってますか、という話。
色相環とスペクトルは、本質的にはあまり関係ない。

2021/06/07(月) 23:30:16.21

>>631
人間の視覚細胞の特性は光の周波数によって違うんじゃね？
SMLとかの種類は周波数によって反応が違う
それぞれの反応レベルに応じて認識する色が違う

赤紫色だと認識する光の波長がある

2021/06/07(月) 23:31:58.13

認識を共有する必要はないから
あなたはあなたの認識のままで私は困る事はない

私も私の認識のままで良いです
あなたが困る事はないでしょう
このまま時間を無駄にする事の方が困る

2021/06/07(月) 23:36:55.67

いい加減スレチだから相手するな

2021/06/08(火) 00:11:56.11

ID真っ赤になるまでグチャグチャ言っておいて時間の無駄は草

2021/06/08(火) 00:20:41.02

全スレ民の後頭部向けてブーメラン放つのやめるんだ

2021/06/08(火) 00:21:54.01

何も考えずにラベルだけ付けて置けば学習するのが機械学習の基本。
波長だ何だと物理特性にこだわるのは邪道

2021/06/08(火) 00:49:53.80

そんなやり方じゃ限界くるのは明白だから構造をつけましょうというのが
今のアカデミアの最先端課題なんだが

2021/06/08(火) 07:08:11.97

>>632
いや、赤紫だけはないんだよ。波長の長い赤と、波長の短い紫を混ぜないと作れない。
白も同様に色んな波長を混ぜないと作れない。
ホワイトノイズっていうだろ。色んな波長の信号がホワイトノイズに入っていることを白色光に見立ててホワイトノイズという名前が付いてる。

2021/06/08(火) 07:18:17.75

色をスペクトルで入れればいいじゃん
もうスペクトル画像でもいいぞ

2021/06/08(火) 07:22:56.66

生物学と画像処理が混ざって草。
前者なら機械学習関係ないし。

2021/06/08(火) 08:04:40.47

マウント取ろうとして失敗しただけ

2021/06/08(火) 08:32:10.19

最初に答えた人も誰も色は単一周波数で表現できるなんてなんて言ってないのにね
色を周波数(波長)で表現可能って答えてるだけでさ

2021/06/08(火) 10:07:24.40

>>637
機械学習はデータ突っ込めばとにかく学習してくれる魔法の箱じゃないんだから
ドメイン知識に基づいた特徴設計はとても重要

2021/06/08(火) 14:24:43.39

ドメイン知識要らねえってのが最近の流行りじゃねえの？
AlphaZeroみたいな

2021/06/08(火) 14:26:36.95

この現象はこうだ
とか断言したって実際の自然現象と一致してる保証なんてないからな
思い込みの激しい人は断言するけど
実験したり観測したりして検証しないとただの仮説

そいつがそう思うってだけのこと

2021/06/08(火) 16:14:58.02

虹に赤紫が無いのは判ったけど
色相環で言うとH=0-290あたりまでが虹？
290-360が無いってこと？

2021/06/08(火) 17:46:42.71

>>643
最初に答えた人はどうか知らんが、>>617ではスペクトル分布なんか考える必要なく単一の波長を測定できるようなニュアンスのことを言っていたので突っ込んだだけ

2021/06/08(火) 18:10:03.41

Outlier（外れ値）推定って、どの程度まで精度を上げられるもん？
ランク学習が効果的という断片的すぎる情報を聞いたけど、どう応用すればいいか解らん

2021/06/08(火) 18:31:37.75

>>649
まずは外れ値の定義を決めた方がよさそう。
どんな問題を扱ってるの？

2021/06/08(火) 18:59:28.01

タグ付けして結果と照らし合わせて分析する

2021/06/08(火) 21:41:17.43

明日からはSSII2021ですね
最近の学会はオンラインだから楽だけど出張なくてつまらない

2021/06/08(火) 23:14:42.34

>>632
＞赤紫色だと認識する光の波長がある

ない
あるというのなら、その周波数または波長を示せ