【統計分析】機械学習・データマイニング30

■ このスレッドは過去ログ倉庫に格納されています
2021/01/01(金) 09:10:55.46ID:a+OQlEaa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2021/05/12(水) 12:34:56.40ID:aZwuBi2/0
誤差分布と正規分布の違いとか最近基礎を忘れてきたな。。。
508デフォルトの名無しさん (ﾜｯﾁｮｲ ee73-7ir8 [153.200.72.220])
垢版 |
2021/05/13(木) 09:33:19.17ID:LL50QdoW0
>>506
THX！
やってみるわ
2021/05/14(金) 03:55:13.35ID:+CUnWEgy0
colaboratory使えばGPU買わなくても大丈夫？
2021/05/14(金) 06:00:37.69ID:YMhl4ox20
>>509
はい
511デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/16(日) 18:14:37.34ID:BCvV60Hy0
>>510
マジ！？
本番サーバのバッチでも使える？
512デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/17(月) 11:56:47.57ID:AazcJmIk0
「X_train, X_test」の大文字ってどうしてます？
面倒なので小文字にしたいのですが、不都合ありますか？
513デフォルトの名無しさん (ﾜｯﾁｮｲ a45f-+AhK [106.73.78.34])
垢版 |
2021/05/17(月) 13:27:31.17ID:50pYDYVJ0
ないよ
2021/05/17(月) 16:02:53.44ID:x42zKMo10
>>512
その変数名にしてる人たいていクソコード書いてるから
ちゃんとした入力変数の名前にしたほうがいい
515デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4d-Rf8T [202.214.198.113])
垢版 |
2021/05/17(月) 19:41:41.86ID:3TA+gznAM
クソチョンw
2021/05/17(月) 21:45:08.12ID:sdljpxakM
>>514
Xの大文字を打つのにシフトすら面倒だって言ってる奴にちゃんとした変数名付けろって言っても、馬の耳に念仏なんじゃないか

概念の説明にはx,yが出て来るのは仕方ないとしても、
実際の分析では意味のある名前付けた方がいいというのには完全に同意だけど。
x2やy2に相当するものを使いたくなるときもあるし、
将来コードを見返す自分は赤の他人だと思って分かりやすく書いておかないと折角の努力が資産にならないよね。
2021/05/17(月) 22:50:20.67ID:TxYncY5F0
行列だから大文字Xなのかと思ってた
2021/05/18(火) 04:49:22.56ID:XMy91+oY0
>>516
その辺の機械学習の概念を理解するお薦め本ありますか？
2021/05/18(火) 11:04:58.96ID:K5WN/Dsi0
いや、pythonの規約を普通に守ればそこは小文字始まりだろ。
それを破るならそれなりの理由が必要だわ。
520デフォルトの名無しさん (ｵｯﾍﾟｹ Sr10-X/Xr [126.237.70.93])
垢版 |
2021/05/18(火) 12:41:52.89ID:FgenxOxPr
jupyter notebookみたいな書き捨てコードだったら何でもいいよ
2021/05/18(火) 15:26:01.83ID:QNG9JUM6a
ていうか変数名くらいAIでわかりやすいの勝手に付けて欲しい
人間が考えるのはおかしい
2021/05/18(火) 16:19:30.43ID:oyqcAYpS0
テンソルの変換するからXだの言われても辛いのよ
前処理も一緒にやる場合はどの段階のXなの？ってなる
2021/05/18(火) 17:17:37.19ID:K5WN/Dsi0
>>521
そこまでAIができるなら、お前らなんかいらんわ
2021/05/18(火) 18:13:53.05ID:WCK1jWazM
行列だとしても、単に大文字だとわかりにくいから、mat_Rとか名前つけることあるな。回転行列だけど。
数式ですら字体や添字で区別を色々つけないと訳分からなくなる。
2021/05/18(火) 18:44:16.23ID:ONMU+Hso0
回転行列？
転置のことか？
転置は昔からTと相場が決まっとる
2021/05/18(火) 19:49:43.85ID:oyqcAYpS0
転置ではないよ。。
2021/05/18(火) 19:50:07.22ID:UWVHwMarr
回転行列は回転変換の話で転置とは無関係だろ
2021/05/18(火) 19:55:16.40ID:CtrctolZa
長くてもいいから読めば分かる名前にする。これが原理原則
メモ帳でプログラミングでもしない限り補完してくれるので変数名の長さは問題にはならない
2021/05/18(火) 20:07:18.39ID:Q90nYKbd0
ぬるぽ
530デフォルトの名無しさん (ｱｳｱｳｳｰ Sa15-swby [106.154.1.162])
垢版 |
2021/05/18(火) 20:46:05.40ID:puQpLL01a
コメントを書いても良いけどな
2021/05/19(水) 08:09:56.86ID:k7Ue1zjEM
配列の形はよくコメントに残すようにしている
532デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/19(水) 10:50:43.72ID:V3eiLHp10
pycharm使っている人います？
有料の価値ありますか？

VSCodeを使ってますが、プラグインやカスタマイズが面倒なので、pycharmに乗り換えようかと
ワタシは初学者です
2021/05/19(水) 10:57:03.47ID:oIwzetOOM
ない
2021/05/19(水) 11:25:18.51ID:NOe9g/vN0
>>528
実際やってみればわかるが長すぎる変数名、関数名ばっかりだと視認性を恐ろしく悪くする。
適切なスコープに対する長さが重要。
2021/05/19(水) 13:02:44.62ID:4kQYZl+6M
>>532
ない
どうせ必ずPython以外の言語や設定も扱うことになるんだからVSCodeに慣れたほうがいい
2021/05/19(水) 21:31:22.29ID:tQFRmjgq0
vscode一択
業務でPython, JS, powershell, bash行き来してるけど全部vscodeだわ
2021/05/19(水) 21:31:55.19ID:tQFRmjgq0
RのサポートはRstudioのほうが気が利いてるかな
2021/05/19(水) 23:43:35.01ID:mou1RjBP0
どうみてもEmacs使った方がいい
2021/05/20(木) 10:22:19.40ID:99tkUSER0
vscode,vim,emasなんでもいいけど、ある程度汎用のエディタのがいいと思うわ。
2021/05/20(木) 15:31:26.90ID:kTI71Gb40
俺はvim
補完とかpythonで必要な場合がほとんどない
特に機械学習では型もテンソルなんだけど
shapeを型として認識しないからあってないようなもん
2021/05/20(木) 19:33:02.88ID:8YO0kqZM0
jupyter使っててすら、define-and-run方式の深層学習フレームワーク使ってたら、結局実行時にしか型のエラーってわからないしね。
printするしかないときよくあるね。
542デフォルトの名無しさん (ｽｯﾌﾟ Sd44-+AhK [1.72.9.58])
垢版 |
2021/05/20(木) 20:21:47.84ID:NM6JuDeVd
Keras使ってたけど、Pytorchも使うようにしたわ
最新の論文で実装されてるのがPytorchが多くなってきたんで
2021/05/20(木) 21:59:17.03ID:CHi0SRjg0
caffe2=pytorchだし
YOLOV5がこれ専用だし
544デフォルトの名無しさん (ﾜｯﾁｮｲ 0f01-7S+s [126.242.196.142])
垢版 |
2021/05/21(金) 01:19:06.45ID:QTMvWd2k0
プロはvi一択と、あわしろ氏が言ってた。
545デフォルトの名無しさん (ﾜｯﾁｮｲ e673-7S+s [153.200.72.220])
垢版 |
2021/05/21(金) 13:48:33.54ID:+DlIiJwi0
商品レコメンドをやりたいのですが、pythonでおすすめのライブラリありますか？

データはアクセスログ、クリックログなどの暗黙データです。
調べたところ、レコメンドに関してはライブラリが少ない感じだったので。
implicitパッケージくらい？
2021/05/21(金) 15:31:54.44ID:zKEaAw9a0
タダで商売のアドバイスをしろと
2021/05/21(金) 15:32:57.16ID:zKEaAw9a0
タダで商売のアドバイスをしろと
548デフォルトの名無しさん (ﾜｯﾁｮｲ e673-7S+s [153.200.72.220])
垢版 |
2021/05/21(金) 16:25:46.28ID:+DlIiJwi0
>>547
仕事といえば仕事なんだけど、自宅待機中の勉強ってことで機械学習やってる
会社のためというよりは、転職に備えてという感じなんだ
2021/05/21(金) 16:27:47.08ID:r3L1GEKvH
>>545
scipy
2021/05/21(金) 19:12:12.46ID:vJ65WEpWM
>>548
へえ
2021/05/21(金) 20:36:46.93ID:XRGlJQOp0
>>544
誰？
2021/05/21(金) 20:53:06.55ID:B6CXIi7z0
>>551
ぐぐった感じでは製材所の所長らしい
https://www.toeinavi.jp/spots/detail/180/
553デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-FiBr [202.214.125.229])
垢版 |
2021/05/23(日) 13:52:05.04ID:Ki6GpCCwM
クソチョンw
554デフォルトの名無しさん (ﾜｯﾁｮｲ b308-Hn6W [120.143.50.171])
垢版 |
2021/05/26(水) 23:12:49.71ID:doCbFXDd0
>>546
んじゃ、お前はこのスレで一切情報を得なかったんだな
得てたら金払えよ
2021/05/28(金) 09:52:49.33ID:jQHjx/Sg0
逆に同業者が知ってないと迷惑って話もあるからそれは極論だわな。
2021/05/28(金) 10:33:05.14ID:TOGA1KHu0
逆切れｗ
2021/05/28(金) 18:02:12.37ID:I38f0A1ga
仕事で専門でやってるのに基本的な知識もなく自力で調べようとする能力もないならこっちとしては今後は関わらないようにするだけでしょ
わざわざ教育してやる必要もない
2021/05/29(土) 02:13:46.43ID:RSxnULQb0
そうしてきてバカで溢れて今苦労してるってのがこの業界だろうに。。
2021/05/29(土) 02:35:48.06ID:jr2Ui+Sl0
最近レコメンド実装したけどレコメンドってあんまり進化がないよな
協調フィルタリングという古典的な手法を使ってしまった
2021/05/29(土) 09:10:16.66ID:EnveV0300
>>559
メンテナンスも楽だし、いいと思うよ
2021/05/29(土) 10:48:37.13ID:RvAveAdmM
>>559
正解の定義次第でどうとでもなるからな
2021/05/29(土) 20:45:27.24ID:XrsIdb/I0
それを超えるアルゴリズムを開発して
論文発表しても良いのよ
2021/05/30(日) 05:45:34.87ID:lNYh/+HWM
画像から猫種も見分けられる？
2021/05/30(日) 07:18:13.54ID:RxsuuSDG0
>>563
ネコを種類別にしてたくさん見せれば可能
2021/05/30(日) 08:48:03.86ID:CdxYhf470
そのうち人工知能で学習したパラメータの膨大なデータベースができて、人間の知能を超えたらもう俺たちは何も考える必要はなくなるのかな。
そうなると俺たちは、単なる有機体の塊くらいの価値しかなくなるのか。
2021/05/30(日) 09:06:40.30ID:oWq8irquM
その前に機械学習が完全自動化されて俺たちが無価値になる未来が目前に迫っているから安心しろ
2021/05/30(日) 09:28:02.26ID:U3e/y5hb0
お前の価値は元々その程度だ、安心しろ
2021/05/30(日) 09:54:37.96ID:r6QU/kWQ0
>>566
目前って具体的にはいつ？ 実現される根拠は？
569デフォルトの名無しさん (ﾜｯﾁｮｲ 7e10-3309 [153.243.53.4])
垢版 |
2021/05/30(日) 10:14:06.20ID:BFfMYV1N0
>>568
実はこのスレのレスもお前以外は全部GPT-3搭載のbotだよ
2021/05/30(日) 11:01:49.50ID:edL7sxMoa
会話系の人工無能を作ったら、まずここで試す
2021/05/30(日) 11:04:30.02ID:+SlNLaiF0
ターミネーターって35年前の作品なんだな
2021/05/30(日) 12:18:11.58ID:ssDmNHo+0
Are you hungry?
https://www.youtube.com/watch?v=_nEIz7crVrU
2021/05/30(日) 18:01:08.77ID:fKM+DAx30
人間が諸悪の根源だからな
AIが権力を持ったら
直ちに殲滅だな
2021/05/31(月) 19:50:26.60ID:FXamJQDQM
gpt3って論理使えたっけ？
575デフォルトの名無しさん (ｵｯﾍﾟｹ Sr93-3309 [126.208.187.23])
垢版 |
2021/06/02(水) 11:26:59.88ID:hYf7qVFpr
パイタッチは草
https://github.com/facebookresearch/PyTouch
2021/06/04(金) 05:44:33.97ID:yUhKkGnZ0
>>575
pypyとか人前で口に出せないよな
577デフォルトの名無しさん (ﾜｯﾁｮｲ cf73-PlKh [153.200.72.220])
垢版 |
2021/06/04(金) 10:37:04.81ID:xWxJ1kGR0
人工知能学会の資料に書かれている内容について教えてください。

不動産情報ポータルサイトSUUMOでのデータ活用(※PDFです)
https://jsai.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&;item_id=8811&item_no=1&attribute_id=22&file_no=1

２ページ目　＞　３．リコメンドシステム　＞　３．２従来型アプローチ　＞　１コンテンツベースフィルタリング
「間取りなど、カテゴリー変数を取り入れる場合、類似度を直接に算出できないため、ログから同時検索される確率を類似度として用いている」

↑上記資料には、このように書かれています。

この「カテゴリー変数は、類似度を算出できない」のは、なぜでしょうか？
順序が無いカテゴリー変数は、隣り合った数値であっても近さを表現できないから、という意味でしょうか？

また「ログから同時検索される確率を類似度として用いる」というのは、具体的にどのような処理が想定されますでしょうか？
(経験不足のためイメージできないもので。。。。)
以上、もしわかる方がお見えでしたらご教授いただければ幸いです。
2021/06/04(金) 12:48:21.16ID:9qdJpIYV0
>>577
ログってのが何なのかわからないけど
その文脈で言うとtf-idfのことでは？
それを使ってコサイン類似度を求める
深層学習が出る前はその手法が割と使われてた
579デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/04(金) 12:54:08.51ID:oHDaGQI00
第１検索語、第２検索語で
同じ第１検索語の時に第２検索語の分布が出来るから
その確率が高い物は第１検索語との距離が違いって感じかも
580デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/04(金) 13:00:27.61ID:oHDaGQI00
>>577
カテゴリ変数の距離を自分で考えてそれが妥当ならそれを採用してもいいんじゃね？
間取りだと1R,1K,1DK,2K,2DK,2LDKとか有るけど
1K,1DK,2K間の各距離をどう計算するのが妥当か
2021/06/04(金) 16:27:18.41ID:gzCOTeam0
検索条件をカテゴリ変数 として扱ってるんだろ？
2021/06/04(金) 20:55:49.74ID:a6XWEKieM
>>577
カテゴリー変数は量的変数と違って
赤と緑、赤と青どっちが近いかこっちで決めないと行けない
ログは人気投票で赤と緑をクリックする量と赤と青をクリックする量で
決める
583デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/04(金) 21:03:31.65ID:oHDaGQI00
>>582
色だと光の周波数に数値化できるからそれで距離を計算するとかできない事もない
好きな色を選んでくださいって言う場合には周波数で距離を求めるのが妥当かわからないけど
もしかすると周波数と好みの間に関係があるかもしれない

周波数と好みに関係があるという仮説を立ててデータで検証するときは周波数で距離を決める事になりそう
584デフォルトの名無しさん (ﾜｯﾁｮｲ 43ca-C6vo [182.168.51.6])
垢版 |
2021/06/04(金) 23:13:35.28ID:K7oG2oyc0
>>577
1DKと2Kの区別は、不動産業界ではあるかもしれないが、不動産サイトを検索する
一般人にとっては主観的概念でしかない。したがって、業界の基準をそのまま当て
はめると一般人の検索行動と乖離が生じ、サイトの定着率が悪化する可能性がある。
そのため、検索サイトでは従来からアクセスログを解析することで、時空間的に
近い検索を「近い概念」と考えて、ユーザーに明示的に示す手法がとられてきた。
これはいわゆる「この検索をした人はこういう検索もしています」とか「この
商品を見た人はこの商品もみています」というよくあるレコメンドのやり方となる。
このレコメンドは、Wilson score intervalという統計解析手法に基づいており、
検索履歴を時系列で扱うことにより、特定の検索A1とそれ以降に行った同一人の検索
A2/A3...の近似距離値を自然対数のカーブのように指数的に低減させていくことで
A1に近いらしい他の検索入力を求めるというものとなる。
ただし、このアクセスログ解析法は、特定の検索の後に行われた検索パターンを
逐次、解析する必要があるため、大規模サイトの場合、計算量が膨大になりすぎる
傾向があり、大手ではこのためだけに解析用のクラスタコンピューターを導入する
ケースもあった。上の論文では機械学習を新手法としているのはそのためとなる。
585デフォルトの名無しさん (ﾜｯﾁｮｲ 43ca-C6vo [182.168.51.6])
垢版 |
2021/06/04(金) 23:18:31.01ID:K7oG2oyc0
誤）特定の検索A1とそれ以降に行った同一人の検索
正）特定の検索ワードA1と同じ検索を行った全ユーザーの検索
586デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/04(金) 23:57:52.10ID:oHDaGQI00
アプリオリじゃね？
2021/06/05(土) 05:14:40.09ID:McMxv91Y0
>>584
その概念面白いな。同時検索ログを使ってダミー変数にLLEみたいなことしたら面白そうだな。
588デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM1f-c4nJ [153.248.124.246])
垢版 |
2021/06/05(土) 13:08:10.57ID:dULd7Di4M
> また「ログから同時検索される確率を類似度として用いる」というのは、具体的にどのような処理が想定されますでしょうか？
アソシエーション分析のsupport値かと。
2021/06/05(土) 15:44:41.08ID:CJl2tIqC0
>>583
＞色だと光の周波数に数値化できる

色は周波数とは関係ない
よって色は、周波数を使用して数値化できない
色は、眼球中の網膜に分布する三種類の錐体細胞 S, M, L の刺激の度合いで決まる

すなわち「色」は感覚であり「色覚」というべき、よって色の数値化の理論は私には難解に感じます、グラスマン(1809-1877,プロイセン）という数学者にして印欧語族論者を思い出します
590デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-cnok [153.243.53.4])
垢版 |
2021/06/05(土) 16:19:37.57ID:HTZ34MD30
光は電磁波という物理現象で、その周波数で異なる色に見えるのをご存知ない?
591デフォルトの名無しさん (ｱｳｱｳｳｰ Sa47-0cyx [106.154.1.220])
垢版 |
2021/06/05(土) 18:18:17.64ID:eK4BMewua
>>589
その受容細胞が反応する周波数に違いがある
2021/06/05(土) 18:22:39.59ID:86obdan20
>>589
ペダンチックに振る舞ってたのに失敗してて草
593デフォルトの名無しさん (ﾜｯﾁｮｲ 935f-1xJM [106.73.78.34])
垢版 |
2021/06/05(土) 18:47:15.95ID:MMnsh6lE0
たまに見かけるアホだったか
2021/06/05(土) 20:03:19.74ID:IO1TGcKCM
単純に色を数値化しても意味ない
色の好感度みたいなものを量る方法を
思いつくと役に立つ
595デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/05(土) 20:17:34.80ID:aJEuAtPt0
色とイメージの関係は文化的、慣習的なもの
国とか地域で違うのは心理学で研究されている
2021/06/05(土) 21:02:33.90ID:CJl2tIqC0
>>590-591
周波数成分の異なった光が同じ色に知覚されることは十分にありうることは、どう説明しますか？
597デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/05(土) 21:08:10.00ID:aJEuAtPt0
>>596
知覚を対象にするなら目の見えない人や色弱や色盲の人もいる
周波数や波長を色の距離として採用する事も可能と言うだけで必ずその尺度を採用するべきとは書いていない
色から受けるイメージとかは文化や風習で変わると書いている
人の意見を正しく読み取った方が良い
2021/06/05(土) 21:12:15.30ID:uNMOHmjl0
BERTの埋め込み表現の各次元って何を表しているんですか?
599デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-cnok [153.243.53.4])
垢版 |
2021/06/05(土) 21:49:23.62ID:HTZ34MD30
>>596
違う色だが同じ周波数にエイリアスする色が存在しても、色と周波数が関係ない事にはならないが
関係ないとしたら波長400nmの電磁波が紫に見え、波長が伸びると青、緑、黄色、赤と変化してゆく事実は何?
全単射でなければ数値化出来ない訳はない
2021/06/05(土) 22:25:30.88ID:v05wnVxC0
もう負けだよ諦めろｗ
色に周波数がないとか馬鹿にもほどがある
601デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/05(土) 22:27:58.80ID:aJEuAtPt0
心理量と物理量の違い
音もピッチは心理量で周波数は物理量
何を研究対象とするかでどちらを採用するのが妥当か変わる
602デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-0cyx [153.131.102.129])
垢版 |
2021/06/05(土) 22:31:04.89ID:aJEuAtPt0
時間も心理量と物理量で違うこともある
退屈な時間は心理的には長く感じるけど物理的には等しい
相対論だと観測する人によって物理量も変わるけど
心理量を時、物理量を時間と区別する人もいる
2021/06/06(日) 06:01:28.13ID:tNhqxxmb0
>>598
分からない

色々観測して推測はできる。。。
604デフォルトの名無しさん (ﾜｯﾁｮｲ cf10-cnok [153.243.53.4])
垢版 |
2021/06/06(日) 07:01:58.44ID:TkNBt3960
>>598
BERTに限らず埋め込み表現の各次元の意味を人が理解するのは基本的に無理
605デフォルトの名無しさん (ｵｯﾍﾟｹ Sre7-cnok [126.208.210.45])
垢版 |
2021/06/06(日) 07:13:07.15ID:b+8h8Rirr
>>596
> 周波数成分の異なった光が同じ色に知覚される
可視光でそんなことがあり得るんですか？
具体的にどんな時に起きるんですか？
606577 (ﾜｯﾁｮｲ cf73-PlKh [153.200.72.220])
垢版 |
2021/06/06(日) 09:45:47.44ID:WALxRzX00
>>578,579,580,582,584

THX!!!
めっちゃ参考になりました！
2021/06/06(日) 10:44:29.36ID:XtTAwPVN0
>>605
赤色光と緑色光を混ぜたら黄色に知覚されるとか
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況