【統計分析】機械学習・データマイニング26
■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ワッチョイ efda-zBa2 [223.217.165.150])
2019/09/15(日) 09:23:06.34ID:bjsiNRs40機械学習とデータマイニングについて語れ若人
*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/
【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured
129デフォルトの名無しさん (エムゾネ FF33-WcZE [49.106.192.108])
2019/10/06(日) 17:14:50.01ID:pvG0vkV+F 片栗粉白玉粉8:2のとマンジョカとキャッサバとタピオカを全部一緒だと判定するかな
130デフォルトの名無しさん (ワッチョイ 19da-jw9j [60.34.119.107])
2019/10/06(日) 17:23:27.35ID:vW1W4Flv0 答え タピオカ
131デフォルトの名無しさん (アウアウカー Sa55-UPw3 [182.251.144.149])
2019/10/06(日) 18:02:00.68ID:WtwvCzV0a 人間が見て判別できないぐらい酷似した見た目の画像を用意されても判別は難しいだろう
でも人間にもできないんだから仕方がない
でも人間にもできないんだから仕方がない
132デフォルトの名無しさん (ワッチョイ 937c-reJN [221.241.223.124])
2019/10/06(日) 18:37:58.28ID:7syR3WRm0 紫外線や赤外線、テラヘルツ波など人間の目が捉えていない領域を取得したデータで学習したら区別できるかもね
133デフォルトの名無しさん (ワッチョイ fbda-4zen [223.217.165.240])
2019/10/07(月) 01:53:57.56ID:i7jiIDbz0134デフォルトの名無しさん (ワッチョイ fbda-4zen [223.217.165.240])
2019/10/07(月) 01:55:32.75ID:i7jiIDbz0 >>132
そんな対象に複素ネットワークをうまく利用したいですね
そんな対象に複素ネットワークをうまく利用したいですね
135デフォルトの名無しさん (オッペケ Src5-SxUP [126.255.20.183])
2019/10/07(月) 07:22:36.56ID:R1WvvUd4r >>132
このアイデアがあったのか。ありがとう
このアイデアがあったのか。ありがとう
136デフォルトの名無しさん (アウアウウー Sa9d-0fN5 [106.154.137.240])
2019/10/07(月) 07:45:45.80ID:rds9MmBYa137デフォルトの名無しさん (トンモー MM8d-2TCp [210.142.95.118])
2019/10/07(月) 12:51:32.67ID:wQEZJZvJM でも美人とブスは判別できないだろ?
教えてやらないと。
俺は教わらなくても、立つほうが美人だとわかるからな。
AIは、立つ部分がないから
教えてやらないと。
俺は教わらなくても、立つほうが美人だとわかるからな。
AIは、立つ部分がないから
138デフォルトの名無しさん (ワッチョイ 71a5-G1PU [42.127.86.111])
2019/10/07(月) 13:15:17.48ID:R68jeLYK0 親子判別機作りたいんだけどどこかに教師データ無いかな?
139デフォルトの名無しさん (エムゾネ FF33-PqvS [49.106.193.23])
2019/10/07(月) 13:39:13.16ID:nnDn0jE7F 色盲とか弱視のひとは
色を見分けられないんじゃなくて
特定の色には激しく反応出来るので
普通の人では観えないものが観えたりする
色を見分けられないんじゃなくて
特定の色には激しく反応出来るので
普通の人では観えないものが観えたりする
140デフォルトの名無しさん (アウアウエー Sae3-G1PU [111.239.68.241])
2019/10/07(月) 13:59:50.76ID:JTQO9o2aa >>137
ネット上にたくさん画像がある方が美人なのかもしれない
ネット上にたくさん画像がある方が美人なのかもしれない
141デフォルトの名無しさん (ワッチョイ 7b9a-0Mll [103.28.98.56])
2019/10/07(月) 14:05:01.74ID:jwAP9iy30 地味にブスの画像を集めるのって苦難の道だよな
ネット上にあるのは奇跡の一枚物ばかりだし
ネット上にあるのは奇跡の一枚物ばかりだし
142デフォルトの名無しさん (アウアウカー Sa55-xqA2 [182.251.187.247])
2019/10/07(月) 14:47:53.66ID:1thZo56ha 美醜判定の研究は心理物理実験で人が行って分けた画像に対して特徴を求めるのが一般的
143デフォルトの名無しさん (ワッチョイ fbda-4zen [223.217.165.240])
2019/10/07(月) 15:39:41.65ID:i7jiIDbz0144デフォルトの名無しさん (ワンミングク MMd3-y1nD [153.234.115.46])
2019/10/07(月) 18:59:23.04ID:fNQWuTFbM シンメトリー具合が客観的かと思われるけど
美醜は基準が変わるだろ
美醜は基準が変わるだろ
145デフォルトの名無しさん (ワッチョイ 13f0-XMZC [61.115.60.252])
2019/10/07(月) 19:38:18.06ID:uR6CZd4Z0 顔データならリクルートとかめちゃくちゃ持ってそう
146デフォルトの名無しさん (ワッチョイ 71a5-7QDG [42.127.86.111])
2019/10/07(月) 19:58:20.16ID:R68jeLYK0 リクルートは死ぬべき企業の一つ
147デフォルトの名無しさん (ワッチョイ a95f-G1PU [14.8.42.192])
2019/10/07(月) 20:53:26.67ID:rCvXE9Ys0 標準的な顔が美男美女だという研究結果が昔あったなあ
>>147
標準的、というか個体差を集めてその中間を取ったという意味の平均顔でしたね
標準的、というか個体差を集めてその中間を取ったという意味の平均顔でしたね
149デフォルトの名無しさん (ラクッペ MMe5-hpw3 [110.165.189.3])
2019/10/07(月) 21:37:55.32ID:mqLxFODTM Deeplooksとかあったな
150デフォルトの名無しさん (アウアウウー Sa9d-mxGY [106.154.130.99])
2019/10/07(月) 22:27:15.98ID:XIT3E9Qaa151デフォルトの名無しさん (ワッチョイ 8b46-w71i [153.213.142.140])
2019/10/07(月) 22:54:06.69ID:WyRvg0cv0 >>150
その解釈があってるかどうか知らんけど面白いね
その解釈があってるかどうか知らんけど面白いね
>>150
ユークリッドノルムは高次元では無意味、という経験ならあります…
ユークリッドノルムは高次元では無意味、という経験ならあります…
153デフォルトの名無しさん (ワッチョイ 99ad-2TCp [124.144.197.178])
2019/10/08(火) 01:24:12.36ID:yvLQ2KO90 だからさ、立つ写真と縮んでしまう写真を
集めて学習させるのさ。
集めて学習させるのさ。
154デフォルトの名無しさん (ワンミングク MMd3-y1nD [153.234.115.46])
2019/10/08(火) 13:08:31.09ID:pQwzHIwwM ヒューズの現象と次元の呪いって違うの?
155デフォルトの名無しさん (ワッチョイ c1da-N+cK [114.187.197.203])
2019/10/08(火) 13:38:33.16ID:EX96gh2V0 黄金比が審美医療で使われてるから顔のパーツの比を計測すれば美醜の判別は数値的にできると思う
あとはエントロピーの低い顔は美人なはず
ダウン症などの奇形顔はエントロピー高いから
あとはエントロピーの低い顔は美人なはず
ダウン症などの奇形顔はエントロピー高いから
156デフォルトの名無しさん (オッペケ Src5-mxGY [126.255.135.228])
2019/10/08(火) 17:22:33.79ID:73qw8B0jr >>155
何の、何に対するエントロピー?
何の、何に対するエントロピー?
157デフォルトの名無しさん (ワッチョイ 8901-o6K/ [126.25.129.72])
2019/10/08(火) 21:40:37.04ID:kGAGzuS00 平均的な顔がいいっていうデマね。
実際は美人バッカ集めて平均取った方が圧倒的に良かったとかそういう結果。
実際は美人バッカ集めて平均取った方が圧倒的に良かったとかそういう結果。
158デフォルトの名無しさん (ワッチョイ 93f1-y1nD [157.107.8.150])
2019/10/09(水) 04:18:18.15ID:+iZUlLJa0 そりゃーブサが平均に寄れば綺麗に見えるわ
159デフォルトの名無しさん (ワッチョイ 9359-o6K/ [157.14.225.51])
2019/10/09(水) 12:43:17.12ID:DoX5+3oi0 機械学習やるなら、Cかjavaかpythonだよなあ
データサイエンティストおよびクラウド系のデータエンジニアならpython
大規模開発およびローカル系のデータエンジニアならjava
ローカル系および組み込みならC
javaの領域は今後すこしずつ縮小していく見通しだから、
新規で入るならpythonかCがオススメ
データサイエンティストおよびクラウド系のデータエンジニアならpython
大規模開発およびローカル系のデータエンジニアならjava
ローカル系および組み込みならC
javaの領域は今後すこしずつ縮小していく見通しだから、
新規で入るならpythonかCがオススメ
160デフォルトの名無しさん (ワッチョイ 6955-VirS [180.44.111.72])
2019/10/09(水) 12:57:38.63ID:8Gadabtv0161デフォルトの名無しさん (ワッチョイ 9300-BjtM [221.118.182.153])
2019/10/09(水) 16:41:52.12ID:IFGahd8r0 Geforce一択?
162デフォルトの名無しさん (ワッチョイ 139c-2YwE [61.125.210.189])
2019/10/09(水) 18:03:33.95ID:joEVXQiz0 巷で売れてるkaggle本買いました
これから勉強します
これから勉強します
163デフォルトの名無しさん (トンモー MM8d-2TCp [210.142.95.200])
2019/10/09(水) 19:06:25.13ID:/Xo+Y8M3M 統計学の勉強を本気で始めたら
恐ろしく難しいということがわかってきた
どうしたらいい?
恐ろしく難しいということがわかってきた
どうしたらいい?
164デフォルトの名無しさん (ワッチョイ 8be3-G1PU [153.165.9.107])
2019/10/09(水) 19:07:25.32ID:qJaHnW7l0 参考書を変える
165デフォルトの名無しさん (オッペケ Src5-SxUP [126.208.204.78])
2019/10/09(水) 19:11:04.90ID:fonAqmctr >>161
amdも意外と使えるらしいけど、情報ないし疲れるよ。動かないとき常にうたがっちやうしね
amdも意外と使えるらしいけど、情報ないし疲れるよ。動かないとき常にうたがっちやうしね
166デフォルトの名無しさん (ワンミングク MMd3-y1nD [153.234.115.46])
2019/10/09(水) 19:19:32.23ID:4X2jyJQLM 古典統計学とベイズ統計学をちゃんと学びたい
>>166
統計論と確率論は違うものですか?
統計論と確率論は違うものですか?
168デフォルトの名無しさん (アウアウカー Sa55-UPw3 [182.251.143.167])
2019/10/09(水) 20:14:54.29ID:fTI0icewa 統計学の中で使われる道具の1つが確率論
169デフォルトの名無しさん (ワッチョイ 8901-o6K/ [126.25.129.72])
2019/10/09(水) 20:23:04.27ID:ZvOECUeE0170デフォルトの名無しさん (ワッチョイ 5377-xqA2 [115.38.59.80])
2019/10/09(水) 21:11:35.20ID:MK+5GX/v0 古典統計とは集合論と位相空間論から測度論に発展して確率論との関係性のあたり?
171デフォルトの名無しさん (ワッチョイ 93f1-y1nD [157.107.8.150])
2019/10/09(水) 22:40:50.59ID:+iZUlLJa0 わかんない
172デフォルトの名無しさん (ワッチョイ 0bda-jw9j [121.118.80.163])
2019/10/09(水) 22:44:05.44ID:zMnGtdTv0 アホ
173デフォルトの名無しさん (アウアウエー Sae3-G1PU [111.239.59.242])
2019/10/09(水) 22:58:19.23ID:Qjd49VQKa 現実問題として、測度論まで必要になることはあるかなあ?
まずは連続量ではなくて離散量での理解が先かと思われる
それならそんなに難しくないでしょ
まずは連続量ではなくて離散量での理解が先かと思われる
それならそんなに難しくないでしょ
174デフォルトの名無しさん (ワッチョイ 9bda-+sb9 [223.217.165.240])
2019/10/10(木) 00:11:01.13ID:O5ET7Lyz0 規定関数の概念と関数のノルムさえ理解していればいらん。
175デフォルトの名無しさん (ワッチョイ 9bda-+sb9 [223.217.165.240])
2019/10/10(木) 00:11:57.40ID:O5ET7Lyz0 逆にそれがわかってない研究者はくそ
176デフォルトの名無しさん (ワッチョイ 9bda-+sb9 [223.217.165.240])
2019/10/10(木) 00:14:30.11ID:O5ET7Lyz0 それ=『規定関数の概念と関数のノルム』な。
177デフォルトの名無しさん (ワッチョイ 9bda-+sb9 [223.217.165.240])
2019/10/10(木) 00:17:00.40ID:O5ET7Lyz0 わら。×規定
自分がわかってませんでした。
自分がわかってませんでした。
178デフォルトの名無しさん (トンモー MM59-d/3+ [210.142.95.200])
2019/10/10(木) 02:31:31.78ID:eF+ihzDEM グレブナー基底は重要だな
179デフォルトの名無しさん (アウアウクー MMe1-o74w [36.11.224.230])
2019/10/10(木) 06:52:08.55ID:H/x/U9NKM180デフォルトの名無しさん (アウアウクー MMe1-o74w [36.11.224.230])
2019/10/10(木) 06:53:03.85ID:H/x/U9NKM >>169
何故そこでcolabが出さない
何故そこでcolabが出さない
181デフォルトの名無しさん (アウアウカー Sa51-CdT3 [182.251.153.117])
2019/10/10(木) 10:19:46.41ID:xGOoNgUAa 統計学を理解できていないのに理解したと思い込んだ人はこういう頓珍漢なことを平気で言い出す
@Inetgate:
@usukutilife @u874072e 一般的な統計処理において、標本数が30を超える場合には正規分布を仮定できますが、
えん さんが調べた結果だと全然正規分布になってないので、食べログの数値操作疑惑、真っ黒じゃねーかと。
https://twitter.com/Inetgate/status/1181488204068749312
https://twitter.com/5chan_nel (5ch newer account)
@Inetgate:
@usukutilife @u874072e 一般的な統計処理において、標本数が30を超える場合には正規分布を仮定できますが、
えん さんが調べた結果だと全然正規分布になってないので、食べログの数値操作疑惑、真っ黒じゃねーかと。
https://twitter.com/Inetgate/status/1181488204068749312
https://twitter.com/5chan_nel (5ch newer account)
182デフォルトの名無しさん (アウアウクー MMe1-o74w [36.11.224.230])
2019/10/10(木) 10:23:07.08ID:H/x/U9NKM 母集団の分布が正規分布に従うと"仮定"すれば、間違ってない意見だな
仮定すれば
仮定すれば
183デフォルトの名無しさん (アウアウクー MMe1-o74w [36.11.224.230])
2019/10/10(木) 10:25:56.74ID:H/x/U9NKM って、もとのグラフをみたらbin数がやばかった・・・
184デフォルトの名無しさん (アウアウエー Sa13-NJTS [111.239.59.242])
2019/10/10(木) 14:07:25.58ID:9SEfnsqfa 標本抽出の仕方がランダムサンプリングで
母集団が正規分布の時だけに成り立つことを言っているな
母集団が正規分布の時だけに成り立つことを言っているな
185デフォルトの名無しさん (ワッチョイ 0da5-X53N [42.127.86.111])
2019/10/10(木) 18:30:07.85ID:7gKn5Xz20 競馬あてて見たいんだけど特徴量として前5走を使いたいんだけどどんな実装にすればいいのかな
どなたかヒントいただけないでしょうか
どなたかヒントいただけないでしょうか
186デフォルトの名無しさん (ワイーワ2 FF93-1wBF [103.5.142.122])
2019/10/10(木) 18:50:01.66ID:i+8+28k+F 前走の結果より血統でやった方が良いって先輩は言ってた
187デフォルトの名無しさん (ワッチョイ e377-vt6R [115.38.57.104])
2019/10/10(木) 18:56:00.12ID:cL0M7hVK0 入力で与えるのが出馬一覧とかで順番の意味を無くしたいならPointNetとかの構造を真似したりすればいいんじゃない
188デフォルトの名無しさん (ワッチョイ 9501-o74w [126.25.129.72])
2019/10/10(木) 21:27:00.23ID:aZnaY5Is0189デフォルトの名無しさん (アウアウエー Sa13-NJTS [111.239.56.45])
2019/10/10(木) 23:11:06.33ID:bdrwblpoa >>185
ググればソースコード付きでいろいろ出てくるが
ググればソースコード付きでいろいろ出てくるが
190デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/11(金) 08:18:38.76ID:mCGV3tUv0 >>184
中心極限定理の話しで
標本数を30にした平均値の分布は
元の分布に関係なく正規分布とみなせるって事だよな
食べログの分布もその分布から標本を30取り出して
平均値を求める操作を10000回繰り返して
平均値の分布を描くと正規分布に近くなるはず
中心極限定理の話しで
標本数を30にした平均値の分布は
元の分布に関係なく正規分布とみなせるって事だよな
食べログの分布もその分布から標本を30取り出して
平均値を求める操作を10000回繰り返して
平均値の分布を描くと正規分布に近くなるはず
191デフォルトの名無しさん (ワッチョイ 0da5-X53N [42.127.86.111])
2019/10/11(金) 11:53:47.65ID:BrwAZKhG0192デフォルトの名無しさん (ワイーワ2 FF93-1wBF [103.5.142.233])
2019/10/11(金) 11:58:01.09ID:hkXt1GtmF 重量ハンデは?
193デフォルトの名無しさん (アウアウクー MMe1-o74w [36.11.225.81])
2019/10/11(金) 14:41:23.78ID:uWNk0GcMM アルバイトでデータ解析やってる人間の意見としては、
とにかく役立ちそうな特徴量を選択せずにぶち込めるだけぶち込んで、
一度xgbかcgbを回してみればいいんじゃない
そうすれば重要な特徴量が何か抽出できるでしょ
話はそれからよ
勝ち馬をよく当てる人が何を大切にしているか調べることからはじめるべき
とにかく役立ちそうな特徴量を選択せずにぶち込めるだけぶち込んで、
一度xgbかcgbを回してみればいいんじゃない
そうすれば重要な特徴量が何か抽出できるでしょ
話はそれからよ
勝ち馬をよく当てる人が何を大切にしているか調べることからはじめるべき
194デフォルトの名無しさん (ワッチョイ 7dda-C28+ [114.187.197.203])
2019/10/12(土) 10:11:52.93ID:UGc1lgsI0 馬を株の銘柄に置き換えてリターンとリスク(分散)を元に
共分散使って有効フロンティアの曲線を引いて
無差別曲線と接する部分の比を見てパーセンテージの高い順に馬を買うってのは?
共分散使って有効フロンティアの曲線を引いて
無差別曲線と接する部分の比を見てパーセンテージの高い順に馬を買うってのは?
195デフォルトの名無しさん (ワッチョイ 653c-b92j [118.240.95.156])
2019/10/13(日) 00:20:47.58ID:kaSZg9r20 >>184
すでに指摘されているが、母集団の分布は正規分布である必要はない
>>190
中心極限定理の話(前半の話)はそうだけども、後半の部分は何が言いたいのかよく分からない
食べログの評点は一人当たり整数値の1~5を付けられる(ある店舗における点数分布をAとする)
各店舗は添付ごとにN人の評価の平均を平均点として算出する(各店舗の平均点分布をBとし、これが話題となっている分布)
Aの採点を行うのが一般人であると仮定すると、各店舗は同一の母集団確率分布に従うものと仮定でき、各店舗の確率変数X1, X2, …, XNは同一の母集団確率分布からのランダムサンプルと考えられる
大数の法則により、標本平均(分布Bのこと)は母集団の平均に近づき正規分布になる
標本数30以上というのはNが30以上ということで、この部分は残念ながら自明ではない
ある焼肉屋の評価は67件から構成されているが、別の焼肉屋は2件となっている
つまり最大限「食べログ」を擁護するのであれば、標本数が30以上ではないため前提条件が間違っている、ということだろうか
すでに指摘されているが、母集団の分布は正規分布である必要はない
>>190
中心極限定理の話(前半の話)はそうだけども、後半の部分は何が言いたいのかよく分からない
食べログの評点は一人当たり整数値の1~5を付けられる(ある店舗における点数分布をAとする)
各店舗は添付ごとにN人の評価の平均を平均点として算出する(各店舗の平均点分布をBとし、これが話題となっている分布)
Aの採点を行うのが一般人であると仮定すると、各店舗は同一の母集団確率分布に従うものと仮定でき、各店舗の確率変数X1, X2, …, XNは同一の母集団確率分布からのランダムサンプルと考えられる
大数の法則により、標本平均(分布Bのこと)は母集団の平均に近づき正規分布になる
標本数30以上というのはNが30以上ということで、この部分は残念ながら自明ではない
ある焼肉屋の評価は67件から構成されているが、別の焼肉屋は2件となっている
つまり最大限「食べログ」を擁護するのであれば、標本数が30以上ではないため前提条件が間違っている、ということだろうか
196デフォルトの名無しさん (アウアウカー Sa51-CdT3 [182.251.152.98])
2019/10/13(日) 00:57:27.47ID:0ePwtCDKa 各店の平均化する前の採点が同一母集団に従うという仮定に無理がありすぎる
例えばラーメン屋とスイーツ店の採点者が同じ傾向の採点するなんて仮定は不自然
例えばラーメン屋とスイーツ店の採点者が同じ傾向の採点するなんて仮定は不自然
197デフォルトの名無しさん (ワッチョイ 653c-3Hkb [118.240.95.156])
2019/10/13(日) 00:59:42.54ID:kaSZg9r20198デフォルトの名無しさん (アウアウウー Sac9-KA+R [106.161.128.168])
2019/10/13(日) 06:54:46.01ID:ObLeezZqa >>159
Juliaでしょう。
Juliaでしょう。
199デフォルトの名無しさん (アウアウウー Sac9-KA+R [106.161.128.168])
2019/10/13(日) 06:56:55.49ID:ObLeezZqa >>160
Flux
Flux
200デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 07:21:13.99ID:Fxu1r5BT0 >>195
大数の法則は標本数を増やすと標本平均が母平均に近づくということ
中心極限定理は平均値の分布に関する定理
食べログの評価の数が30になった時点で平均値を計算して
一度リセットするのを繰り返す
その平均値の分布は正規分布に近づく
今の評価の分布がその店に行く人の評価の分布を表している
のであれば今の評価分布から30標本を取って平均値を求める
操作を復元抽出で繰り返しても同じような結果になるだろう
大数の法則は標本数を増やすと標本平均が母平均に近づくということ
中心極限定理は平均値の分布に関する定理
食べログの評価の数が30になった時点で平均値を計算して
一度リセットするのを繰り返す
その平均値の分布は正規分布に近づく
今の評価の分布がその店に行く人の評価の分布を表している
のであれば今の評価分布から30標本を取って平均値を求める
操作を復元抽出で繰り返しても同じような結果になるだろう
201デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 07:23:54.12ID:Fxu1r5BT0 ある店の評価分布は標本数が多くなっても正規分布になるとは言えない
分散が広くなるのはその店のサービスや品質が安定していない事が原因になりうる
その店の特徴が分布に反映される
同様に店を評価する側の特徴も反映されるだろう
分散が広くなるのはその店のサービスや品質が安定していない事が原因になりうる
その店の特徴が分布に反映される
同様に店を評価する側の特徴も反映されるだろう
202デフォルトの名無しさん (ブーイモ MM89-ToAo [202.214.125.165])
2019/10/13(日) 07:58:04.98ID:S6cUkNQoM 深層学習の凄いことのひとつは特徴量を人が設計する必要がない、と本とかに書いてありますが、どう理解すればいいのか分からず教えてください!
ここでいう深層学習とはニューラルネットのことですか?(線形回帰やSVMと違って説明変数を人間が決めてないから? )
ここでいう深層学習とはニューラルネットのことですか?(線形回帰やSVMと違って説明変数を人間が決めてないから? )
203デフォルトの名無しさん (ワッチョイ 8302-o74w [101.142.8.160])
2019/10/13(日) 08:07:52.14ID:A69S9ntC0 レビューを投稿する行動を取る時点で母集団にサンプルバイアス
204デフォルトの名無しさん (ワッチョイ 653c-3Hkb [118.240.95.156])
2019/10/13(日) 08:55:43.76ID:kaSZg9r20 >>201
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ
食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか?
あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ
食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか?
あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか
205デフォルトの名無しさん (アウアウカー Sa51-vt6R [182.251.195.232])
2019/10/13(日) 09:26:19.57ID:vNAU+AUMa >>201
各店舗の分散は各店舗の分布には影響しても全店舗の平均値の分布には影響しないでしょ
各店舗の分散は各店舗の分布には影響しても全店舗の平均値の分布には影響しないでしょ
206デフォルトの名無しさん (アウアウカー Sa51-CdT3 [182.251.154.80])
2019/10/13(日) 10:08:21.52ID:uKg8mtfTa 中心極限定理はあくまで「同一の母集団から得た独立な確率変数であれば、十分な数の平均値を集めたものの分布が正規分布に近似できる」というもの
全店舗の採点者が同一の基準に従う採点を行うという前提が成り立たなければ成立しない定理
全店舗の採点者が同一の基準に従う採点を行うという前提が成り立たなければ成立しない定理
207デフォルトの名無しさん (ワッチョイ 653c-3Hkb [118.240.95.156])
2019/10/13(日) 10:56:42.24ID:kaSZg9r20 >>206
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど
同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする
正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない
つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど
同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする
正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない
つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う
208デフォルトの名無しさん (ワッチョイ 9501-o74w [126.25.129.72])
2019/10/13(日) 12:13:54.05ID:pJwii1Hg0209デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 12:41:16.37ID:Fxu1r5BT0 >>205
平均値についても同様の事が言える
仮に評価する側が同じだとしても
店舗の特徴によって分布の形は変わる
分布の形を見る事で店舗の特徴を把握してその店を利用するかどうかを事前に利用者が判断できるようにするサービス
が本来目標としたものかもしれない
分布を意図的に操作する事で金儲けに利用しようとした疑いが上がっているという問題だと思う
平均値についても同様の事が言える
仮に評価する側が同じだとしても
店舗の特徴によって分布の形は変わる
分布の形を見る事で店舗の特徴を把握してその店を利用するかどうかを事前に利用者が判断できるようにするサービス
が本来目標としたものかもしれない
分布を意図的に操作する事で金儲けに利用しようとした疑いが上がっているという問題だと思う
210デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 12:44:15.71ID:Fxu1r5BT0 >>207
評価尺度はただの順序尺度で間隔尺度ではないだろう
評価尺度はただの順序尺度で間隔尺度ではないだろう
211デフォルトの名無しさん (トンモー MM59-d/3+ [210.142.95.4])
2019/10/13(日) 12:53:02.60ID:sm0sVhGqM212デフォルトの名無しさん (ワッチョイ 653c-b92j [118.240.95.156])
2019/10/13(日) 13:19:59.66ID:kaSZg9r20 いかん、ラーメン屋の得点とスイーツ屋の得点を合わせて平均するとか謎なことをしていた
改めてデータに立ち戻ろう
3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ
次に3.8にギャップがある理由を考えてみる
元のデータを見た所、2つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある
この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか
ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ
改めてデータに立ち戻ろう
3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ
次に3.8にギャップがある理由を考えてみる
元のデータを見た所、2つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある
この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか
ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ
213デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 13:25:37.35ID:Fxu1r5BT0 操作がなかったという帰無仮説を棄却できるかどうかじゃね?
214デフォルトの名無しさん (ワッチョイ 653c-b92j [118.240.95.156])
2019/10/13(日) 13:39:33.29ID:kaSZg9r20 >>202
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html
にある
CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく
ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html
にある
CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく
ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ
215デフォルトの名無しさん (アウアウエー Sa13-NJTS [111.239.57.16])
2019/10/13(日) 13:45:19.51ID:48i2xCpca 三層のニューラルネットワークでは xor を分離できないという問題は
さらに多層になったことで何で解消されたの?
さらに多層になったことで何で解消されたの?
216デフォルトの名無しさん (ワッチョイ e394-P4H7 [115.37.73.212])
2019/10/13(日) 14:17:08.81ID:25TC8kRG0 3.8を超えた評価を3.6に落としてるって仮定したらほぼ同じヒストグラムになる
https://i.imgur.com/NrNIWrn.jpg
平均3.8標準偏差0.5で正規分布を生成して、3.8を超えた評価値を90%の確率で平均3.6標準偏差0.01の正規分布で取り直す操作をした(N=1000)
ただ同じだからと言って>>212のように元データの特徴量ごとの性質の違いを反映しているだけかもしれない
https://i.imgur.com/NrNIWrn.jpg
平均3.8標準偏差0.5で正規分布を生成して、3.8を超えた評価値を90%の確率で平均3.6標準偏差0.01の正規分布で取り直す操作をした(N=1000)
ただ同じだからと言って>>212のように元データの特徴量ごとの性質の違いを反映しているだけかもしれない
217デフォルトの名無しさん (アウアウエー Sa13-P4H7 [111.239.178.130])
2019/10/13(日) 14:21:02.62ID:qY0pTgmia >>213
操作がないという帰無仮説について仮説検定の方法で検証するには操作がない場合の点数の理想的な分布を知っていなければならない
その理想分布に基づいて実際の分布がどの程度ずれているのかを確認するのが仮説検定なのだから
しかしそんなもの知り得ないので検定のしようがない
操作がないという帰無仮説について仮説検定の方法で検証するには操作がない場合の点数の理想的な分布を知っていなければならない
その理想分布に基づいて実際の分布がどの程度ずれているのかを確認するのが仮説検定なのだから
しかしそんなもの知り得ないので検定のしようがない
218デフォルトの名無しさん (アウアウウー Sac9-B2ag [106.154.130.6])
2019/10/13(日) 14:23:09.86ID:llG9wcVha219デフォルトの名無しさん (ブーイモ MM59-ToAo [210.138.208.219])
2019/10/13(日) 14:45:50.67ID:TJDkUn5hM220デフォルトの名無しさん (ワッチョイ 653c-b92j [118.240.95.156])
2019/10/13(日) 15:01:05.43ID:kaSZg9r20 >> 215
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
https://www.infiniteloop.co.jp/blog/wp-content/uploads/2017/12/XOR.png
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ!?って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
https://www.infiniteloop.co.jp/blog/wp-content/uploads/2017/12/XOR.png
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ!?って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
221デフォルトの名無しさん (アウアウエー Sa13-NJTS [111.239.57.16])
2019/10/13(日) 18:39:55.88ID:48i2xCpca 二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?
何でもっと多層が必要なの?
222デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 18:43:34.64ID:Fxu1r5BT0223デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 18:44:48.26ID:Fxu1r5BT0 >>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して
224デフォルトの名無しさん (アウアウウー Sac9-B2ag [106.154.130.6])
2019/10/13(日) 19:30:49.94ID:llG9wcVha225デフォルトの名無しさん (アウアウウー Sac9-B2ag [106.154.130.6])
2019/10/13(日) 19:32:44.25ID:llG9wcVha >>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから
226デフォルトの名無しさん (ワッチョイ cb10-vzjJ [153.131.102.129])
2019/10/13(日) 20:04:55.16ID:Fxu1r5BT0227デフォルトの名無しさん (アウアウウー Sac9-B2ag [106.154.130.6])
2019/10/13(日) 20:33:11.99ID:llG9wcVha228デフォルトの名無しさん (トンモー MM59-d/3+ [210.142.95.69])
2019/10/13(日) 20:44:50.78ID:/3kPh57iM ディープキスのほうがいい!
舌をからませるの
立つよね!
舌をからませるの
立つよね!
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- バリ島で男子生徒ら集団万引きか、防犯カメラ映像が拡散 京都の大谷中学・高校が「窃盗行為」謝罪★4 [七波羅探題★]
- 【地震速報】青森県で震度6強 沿岸部に津波警報 ★6 [ぐれ★]
- 【速報】気象庁は津波注意報すべて解除 [蚤の市★]
- 「日の丸にバツ印」掲げた大学生 あいまいな国旗損壊罪に「怖い」 The Mainichi [少考さん★]
- 【テレビ】25年ぶり復活「炎のチャレンジャー」南原清隆&菊池風磨がMC 懐かし「電流イライラ棒」も [湛然★]
- 【音楽】BARBEE BOYS・KONTAが事故で四肢麻痺を公表、新体制で活動は継続 [少考さん★]
- 働いて参ります
- ( ・᷄ὢ・᷅ )あ?
- ブタをぶったたく
- とうとう袖なしジージャン買ったったwww
- こんな自転車乗ってたやつがいたら?
- 【画像】童貞は絶ッッッ対"4"を選ぶバレー部J Kが寮でパンパンの集合写真見つけちゃったwwwwwwwwwwwwww [904880432]
