【統計分析】機械学習・データマイニング24

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ﾜｯﾁｮｲ 8b01-ZQWL [60.65.176.121])
垢版 |
2019/05/01(水) 10:39:45.57ID:Wg+J+pQH0
機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured
704デフォルトの名無しさん (ｱｳｱｳｸｰ MM92-nxHx [36.11.225.209])
垢版 |
2019/06/10(月) 19:47:28.66ID:zRTuBs9kM
ビジネスだけど？
2019/06/10(月) 20:15:35.50ID:laqTwvRyp
>>703
何がやりたいかによるかな

覚えるという言葉から察するに応用したいんだと思うけどkeras使ってfit回すのと、scikit-learn使ってfit回すのでは、ソースコードは殆ど同じように思う

そういう意味では、やりたい事と手法のマッピングをすることに意味があって、その手法がDeep Learningだろうがそうでなかろうが、あまり意味がないと思う

統計モデリングは少し腰を落ち着かせて勉強しないと身につかないので、世の中のデータサイエンティストでも活用できている人は少ないのではないかと思う
2019/06/10(月) 21:09:57.64ID:RiY8Pa+r0
>>703
今のところ必要ないと思う
今一番成果が出てる手法だけを使うべき
2019/06/10(月) 22:36:21.02ID:EQVv/EW6a
統計モデルについてはこの動画の説明が分かりやすいからこれ見ろ
https://youtu.be/wO8jd0z5YRQ
2019/06/10(月) 22:39:30.02ID:cl88emhA0
赤本読めよ
709デフォルトの名無しさん (ｱｳｱｳｳｰ Sa23-211C [106.180.11.238])
垢版 |
2019/06/10(月) 23:11:32.89ID:+ahrTwMVa
>>703
実用を考えるとディープラーニングができるほど綺麗なデータが大量に使えることってあまりないからむしろ他の機械学習手法の方を知っていると強い
2019/06/10(月) 23:29:42.63ID:A95SX7z40
＞500
711デフォルトの名無しさん (ﾄﾝﾓｰ MM95-E31s [210.142.95.107])
垢版 |
2019/06/11(火) 02:42:37.45ID:ZQzbuTIBM
>>709
禿同

>>706
馬鹿
2019/06/11(火) 18:09:22.34ID:6NZpwaykM
機械学習って楽しいですか？
2019/06/11(火) 18:36:41.34ID:SdCAq12yd
楽しくはない。
機械学習はあくまでもサブ技術。
メインに専攻すべきではない。
714デフォルトの名無しさん (ｱｳｱｳｸｰ MM92-nxHx [36.11.224.188])
垢版 |
2019/06/11(火) 18:48:27.85ID:QClOim5zM
ひとによるだろ
そんなこと聞いてどーすんの？
715デフォルトの名無しさん (ﾄﾝﾓｰ MM95-E31s [210.142.95.107])
垢版 |
2019/06/11(火) 19:01:09.34ID:ZQzbuTIBM
>>712
大好き！楽しい！
統計学の勉強も楽しい！
現在、統計学の応用の5本目の
論文書いてるところ。
ただ、仕事から帰って書いてるだから
時間足りなさすぎ！
2019/06/11(火) 19:39:18.49ID:XL/fn5z60
という夢をみたのであった
2019/06/11(火) 19:40:07.84ID:XL/fn5z60
嫉妬野郎でござった
2019/06/11(火) 19:44:25.65ID:ko492/aS0
そろそろ論文もAIが書くよ
てか生成系のモデル悪用の将来はいかに
2019/06/11(火) 19:46:19.65ID:rt/UvHAD0
論文はAIが書き、人間はアノテーション作業に明け暮れるのであった。
2019/06/11(火) 21:18:16.47ID:tg9Aa7Nc0
アノテーションって転移学習とかで自動化出来そうで出来ないな
2019/06/12(水) 05:09:56.24ID:fMVFjy++0
文章生成系を生成系というと怒る人がいる
2019/06/12(水) 08:31:05.93ID:fMVFjy++0
ソフトバンクの社外取締役っていくらもらえるんだろう。。。
1億円くらい？
723デフォルトの名無しさん (ﾄﾝﾓｰ MM95-E31s [210.142.95.107])
垢版 |
2019/06/12(水) 08:34:59.71ID:+0pwNKukM
そん正義が連れてきたインド人役員は
100億円もらってたんだよね
ま、インド人だから高いのよ
中国人も高い
次は韓国人
奴隷は日本人

在日ならソフトバンクに
行けばいいよ
韓国名で応募してね！
仕事は通名(日本名)でOk
2019/06/12(水) 09:01:52.01ID:k5XrsZPH0
ソフトバンクの社内役員は基本的に1億円。孫正義も同額で全額被災者に寄付を続けている。
他にストックオプションなども有るだろうけど。
725デフォルトの名無しさん (ｱｳｱｳｸｰ MM92-nxHx [36.11.225.226])
垢版 |
2019/06/12(水) 09:26:41.42ID:3wcfQWS2M
松尾豊はソレで研究し金に
2019/06/12(水) 09:27:07.85ID:R4nJHUbN0
太陽光発電所を作ります（大法螺）
727デフォルトの名無しさん (ﾄﾝﾓｰ MM95-E31s [210.142.95.80])
垢版 |
2019/06/12(水) 12:38:17.82ID:Wmv+D3tsM
>>724
へー本当に寄付してんだ
口先だけかと思ってたよ
で、どこに寄付してんの？
2019/06/12(水) 17:00:13.34ID:cGak2oaxp
>>726 たくさん作ってるじゃん。 サウジのやつは没になったけど。 国内では最大手に近いんじゃないのか？
2019/06/12(水) 19:12:40.23ID:yRay9q0a0
>>728
埼玉県にきまってるだろ
2019/06/12(水) 19:19:26.93ID:yRay9q0a0
計画はすべて尻つぼみ（笑）
2019/06/12(水) 19:24:11.00ID:yRay9q0a0
メガソーラーは1都道府県ごとに事業会社を設立して運営する考え。仮に20メガワット規模
の発電所が1年間稼働して売電すると、売上高は8億円規模になるという。国の規制で実現
していない発電した電力の全量買い取りや電力会社が持つ送電網との接続などが事業成立
の条件で課題は山積みだ。また発電事業とは別に埼玉県や神奈川県など地方自治体と
自然エネルギーの普及促進へ政策提言する団体「自然エネルギー協議会」も設立する。
2019/06/12(水) 22:40:31.71ID:BSq+d1KN0
機械学習って色んな手法あるけどみんなどれも覚えてるもんなの？
参考書やってて種類多すぎてどのケースでどれ使えばいいのかすら分からん
2019/06/12(水) 22:50:24.33ID:mQ+7g/y1d
手法を覚えるって、手法の何を覚えるんだ
2019/06/13(木) 09:44:39.89ID:g8amv0Zv0
>>732
手法を使えよ
2019/06/13(木) 11:41:27.81ID:qBC/YmXXM
名前と特徴、適正でしょ
2019/06/13(木) 12:04:23.81ID:bhCstcom0
Colaboratoryで巨大なデータセット扱うおすすめの方法を教えてください
自宅にwebサーバー建ててColaboratoryからwgetしてみたのですが、40Gあるのでアップだけで2時間、展開で1時間とか効率悪すぎて泣けてきます
Googleドライブ有料版をマウントして使ってみたのですが、何か1日の転送量最大値があるのかファイルが破損してしまいます
何かいいアイデアください！
737デフォルトの名無しさん (ｱｳｱｳｸｰ MM8f-cDow [36.11.224.174])
垢版 |
2019/06/13(木) 13:11:29.71ID:3Y+kP9XaM
回線が遅いって話？
速くすれば？
2019/06/13(木) 13:36:35.55ID:2T1UAjXOa
>>736
ファイルを分割して並列であげろ
2019/06/13(木) 14:39:13.04ID:bhCstcom0
>>737
まあ、回線も遅いですが他の方法でアップしなくてもいい方法とかないかなと
>>738
aria2てので並列ダウンロードしてみます！
2019/06/13(木) 18:38:00.31ID:bhCstcom0
うーん、Google側が細いのか最大で10MB/s位しかでないですね
741デフォルトの名無しさん (ﾄﾝﾓｰ MMc3-h2kG [210.142.95.196])
垢版 |
2019/06/14(金) 00:22:53.60ID:Gaxv7IADM
当たり前じゃん？
どんだけの人がアクセスしとると思ってる？
742デフォルトの名無しさん (ﾜｯﾁｮｲ 123e-27yU [149.54.201.210])
垢版 |
2019/06/14(金) 00:57:35.96ID:7+4XKUlI0
>>736
webサーバ建てる必要性ある？
2019/06/14(金) 10:18:19.40ID:2Fe7zdUeH
有料の環境つかえよ…
2019/06/14(金) 15:52:36.68ID:rI3r/fFD0
https://hazm.at/mox/machine-learning/computer-vision/classification/keras-provided-cnn/index.html
これって
loss 順調に下がって下がり止まって,
acc 順調に上がって上がりきっても
val_loss val_acc 安定していないけど最終的に収束してて驚く

この不安定な val_loss val_acc だけど学習続けたのは,
loss acc が安定していたからなのかな？
いつ収束するかわからないまま学習続けるとか狂気の沙汰な気がする・・・
745デフォルトの名無しさん (ｱｳｱｳｸｰ MM8f-cDow [36.11.224.178])
垢版 |
2019/06/14(金) 17:23:40.19ID:Wi4bG/9MM
何が言いたいのか
感想？
2019/06/14(金) 17:32:41.95ID:rI3r/fFD0
いや loss acc が安定していれば val_loss val_acc が不安定でも収束に向かうのか知りたい
発散してるように見えても大丈夫なのかなと
2019/06/14(金) 19:31:51.91ID:M8ulC+VI0
　大丈夫
748デフォルトの名無しさん (ﾜｯﾁｮｲ ae66-cDow [183.77.216.198])
垢版 |
2019/06/15(土) 12:43:28.02ID:XjE03gEa0
gpt-2もマスクがバックにいるから
大袈裟に盛ってるんだろうなと思う
2019/06/15(土) 17:54:48.11ID:3j3poNkN0
低い精度で収束しちゃった場合はどうすればいいの？
750デフォルトの名無しさん (ｱｳｳｨﾌ FF6b-jEB4 [106.171.76.104])
垢版 |
2019/06/15(土) 18:01:34.11ID:NPtNfhdjF
インポ
2019/06/15(土) 18:26:18.80ID:XjE03gEa0
何をもって低いと判断？
2019/06/15(土) 19:04:43.64ID:3j3poNkN0
valdation accuracyが0.3位で動かなくなっちゃった
753デフォルトの名無しさん (ﾜｯﾁｮｲ c7ad-h2kG [124.144.197.178])
垢版 |
2019/06/15(土) 19:35:13.28ID:REOBTzcy0
他の方法を試す
データを増やす
2019/06/15(土) 20:09:59.21ID:3j3poNkN0
他の方法はモデルの変更とか、オプティマイザの変更とかでしょうか
データ量はもう増やせそうにないです
2019/06/15(土) 20:26:29.56ID:oNMgwv5d0
ノイズをのせる
2019/06/15(土) 21:19:32.93ID:XjE03gEa0
なんのタスクなの？
2019/06/15(土) 21:26:47.58ID:3j3poNkN0
画像分類です
650種類で、各200枚ほどの教師データです
2019/06/15(土) 21:52:22.51ID:U5fh38HZ0
指摘できる可能性が多過ぎて情報小出しにするのやめろ
2019/06/15(土) 22:10:12.02ID:3j3poNkN0
すみません
小出しにしているつもりはないのですが
初学すぎて何を出すべきなのかもわかりません

単純な各200画像分類を10クラスで学習して十分な精度が得られました
30クラスでも十分な精度が得られました
なので600まで増やしてみました
Keras で tf をラップし、
オプティマイザはAdam
modelはxceptionで108層までフリーズさせています
2019/06/15(土) 22:26:19.43ID:U5fh38HZ0
フリーズ以降のFC層は？
2019/06/15(土) 23:41:50.06ID:3j3poNkN0
触ってません
762デフォルトの名無しさん (ｻｻｸｯﾃﾛ Sp4f-sVqB [126.33.225.63])
垢版 |
2019/06/16(日) 03:50:23.99ID:mrnjCxzMp
機械学習の教師データの意味が分からないのですが、入力データを教師データに近づけて行くのが学習ということであってますか？それとも教師データは学習時の正確性を図るためだけのものなのでしょうか？質問が拙くて申し訳ありません。
763デフォルトの名無しさん (ﾜｯﾁｮｲ ae66-bbbA [183.77.216.198])
垢版 |
2019/06/16(日) 07:08:35.54ID:rp/1F5B10
AutoMLにぶっこめば簡単に高精度が出る
https://cloud.google.com/vision/automl/docs/beginners-guide?hl=ja
764デフォルトの名無しさん (ﾜｯﾁｮｲ c7ad-h2kG [124.144.197.178])
垢版 |
2019/06/16(日) 16:36:11.78ID:zi6PIII50
>>757
650種で各200だと？
どういう物の判別か知らんけど
絶対に無理だと思う。

俺の経験から言うと
最低でもその10倍以上は必要と思う。
種類が多いからね。
765デフォルトの名無しさん (ﾜｯﾁｮｲ 1682-ExGk [113.20.238.175])
垢版 |
2019/06/16(日) 17:41:35.14ID:Fp97SQ0B0
この世界に存在しない人物の画像をワンタッチで簡単に生成できる「This person does not exist」
https://gigazine.net/news/20190217-this-person-does-not-exist/

これって、用意された画像をランダムに表示しているだけですか？
それとも、更新する度に一瞬で生成しているの？
2019/06/16(日) 18:18:13.85ID:rp/1F5B10
gigazineに聞け
2019/06/16(日) 22:32:14.35ID:0s8OobEM0
ビジネスで使うデータ分析って何？
ｔ検定、カイ2乗検定、主成分分析、、、？
2019/06/16(日) 22:53:42.26ID:sdZe9hov0
>>764
わざわざ返信ありがとうございます

https://www.flowername.sint.ai/
ここは花ですが、
257クラスで10000枚1クラスあたり約40枚でそれなりの精度が得られているみたいです
これは特殊な例なのでしょうか
2019/06/17(月) 01:35:30.06ID:ikfjEprK0
>>767
圧倒的に主成分分析
2019/06/17(月) 01:40:35.29ID:3nvSauNK0
>>767
どれもよく使うけど主成分分析が多いイメージがある
2019/06/17(月) 01:43:43.86ID:3nvSauNK0
>>768
使う手法によると思うなぁ
適当なニューラルネットワークで精度上げるならやはりデータ量が決め手だとおもう
データ量が少ない状態で精度あげるには、ネットワークの選定やパラメータの調整がしんどいと思う
2019/06/17(月) 09:00:26.51ID:+0WLzjC8a
ビジネスでは検定の出番は多分ないと思う
773デフォルトの名無しさん (ﾜｯﾁｮｲ f747-9/hx [150.249.206.28])
垢版 |
2019/06/17(月) 11:17:33.99ID:k0TPj4160
ケースによる

ベイズ統計が大はやりの現状を見たらフィッシャー先生大激怒？
2019/06/17(月) 12:12:53.43ID:qGWgX2vna
有意水準5%の検定を行うとして5%ラインを僅かでも上回るならOK、僅かでも下回るならNGというような極端な使い方をせずにあくまで判断の目安にするだけならいいが、このような極端な使い方が割と蔓延している
2019/06/17(月) 12:35:15.40ID:X5xlHef/M
何に使えるのか考えるのも難しい
776デフォルトの名無しさん (ﾄﾝﾓｰ MMc3-h2kG [210.142.95.238])
垢版 |
2019/06/17(月) 18:52:45.48ID:bJSnmi3rM
>>767
分析方法じゃないけど
客に見せるのはヒストグラム、
散布図、折れ線グラフが多い。

簡単な図で一目で「なるほど！」
と客に思わせるようにしなければならない。
そこが腕の見せどころ。

DLやR―Forestやら、SEMやらの
難しい方法は、
客が？で次の仕事無くなるので、
どうしても必要なときしか使わないようにしてる。
2019/06/17(月) 20:11:39.74ID:793xWBfG0
semってなに？
2019/06/17(月) 20:18:10.68ID:fqYLifJKp
>>774
p値論争あったねぇ

これまでp値で論文を書いてきた人たちには、p値はそこまで信頼できない事実に薄々気づいてたけど、ハッキリと宣言されて受け入れられない人は多いんじゃなかろうか

H0: とりあえずp値を信頼することにする

p値が信頼できるかどうかを、帰無仮説にしてしまおう
2019/06/17(月) 20:37:35.91ID:G+aoI1Nz0
>>777
走査電子顕微鏡
2019/06/17(月) 21:39:43.78ID:ldY4JpVQ0
>>778
何にも知らないなら黙っておいた方がいいよ
2019/06/17(月) 21:50:26.06ID:ikfjEprK0
SEMつったら一般には>>779だな
2019/06/17(月) 22:02:54.11ID:3nvSauNK0
>>780
何かを知ってるなら情報を出しなよ
現代の使い方、というか現場におけるp値の使い方のヤバさは現場ほどよく知ってるだろ
統計的な有意差を出すための様々な悪しき風習があるのも知らない理論屋さんかな？
2019/06/17(月) 23:46:42.88ID:W17QvXl10
テクニカルタームとか三文字アルファベットを振り回すバカが多いのは
どうにかならないもんかね
784デフォルトの名無しさん (ﾜｯﾁｮｲ 02b0-bbbA [123.224.100.119])
垢版 |
2019/06/18(火) 06:13:04.10ID:3nOE2mBA0
プログラム板にキチガイ降臨中！botに一晩も反応する異常さ
一般人(学校恩師)に殺害予告をしているのでスレ建て通報してください。
https://mevius.5ch.net/test/read.cgi/tech/1559872586/

142 名前：a4 ◆700L1Efzuv 投稿日：2019/06/18(火) 05:29:55 ID://qVkzO
>>141
名古屋の人な　俺ね、君の問題を大橋先生と混ぜないことにする。つまりね、
片桐孝洋のことをボコろうと思う。普通に顎の骨を折る。これくらいで警察来るか？
一般市民とかさ、普通にさ、俺らの秘密なんだけどさ、日本人なんて復活ねーから。
785デフォルトの名無しさん (ﾄﾝﾓｰ MMc3-h2kG [210.142.95.238])
垢版 |
2019/06/18(火) 08:51:37.10ID:00AvbiomM
>777
構造方程式モデル
2019/06/18(火) 09:40:18.39ID:hY1ZJsXw0
>>785
ｻﾝｸｽ

へー共分散構造解析か
人文系で頻出なの？
787デフォルトの名無しさん (ﾜｯﾁｮｲ 6b7c-jEB4 [122.215.159.99])
垢版 |
2019/06/18(火) 14:11:15.67ID:1CtlGReK0
逮捕されたNHKのチーフプロデューサーって
AIってなんだのひとか
788デフォルトの名無しさん (ﾜｯﾁｮｲ 1682-ExGk [113.20.238.175])
垢版 |
2019/06/18(火) 18:18:31.06ID:fIJ9mZsI0
自然言語処理最大の課題、意味理解は感情を中心に整理すれば解決するは本当ですか？

教えて！いろはちゃん
〜ＡＩはどうやって言葉の意味を理解するの？〜
https://robomind.co.jp/irohachan2/
789デフォルトの名無しさん (ｱｳｱｳｸｰ MM8f-cDow [36.11.224.108])
垢版 |
2019/06/18(火) 18:47:09.89ID:M6rrByr6M
ワナビーの記事
790デフォルトの名無しさん (ｱｳｱｳｸｰ MM8f-X4ug [36.11.225.195])
垢版 |
2019/06/18(火) 22:01:07.57ID:Jy7JWv/oM
自然言語処理って、ビジネスになるのは感情分析と翻訳ぐらいかな
文書生成って実用まだ無理だろたぶん
2019/06/18(火) 22:04:12.35ID:Hlzbjf9w0
＞へー共分散構造解析か
↑よくわかってない
2019/06/18(火) 22:23:31.75ID:nSIkqKYMx
>>790
議事録自動起こしはビジネスベースに乗りそうなレベルまで来た
2019/06/18(火) 23:14:04.63ID:QRfE9Cbz0
大した内容じゃないのに
3〜4文字で略すやつ多すぎ
794デフォルトの名無しさん (ｴﾑｿﾞﾈ FFa2-DNyp [49.106.192.82])
垢版 |
2019/06/19(水) 14:54:58.71ID:Yoy0IPReF
AIが感情理解するようになってもロクなことなさそう
泳げたい焼きクンみたいに逃げ出したり
パヨクみたいに賃上げ要求したり
チョンみたいに賠償請求したりしそう
2019/06/19(水) 17:25:52.80ID:hka9PGUX0
岡野原の大ちゃんの顔をたぷんたぷんしたい
2019/06/19(水) 18:53:51.68ID:DQACirUv0
794みたいなバカだったらAIの賃金あげるほうがマシだな。
797デフォルトの名無しさん (ﾄﾝﾓｰ MMc3-h2kG [210.142.95.36])
垢版 |
2019/06/19(水) 23:06:50.11ID:XfBh72njM
夢はAIによる人類抹殺
俺が作り上げる！
2019/06/19(水) 23:12:49.66ID:U/2T24gw0
がんばれよ、オリジナルティはないけど（笑）
2019/06/20(木) 00:03:00.25ID:SB96DIpf0
>>794
2行目以降に書いてあることは感情が理解できることと直接関係ないじゃん
2019/06/20(木) 00:05:59.00ID:SB96DIpf0
>>792
あんまり知らなかったけど、文章要約もそこまでできるのって感じでちょっとびっくりした
2019/06/20(木) 02:31:04.12ID:KaE8/eZI0
>>159 まさか、そんな連中は真っ先にリストラされてるよ。 まだ生き残ってるのがいるのは否定しないが。
そんなこと言ったら、70すぎ現役の俺はどうなるんだ？ プログラム書いて年間 1000万円はもらってるぞ。 記憶力が衰えてきたのは自覚してるが、それはツールでカバーしてる。

>>160 松尾豊、Eテレでは見てたが、今日ソフトバンクGの取締役に選任されたな。
ソフトバンクG の、AI への思い入れがわかる。
2019/06/20(木) 04:07:54.03ID:tJ1cQWfE0
有名人を頭に据えるのはソフバンらしいｗ
2019/06/20(木) 08:02:24.36ID:yxW0yZbx0
有名人が言った事には従う日本人心理を活かしたSB流じゃね。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況