【統計分析】機械学習・データマイニング29

■ このスレッドは過去ログ倉庫に格納されています
2020/08/20(木) 09:16:43.41ID:Av1Lrhjm0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
116デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/05(土) 23:55:05.96ID:ySUioB0H0
seq2seqのembeddingレイヤーに事前学習させたword2vecの重みを用いるとき、デコーダの文章を生成する合図につかう<EOS>の取り扱いはどうすればいいんだ
word2vecにEOSを学習させてベクトル化しなきゃいけないんだけど、学習データの最後の行に適当に付け足しとけばいいのか?
それとも学習データの行末すべてにEOSを付け足せばいいのか
2020/09/06(日) 02:41:40.34ID:6+iElI6k0
word2vecをembeddingレイヤにぶっこんだけど、リソース不足でバッチ数を下げざる負えなくなった
ヒカキンの持ってる1tbメモリmacが憎い
2020/09/06(日) 07:49:06.02ID:28nY3XQR0
>>116
「word2vec 追加 学習」で検索してみるとしあわせに

>>117
あいつそんなものもってるのか！

そうそう
自然言語の機械学習って
なんかしらんが（？）最後の段階あたりでくっそメモリ食う
2020/09/06(日) 08:02:00.79ID:fnIXCpSw0
gpu用意すればいいじゃん
120デフォルトの名無しさん (ﾗｸｯﾍﾟﾍﾟ MM4b-I/wA [133.106.90.74])
垢版 |
2020/09/06(日) 08:27:37.29ID:M4KtJHw+M
fasttextってゴミなの？
2020/09/06(日) 09:09:53.49ID:fnIXCpSw0
ごみじゃないよ(笑)
122デフォルトの名無しさん (ﾜｯﾁｮｲ 23ad-svb1 [125.12.149.140])
垢版 |
2020/09/06(日) 10:20:49.37ID:y7ovSoOJ0
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw
2020/09/06(日) 12:07:37.08ID:4rkiTQ6J0
自宅でGPU回し続けたら電気代がかかりそうやね…
2020/09/06(日) 12:15:42.57ID:v5JhsKrg0
>>104 AI ではFP16 じゃ使い物にならないから、bfloat16 というフォーマットが出て来た。

bfloat16 形式は、符号ビットが 1 つ、指数ビットが 8 つ、仮数ビットが 7 つ、暗黙の仮数ビットが 1 つの [1:8:7] の形式です。これに対し、標準の 16 ビット浮動小数（fp16）形式は [1:5:10] です。
2020/09/06(日) 12:19:11.43ID:28nY3XQR0
>>119
入力がおおおおおいと何をどうやっても最終段階でメモリくっそ食うのだが
gpuで解決できるのんけ？
だとしたら大発見ｗ

>>123
どこでやっても電気代は誰かが払っている
2020/09/06(日) 12:50:46.70ID:fnIXCpSw0
gpt-3は国内の研究機関だったら訓練不可能かな
設備的に
127デフォルトの名無しさん (ﾌﾞｰｲﾓ MM6b-svb1 [163.49.211.220])
垢版 |
2020/09/06(日) 13:47:45.63ID:V9VDH8fJM
在日朝鮮人は死ね
128デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/06(日) 15:24:15.87ID:6+iElI6k0
メモリ食いすぎるし、バッチサイズ小さくしたら会話にならなくなったのでword2vecを組み込むことは断念。
ただこのままだと、語彙数が少なすぎるし、だれか名大会話コーパス以外でいい会話コーパス知ってる人いません？
できればURLも欲しいです
2020/09/06(日) 18:05:49.43ID:6+iElI6k0
赤外線撮影って昔流行ってたけど、普通の写真と赤外線写真を学習させれば、写真から下着を透かせるaiが出来上がるのでは?
2020/09/06(日) 18:06:47.64ID:6+iElI6k0
赤外線撮影って昔流行ってたけど、普通の写真と赤外線写真を学習させれば、普通の写真から下着を透かせるaiが出来上がるのでは?
2020/09/06(日) 18:10:42.46ID:YMHA2nFQp
>>117 周辺まで含めて800万円と言うから気狂いだな。
というか羨ましすぎる。
2020/09/06(日) 18:34:56.29ID:YMHA2nFQp
ヒカキンの動画って初めて見たけど人を惹きつけるテクニックを持ってるね。
2020/09/06(日) 18:59:56.26ID:Bdj7AItn0
>>130
大事なこと…なのか？
2020/09/06(日) 19:09:27.59ID:TeCejoUU0
赤外線に何を求めるかだろうなぁ

マンモグラフィの写真は嫌という程見たが
ちっとも興奮しない。まぁX線写真に欲情
するのは立派な変態だと思うが

昔 hirax でやっていたMR/AR技術を
使った巨乳Vision(生乳テクスチャをマッピング)
は是非実用化してもらいたいものである
2020/09/06(日) 19:22:15.71ID:uumzb8Gwa
>>130
普通の写真に写るものに下着の色・形・柄と相関のある情報がないから単に学習データで過学習されるだけ
136デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-Bf8w [106.154.139.224])
垢版 |
2020/09/07(月) 00:50:36.34ID:y2mIvMwCa
>>130
赤外線「風」写真は作れるだろう
本当に着ている下着とは全く関係なく
137デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/07(月) 01:08:15.13ID:B4Oclp/r0
>>136
これをなんちゃら坂４６だのの写真に使えば売れそうじゃないか？
youtubeでPhotoshop使ってアイドルの下着すかしてるのがまあまあ再生稼いでたし、ヒカキンつぶせそうじゃね
2020/09/07(月) 07:27:48.84ID:X4wk0IcB0
アイコラ自動生成みたいなもんか
2020/09/07(月) 16:38:41.61ID:DIQIv4n60
悲報、ついにAIバブル崩壊

【技術】AIが衰退期に　機械学習エンジニアが職を失う [雷★]
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/
2020/09/07(月) 18:58:36.59ID:B4Oclp/r0
今からai研究してる大学を受験しようってのにどうすればいいんだよ
141デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-Bf8w [106.154.137.86])
垢版 |
2020/09/07(月) 19:01:34.03ID:kGNS9k6ua
露頭に迷うのは「自分を機械学習エンジニアだと思い込んでいる単純作業者」だろう
2020/09/07(月) 19:01:56.04ID:urAYf+snM
別にちゃんと勉強すればいいよ
学んだ統計もプログラミングも潰し効くでしょ
2020/09/07(月) 19:03:38.18ID:urAYf+snM
数学や物理の人気が落ちてるならそっち行くのもいいぞ
CSより普遍的だからね
2020/09/07(月) 19:17:50.66ID:AOlpWZnE0
物理学科の人ってどこに就職するの？
2020/09/07(月) 19:25:36.16ID:onbFH33j0
公務員じゃろ
2020/09/07(月) 19:27:01.46ID:AOlpWZnE0
夢がないね
2020/09/07(月) 19:49:35.03ID:urAYf+snM
コンサルかな。この世の全てをコンサル出来る。
あ、女心は無理だな
2020/09/07(月) 19:55:24.18ID:1xvy5dX80
物理はメーカーの研究とか行ってたよ
半導体とか電波とか
2020/09/07(月) 20:25:46.67ID:DIQIv4n60
高校の教員
2020/09/07(月) 21:11:47.74ID:onbFH33j0
>>147
コンサルみたいなチャラいものに思考が行く時点で物理学科にうからんか、
うかっても卒業できんと思われ。
2020/09/07(月) 22:28:07.52ID:98DMqs9Ga
>>139
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/49
2020/09/07(月) 22:49:45.76ID:VeYCBawpM
>>150
ワイの頃は研究所目指して玉砕してSIerに行ってしまうのが多かったな
ロスジェネだもの
2020/09/07(月) 23:21:05.78ID:OpQZP/1E0
データーサイエンス科とか作っちゃった大学はどうすんだろうね
そこで習いそうなことは数学科や物理科が上位互換してるし
2020/09/07(月) 23:29:43.76ID:VeYCBawpM
電気工学も元祖データサイエンスぽい気がするな
電気工学科もいいと思うぞ
2020/09/08(火) 00:26:34.96ID:A6dn5A1Y0
XGBoostにデータ入れて一丁あがりだもんね
156デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/08(火) 01:26:18.86ID:bm1dsOff0
seq2seqにattentionつけたら全然損失関数が下がらなくなったんだけどこれって実装方法間違えた？
誰か実装させた時がある人教えてください。
いままで３０エポックぐらいで済んだのが１０００ぐらい必要になってる
157デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/08(火) 01:29:09.01ID:bm1dsOff0
長い文章に対する精度はいいけど短い文が来ると同じ単語を連発して無限に繰り返すんだけど、どうなってるんだこれ？
158デフォルトの名無しさん (ｻｻｸｯﾃﾛ Sp81-Rc4v [126.33.213.177])
垢版 |
2020/09/08(火) 02:10:46.39ID:9u9SXy9bp
sklearnって毎度fitしなきゃいけないんですか？
159デフォルトの名無しさん (ﾜｯﾁｮｲ 9dda-yOpk [114.182.59.118])
垢版 |
2020/09/08(火) 02:43:53.99ID:bm1dsOff0
concat忘れてただけでしたすいません。
2020/09/08(火) 07:33:01.40ID:M5LonfGoH
kerasでgrad-camやろうとしたんだけどsequentialモデルじゃだめってほんと？
2020/09/08(火) 07:42:20.41ID:XuwxWqdD0
>>157
翻訳？
2020/09/08(火) 09:47:02.46ID:MF9+OIay0
>>154
アホっぽい気がする
2020/09/08(火) 10:21:54.30ID:MF9+OIay0
>>151
笑いが欲しいの、皮肉？
2020/09/08(火) 11:43:54.33ID:LjI6avtoM
>>162
気がするだけで奴らが日本のモノ作りを支えてきたわけで、CSもDSも分野が違うからってバカにしたらいかんと思うのよ
2020/09/08(火) 12:33:31.98ID:MF9+OIay0
>>164
それはハードだろ、DLはソフトだが、論理のすり替え失敗
2020/09/08(火) 12:51:34.46ID:LjI6avtoM
そうかな、制御の話とかソフトじゃないかい?
まー、言いたいことは機械学習が突然出てきたわけじゃ無いから、ブームが去っても機械学習を支える周辺分野も勉強しておけば食えるでしょう。
2020/09/08(火) 13:07:17.40ID:PMotKbJga
社会統計なりwebサイトのアクセス記録なり装置の稼働データなり、各分野の何らかのデータがあって初めてそれを分析したいという動機が生まれるのであって
そういう応用分野の専門を持たない純粋データサイエンティストというのは極めて高度な研究をする場合を除いてほぼ無価値なんだよ
2020/09/08(火) 13:52:56.07ID:+D5vNSTHM
そういう意味ではサイエンティストいうよりもデータエンジニアかな
2020/09/08(火) 16:58:12.79ID:bm1dsOff0
>>161
チャットボット
2020/09/08(火) 16:58:54.60ID:bm1dsOff0
lstmの出力次元数256って少ないのかな
512まで上げたほうがいい?
2020/09/08(火) 16:59:00.12ID:A6dn5A1Y0
科学的手法そのものがdata-drivenだと思うんだけど、data scienceって何なんでしょ？
2020/09/08(火) 16:59:55.88ID:nmMozHDf0
>>171
データだけ見て現実を見ない泥縄なのが味噌
2020/09/08(火) 17:04:01.83ID:LjI6avtoM
広告やマーケの昔は、データ見ずに勘と思惑で企画立ててた人達がデータ使うようになったという理解
2020/09/08(火) 17:14:35.58ID:nmMozHDf0
>>173
それはデータサイエンスっちゅーかビッグデータ（）とかいうムーブメント（）のほうじゃね？
2020/09/08(火) 17:48:16.29ID:LjI6avtoM
>>174
ビックデータの延長にデータサイエンスが来てるんじゃね
リクルートとかとか
176デフォルトの名無しさん (ﾜｯﾁｮｲ 2355-XrX+ [59.147.205.222])
垢版 |
2020/09/08(火) 18:14:39.87ID:TtOfyEm40
×ビックデータ
○ビッグデータ

×ザ・ビック
○ザ・ビッグ

?ビッグカメラ
○ビックカメラ
2020/09/08(火) 20:27:56.44ID:rebF/AgE0
県内屈指の秀才とかならまだしも
そんな無理して大学に行かなくてもいいだろう
経済も技術も日本は行き詰まる
高卒で料理人とか美容師とか土木とかそっちに行けばいいんだよ
複雑な動作に知識、推論、創造力が必要で
尚且つ速度が問われるような仕事に関してはAI＋ロボットで対応しにくいだろう
今の若い奴は親元で金貯めて家を建て直したり、家を買ったり、安い土地でも買って暇な時に野菜でも作ってた方がいいだろ
仕送り＋学費なんかに投資するゆとりがあるのか？
日本がトップに君臨していた
おっさん、爺さん達の時代じゃないんだし
2020/09/08(火) 22:21:11.56ID:ZehSSBBxH
>>177
黒船来襲して外国人に使われる日本人の絵が見える
2020/09/09(水) 00:53:42.90ID:O6YYMv+fa
>>163
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/55
180デフォルトの名無しさん (ﾜｲｰﾜ2 FF63-e6VR [103.5.140.168])
垢版 |
2020/09/09(水) 11:18:31.18ID:9MEEjZyTF
>>178
意外と日本人に使われるより外国人に使われる方が幸せかも知れないよ？
2020/09/09(水) 11:22:36.71ID:AAgI2VwYM
中国に占領されたら困るよお
子供埋めなくされて徐々に漢民族に置き換えられる未来
2020/09/09(水) 15:51:11.14ID:xKAj3HUS0
>>179
自分の言葉で語れない馬鹿かｗ
183デフォルトの名無しさん (ﾜｯﾁｮｲ c1da-psz/ [114.182.59.118])
垢版 |
2020/09/09(水) 18:16:53.13ID:2Gc2qv3L0
tensorflowをインポートしたりするときになんか英語がめっちゃ表示されるけど、どうすれば表示しないようにできるんだ
2020/09/09(水) 18:52:02.52ID:2e3wUOdx0
うましかには無理
2020/09/09(水) 22:55:10.39ID:VEmnK6Spa
>>182
俺のレスなんだが。
2020/09/10(木) 01:18:05.46ID:DdQy3pPE0
機械学習に限らず、大多数のプログラマは提供されたソフトウェアを組み合わせてるだけじゃない？
OS、コンパイラ、RDB、webフレームワークとか。
高給取りではないけど普通に食べていけるかと。
2020/09/10(木) 01:30:40.02ID:IENeFRwH0
>>186
それらを開発している人達もいるしスイッチとかストレージとか基地局とかの制御ソフトを作っている人達もいる
2020/09/10(木) 01:36:22.45ID:IENeFRwH0
医者に例えると研究する人と臨床医みたいな感じかもしれない
新しい治療方法を開発する人と
それらを選択して使って実際に患者の治療をする人
2020/09/10(木) 07:20:44.31ID:Iuk9Y12Ra
https://asahi.5ch.net/test/read.cgi/newsplus/1599463955/65,67,78
2020/09/10(木) 14:31:26.47ID:DdQy3pPE0
よく見るやりとり

発表者「ディープラーニングを使って売上〇〇円達成しました！」
質問者「ルールベースのような単純な手法を使うと売上はどれくらいなの？」
発表者「わかりません…」

おわり
2020/09/10(木) 14:35:01.64ID:zhGyZOUIM
どこで見られるの？そのやり取り
2020/09/10(木) 15:21:53.97ID:mwQ926Mt0
>>190の脳内
2020/09/11(金) 00:35:00.43ID:p6Qx+Sqoa
>>192
http://asahi.5ch.net/test/read.cgi/newsplus/1599697393/
2020/09/11(金) 14:04:42.35ID:c4qh56HO0
その種の失敗談は普通は表に出てこないからな。
表に出してる企業があったら結構信頼できる企業と思っていい。
2020/09/11(金) 14:15:08.24ID:eKsL/19+0
>>190
そら、やってみないとわからんじゃろ＞単純ルールベースだとどうなるか
「（これまで、担当者のカンと経験でしか）やってみたことないからわからない」は正直じゃろ
2020/09/11(金) 17:03:14.59ID:vrzz2PIYa
>>195
DL有りきが問題って事だと思う
ルールベースの方が良い結果を得られるならそっちを採用するし
比較しないでDLを選択しているのはDL有りきって事
2020/09/11(金) 17:29:26.31ID:6LRfvasd0
>>193
https://egg.5ch.net/test/read.cgi/river/1595679271/
2020/09/11(金) 17:45:46.39ID:eKsL/19+0
>>196
まあそうなんだが
ちゃんと比較検証しようとおもったらﾏﾝﾄﾞｸｻがる・とりまはやりにのってみよう
でやっちまうのが
世の中のおおぜいらしいぞ
2020/09/11(金) 18:16:02.34ID:Y+1ewbLi0
KLダイバージェンスってなんなの？
2020/09/11(金) 18:35:59.25ID:rmY/ILRiM
いちいちデータ分析してルール作るのが面倒臭いから機械学習にぶっこむんだろ？
真面目に比較検証する時点で意味ない
大抵のビジネス課題は最適化よりも事象の理解の方が重要なわけで、最適化に心血注げる数少ない問題くらいはエンジニアに俺ｽｹﾞｰさせてやれよ
2020/09/11(金) 18:42:24.45ID:eKsL/19+0
おれらでもつくれる程度のルールベースｖｓ黒魔術状態の深層機械学習
ﾌｧｲｯ!
2020/09/11(金) 19:35:14.93ID:vrzz2PIYa
>>200
もっと利益が出る方法があるかもしれないのに？
利潤追求しないのは企業としてどうなのか
2020/09/11(金) 19:35:46.74ID:DY3Alv4ca
真っ当なDLプロジェクトはルールベースでやるのが面倒だからDLするのでは決してない
パラメータが多すぎたりそもそもルールを作るための理論が整備されていない分野だったりするせいで現実的な工数でルール作るのが不可能と判明しているか、
やれる限りのルールベース対応をしても全く要求精度を満たせなかったという実績があるか、どちらかが大前提
面倒なだけで現実的な工数でルールが作れると分かっているならその方がコスパはいい
2020/09/11(金) 20:11:36.44ID:rmY/ILRiM
>>202
追求する価値のある課題ならもちろん追求すべきだね
ただ実際問題として、そこらへんの企業がDLのPOCをやるために無理矢理捻り出した課題にそこまでの価値があることなんて稀だ
大抵のDLプロジェクトはDLを使って成果出したという実績を作ることが目的でやるわけで、やった時点で目的は達成されてるんだよ
2020/09/11(金) 20:25:37.95ID:oKQDUeFpH
AIも衰退期に入ったということだから、そういう冗談みたいなプロジェクトも減るのかな
2020/09/11(金) 20:31:17.11ID:vrzz2PIYa
>>204
そういうのなら長続きしなくなるのは目に見えているね
データサイエンティストも失業することになる
2020/09/11(金) 21:41:22.43ID:fDVUo6av0
ルールベース以上の成果が出るのってもうGAFA並みのデータと技術がないと無理だし
日本企業じゃ絶対に無理だと分かる
2020/09/11(金) 22:19:50.72ID:vrzz2PIYa
無理なら実務ではDL使う必要ない
研究して実運用に耐えられるようになったら使うとか
GAFAみたいな所と提携したり委託したりサービスを買ったりした方がビジネス的には良いかも
2020/09/11(金) 23:51:58.60ID:2rjvovAca
>>193
https://video.twimg.com/ext_tw_video/1302046042913873920/pu/vid/1280x720/N8oOVAS-fmlhoZDn.mp4
2020/09/12(土) 00:05:24.17ID:enTGvbvk0
>>206
今どんどん失業してるみたいよ
まあバブル崩壊しただけなんだけど
2020/09/12(土) 06:08:48.37ID:uKAWBZoa0
>>202
利益出すには100億円くらい投資が必要ですとか平気で言い出すのが今のDLだぞ。
2020/09/12(土) 10:20:27.71ID:SUiHH5TiM
ビットコイン掘るみたいだな
2020/09/12(土) 11:00:26.61ID:Valx4w3/0
>>212
なるほどなっとくｗ
たしかに山師だなｗｗｗｗｗ
2020/09/12(土) 20:39:29.09ID:ALo9YzIj0
ルールベースと比較してる奴は寝言いってのか？
2020/09/13(日) 09:32:18.66ID:y+0mJL1O0
ルールベース　論理演算
DL　抽象演算

画像認識のような人智ではルールを構造化出来ないタスク以外、ほとんど前者で間に合う
特にビジネスユーズはそっちの方が向いてるし
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況