【統計分析】機械学習・データマイニング27

■ このスレッドは過去ログ倉庫に格納されています
2020/01/13(月) 14:11:24.56ID:srY+iVUM0

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング26
https://mevius.5ch.net/test/read.cgi/tech/1568506986/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/02/13(木) 21:01:39.41ID:HtRTFoQ3M
ETL係やってる
2020/02/13(木) 21:12:54.05ID:T5TlK5HS0
機械学習エンジニアとは？
2020/02/13(木) 21:21:44.89ID:7qkn8LvZ0
>>136
どんな仕事してるの？
言える範囲で教えてほしい。
2020/02/14(金) 07:41:25.86ID:iK0b55EB0
ひみつ
2020/02/14(金) 08:38:56.01ID:YkhixP1T0
いません
142デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM5e-Pze0 [219.165.57.156])
垢版 |
2020/02/14(金) 11:26:51.53ID:NSTR9jEfM
みんなの心の中にいます
2020/02/14(金) 11:43:55.04ID:ApdIcKC6r
あの手この手でアノテーション
144デフォルトの名無しさん (ﾜｲｰﾜ2 FF3a-2nKm [103.5.140.139])
垢版 |
2020/02/14(金) 13:07:16.96ID:a5iC3cHyF
読解力を統計で競うとそりゃ人間が負ける
人間には偏差値50以上も50以下も均等に存在することになってるが
機械なら偏差値50以下のバカソフトは処分出来るからな
2020/02/14(金) 13:22:14.20ID:bqhRqjsOM
センター試験の現国満点余裕になったの？
2020/02/14(金) 13:25:16.04ID:uyTXek+40
古文がマジでストレスだったな
覚えゲーさせられてる
2020/02/14(金) 15:25:42.82ID:YkhixP1T0
偏差値５０以上と以下は均等には存在しない（笑）
2020/02/14(金) 23:23:35.64ID:Ir3uKLPna
>>147
受験しない人がいるから50以下の人の方が多いという主張?
2020/02/15(土) 00:56:22.81ID:e1hgbqCsa
偏差値の計算方法知ってるなら50以下と以上の人数が等しいなんて全く保証されないことぐらい容易に分かる
150デフォルトの名無しさん (ﾜｯﾁｮｲ 229c-gtE8 [61.125.255.57])
垢版 |
2020/02/15(土) 07:55:04.37ID:s+xmHs2W0
>>126
GLUEなどのベンチマークで人間越えを果たした
https://udemy.benesse.co.jp/ai/bert.html
151デフォルトの名無しさん (ﾜｯﾁｮｲ 5701-4LPN [220.23.242.247])
垢版 |
2020/02/15(土) 21:04:53.33ID:fyzzIrjJ0
質問させて下さい。
matplotlibで時系列データをグラフにしているんですが、
csvデータからpandasで読んで日時をpd.to_datatimeでdatetime型に変換して、
x軸にax.xaxis.set_major_formatter(mdates.DateFormatter('%m/%d\n%H:%M'))
こんな感じで2行で日時を表示させているのですが、日付変更時（つまり0時）
の時だけ日付を表示して他は時分だけの表示にしたいのです。　
わかる方居ますでしょうか？
2020/02/15(土) 21:18:06.16ID:fyzzIrjJ0
151です…　スレチっぽかったですね。
2020/02/15(土) 22:02:35.25ID:1l3NQYmFM
>>151
minor firmatterで日付無しを作ればよくない
知らんけど
2020/02/15(土) 23:02:49.27ID:fyzzIrjJ0
>>153
はい…それも試してみたんですが上手く行かなかったんです…
ConciseDateFormatterというのに手がかりがありそうな…
155デフォルトの名無しさん (ﾜｯﾁｮｲ c610-25R9 [153.131.102.129])
垢版 |
2020/02/16(日) 07:19:28.23ID:neAlzan/0
>>151

ax.xaxis.set_major_formatter(mdates.DateFormatter('%m/%d\n%H:%M'))

mdates.DateFormatter('%m/%d\n%H:%M')
の代わりに自分でdefした関数を指定すればいいんじゃないの？

mdates.DateFormatter('%m/%d\n%H:%M')
の出力を引数にとって、その関数内で00時かどうかで
処理を分岐して文字列を返す
2020/02/16(日) 09:06:08.26ID:ato4rXxB0
>>153
>>155
返信ありがとうございます
自分も00時判定を考えましたがminor_locatorと
minor_formatter(mdates.DateFormatter("/n%m/%d"))
を併用して表示できました！
3日もググり地獄だったので助かりました！
2020/02/16(日) 19:47:25.66ID:8mDLSa/v0
日本は中間採取好きだからなー
至るところに蔓延していて末端には金が行かないようになっている
アメリカの派遣はプロフェッショナルを高い金額で貸し出すというスタイルじゃなかったっけ
なんで派遣社員は高く付くってのが一般認識で
中国も日本よりかは厳しかったんじゃないか

蔓延している業界は絶対に廃れて行くんで行かない方がいい
業界として終わっている
158デフォルトの名無しさん (ﾜｯﾁｮｲ 8797-jFyl [182.171.246.142])
垢版 |
2020/02/16(日) 19:50:55.53ID:4YtH0n6X0
>>99,114
プログラマだけど結構Jupyter使うよ
シェルでパイプでするにはややこしすぎるログの解析や、Pythonでライブラリ使うときに
使いかた探るのに使ったりする。
VSCodeだけで書くより明らかに生産性高いよ。3倍ぐらいになった。
2020/02/16(日) 20:05:29.13ID:qqTlPIXlM
ワイはipythonつことる
EDAでバーっとグラフ見たいときくらいjupyter
2020/02/16(日) 20:37:04.68ID:+05Ierg+0
E資格って取ったら一目置かれる？
2020/02/16(日) 20:52:15.39ID:kREUnXku0
9目置かせてくれる
2020/02/17(月) 13:26:29.51ID:y136Nw0W0
>>158
なるほど、君がvscodeでソース書くと1/3の生産性になるわけだね。
2020/02/17(月) 14:14:33.47ID:juDpBUMw0
jupyterとか馴染めんわ
便利だなぁとは思うけどあれメインの人ってプログラムが本職じゃない人が多いイメージ
164デフォルトの名無しさん (ｱｳｳｨﾌ FF1b-BDVY [106.171.84.223])
垢版 |
2020/02/17(月) 15:38:48.03ID:r2qRMPZDF
インタラクティブシェルに毛が生えたようなもんだ
数行程度ならそれでも良いけど
あれで数万行も描くやつはおらん
2020/02/17(月) 16:04:13.27ID:Fhkd2oA9M
200行なら今眺めてるぜ。こいつを普通なバッチに直すのが俺の仕事さ
2020/02/17(月) 16:08:32.00ID:juDpBUMw0
>>165
雑用ワロタ
2020/02/17(月) 16:14:16.63ID:Fhkd2oA9M
DSの人、普通のエンジニアリング弱いんだよねえ
2020/02/17(月) 16:30:07.86ID:y136Nw0W0
弱いくせに妙に偉そうなところが問題をさらに複雑にしとるんだよな。
2020/02/17(月) 16:34:11.77ID:Fhkd2oA9M
特徴量の世界だけで生きていて欲しい。
そのうち権限剥奪されて行くと思うよ
打ち合わせにもワシらも呼んでな
170デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM5e-Pze0 [219.165.57.156])
垢版 |
2020/02/17(月) 16:57:12.35ID:9bDjGnEgM
うすら禿のなんたらいうgglのdsが言うにはautomlで十分らしいじゃん
2020/02/17(月) 19:02:56.00ID:khP0iz4XF
jupyter使ってDS業務を日常的にこなしてる上で文句言ってるなら分かるがどうせほとんどjupyterなんて触ってないような人がグチグチ言ってるんだろうなとしか思えない
2020/02/17(月) 19:04:17.97ID:juDpBUMw0
ディープラーニングの人はどちらかというと
コードバリバリの人が多いイメージ
統計学よりの人はほぼCLI使えない人が多いイメージ
2020/02/17(月) 19:26:24.17ID:Fhkd2oA9M
画像処理系の人はC++バリバリだね。
広告系がjupyterが多そう
医療製薬とかもかなあ
2020/02/17(月) 19:39:37.14ID:r6355ku70
CLIやSQLを使わないでデータ分析って罰ゲーム？
ただでさえ、前処理している時間の方が長いのに
2020/02/17(月) 20:12:36.57ID:1Yo+DqwRa
データ分析者より俺の方が優れているに決まっているという結論ありきで無理矢理論理展開して
データ分析者はCLIを使えないことにして「ほら、俺の方が優秀でしょ？」と言いたいだけの駄文
2020/02/17(月) 20:32:37.71ID:y136Nw0W0
全く逆で偉そうに書きなぐったソースを押し付ける輩が多いから批判されるんだぞ。
（自分、コーダーじゃないんでみたいなカスみたいな言い訳しつつな。）
2020/02/17(月) 21:02:41.86ID:ot4NKtGFd
そもそもjupyter使うのとCLI、SQL使うのは相反することじゃないだろ

jupyterは詳細なメモと結果とコードを同一ファイルで共有できるツールであってあれで大量のコードを書くアホなんて居るのか？
2020/02/17(月) 21:03:57.01ID:juDpBUMw0
まあもっと言語側が進化の余地があるんだろうね
前処理とかもっと簡単にできる言語なりフレームワークなりがあっても良い
現状エンジニアリングしなきゃデータ分析できないから
2020/02/17(月) 21:22:03.39ID:y136Nw0W0
全く関係ない。
再現性あるようにきっちり整備する気があるかないかだけ。
馬鹿にどんなシステム使わせても同じようにど汚い状態で渡すだけだから。
そういう意味でgitのようなバージョン管理でクソコミット渡したやつがわかるように
しとくってのが大事なわけよ。
2020/02/17(月) 23:53:24.76ID:Fhkd2oA9M
ホント、データとか手順書、スキーマ情報無くすんだよね
学生じゃねーんだから、gitなりでの構成管理やれよ
引き継ぎもできやしない
日付やr1,r2とかファイル名につけるの卒業しろ
2020/02/17(月) 23:56:29.76ID:Fhkd2oA9M
化学とか生物系の実験研究員なら、整理整頓、データ、資料管理、学生までに身に着けてるやろ
DS界ヌルすぎ
2020/02/17(月) 23:57:42.66ID:AkNX8dYW0
>>181
おまいは教育に恵まれた
幸運を感謝汁
2020/02/18(火) 00:11:13.34ID:3v1Ek71E0
>>181
この業界は再現性がないのはザラですからね
そっちの分野ほど確立されたものはないです
2020/02/18(火) 00:23:30.33ID:II4zMfl3a
自分の周りが馬鹿だらけだから他の人の環境も同じだろうなどとは考えてはならない
類は友を呼ぶということで、君もそのバカと同類だというだけのこと
2020/02/18(火) 00:29:51.13ID:2AC9Ct1n0
どっちもどっち論で泥仕合に持ち込んで誤魔化そうとしてるのはよくわかるわ。
残念ながら馬鹿ばっかの会社もそうでない会社も見てきたわけで、
比較するとソースやデータをしっかり管理してるかどうかって
そういうツール選択にもろに出てくるんだわ。
2020/02/18(火) 03:12:50.54ID:KrTQ4Cqc0
>>99
大学発ベンチャーは会社としては貧弱でいい加減なのは普通。
ほとんどがそのうち消える
2020/02/18(火) 10:23:28.83ID:Un8pxD8/0
>>181
ピペド乙
2020/02/18(火) 13:06:07.23ID:YrgEwpk7H
VS CodeもJupiterもどっちも使うでしょ…
2020/02/18(火) 13:12:12.04ID:RVONces2M
ピペドという別の問題もあるのか。どこも大変だね
2020/02/18(火) 13:45:17.06ID:2AC9Ct1n0
jupyter使ってもいいけど再現性確保しろよって話だな。
まあこういってもそんなこと気にしないで人様に迷惑かけ続けるんだろうが。
2020/02/18(火) 14:27:20.15ID:JWsk0SFGa
再現性って、jupyter notebookに書いてあるままやれば再現するでしょ
それで再現しないなら問題はjupyterとかとは関係ないところにあるのでjupyter云々言ってるのはナンセンス
2020/02/18(火) 14:34:01.67ID:RVONces2M
上から順に実行して最終確認してくれればいいんだけど、遡って再実行したりしてるんじゃないか
2020/02/18(火) 14:46:04.89ID:o++xd8tHr
ありがちだね

1人で試行錯誤してる時はそれでも良いけど最後に整理してrestart kernel and run allして確認しとかないと

そんなことでトラブル起こす人は別のツール使っても同じだと思うけどな
2020/02/18(火) 15:44:56.17ID:3v1Ek71E0
上から実行したらNameError
これほんま多いんですわ
2020/02/18(火) 17:57:44.52ID:YrgEwpk7H
それはJupiterじゃなくてその人の問題でしょ
196デフォルトの名無しさん (ﾜｯﾁｮｲ c610-25R9 [153.131.102.129])
垢版 |
2020/02/18(火) 18:35:03.51ID:xO5zEIRT0
>>193
変数を実行に必ずクリアする仕組みのツールなら予防できる

利便性が低くなるけどな
その辺は組織内のプロセス改善レベルによる
197デフォルトの名無しさん (ﾜｯﾁｮｲ c610-25R9 [153.131.102.129])
垢版 |
2020/02/18(火) 18:36:36.59ID:xO5zEIRT0
>>195
セキュリティ事故とか自動車とか飛行機とか人のミスが結果に及ぼす影響を小さくするような仕組みを入れてあるものもある
198デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM5e-Pze0 [219.165.57.156])
垢版 |
2020/02/18(火) 18:59:31.31ID:USbNWAwvM
もっと機械学習の話をしたい。。。
199デフォルトの名無しさん (ﾜｯﾁｮｲ c610-25R9 [153.131.102.129])
垢版 |
2020/02/18(火) 19:02:26.75ID:xO5zEIRT0
ブートストラップのやり方で最終的なモデルの能力は変わると思うけど
どんな風に学習データをリサンプリングしたらいい結果になる？
2020/02/18(火) 19:04:15.65ID:kXXzWqPh0
>>189
近年ピペド以下もわさわさいるし、
もっと前からある合成ドカタってやつも、
そも、高校で化学とらずに大学で化学に入ってくるヤツとかいてね、もうね。
2020/02/18(火) 19:05:58.91ID:kXXzWqPh0
>>199
「ブートストラップ　リサンプリング」でｇｇｒｋｓ
202デフォルトの名無しさん (ﾜｯﾁｮｲ c610-25R9 [153.131.102.129])
垢版 |
2020/02/18(火) 19:15:06.16ID:xO5zEIRT0
>>201
198が機械学習の話をしたいらしいから
レスしてやってくれ
2020/02/18(火) 19:43:23.21ID:kXXzWqPh0
ﾎﾚ(ﾟДﾟ)ノ⌒ >>198
2020/02/18(火) 19:48:58.91ID:2AC9Ct1n0
>>195
それはそうだが、そういうカスが選ぼうとするツールの特徴を備えてるって話だな。
excel vba みたいなもんだ。
あれも究極的には使い方の問題ではあるが、セルを直接参照したり
そういう使い方を誘導するようなツールになってる。
100行程度のスクリプトなら確かに楽だが、たいてい秘伝のたれ化するわけだよ。
2020/02/18(火) 20:06:10.55ID:My6NSCYfM
ONNXの未来について語ろうか
2020/02/19(水) 07:51:56.10ID:kbPcppKh0
pytorchが増えてきて嬉しい
2020/02/19(水) 09:09:09.01ID:Rcne5WbkM
現状tf.kerasとPyTorchの両対応だけど、勢いあるのはPyTorchだね
torch.Tensorもよく出来てる
208デフォルトの名無しさん (ｽﾌｯ Sd5f-kT5Z [49.104.22.123])
垢版 |
2020/02/19(水) 12:49:24.08ID:/FbZ2NEtd
>>150
特定のタスクで人間を超えただけで
人間以上の言語力を獲得したわけではないとあるね。
2020/02/19(水) 18:52:33.98ID:VGCcty530
>>126の東ロボくんの偏差値は2016年は45だったのに
去年は62まで上がってる

英語のセンター試験でも長文問題をクリアして9割取れてるし、日進月歩
210デフォルトの名無しさん (ｱｳｳｨﾌ FF57-IPX/ [106.171.73.169])
垢版 |
2020/02/20(木) 10:42:57.65ID:sbHTvmgoF
>>208
>人間以上の言語力を取得

もはや人間じゃないな
2020/02/20(木) 11:48:22.57ID:JolU2/QA0
元から人間ではない
2020/02/20(木) 11:51:30.58ID:JFbb2LwYM
人間超えて、便利なまとめサイト作るんか?
右と左に傾倒したAIまとめサイトで盛り上がる世界も近そう
2020/02/20(木) 13:14:22.28ID:JolU2/QA0
4chで学習したAIは極右になった
2020/02/20(木) 17:32:35.09ID:Nllb9nDe0
過学習を回避するための方法っていうのは結局いろいろ別角度からのデータに対して
返ってくる答えを見るっていう、結局人間が理解してるかテストするのと一緒の方法しかないんだよね。
215デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM7f-BtBR [219.165.57.156])
垢版 |
2020/02/20(木) 17:52:51.75ID:aBWWsoOSM
なんの話？
2020/02/21(金) 03:08:25.08ID:6EkHiSRwM
Drop層の話か
2020/02/21(金) 09:35:20.74ID:rxoLPs2+0
そうじゃないだろ
2020/02/21(金) 09:53:18.18ID:rxoLPs2+0
言語処理学会2020中止だってさー
https://www.anlp.jp/nlp2020/
2020/02/21(金) 11:01:51.34ID:tvLgiicCM
通勤電車禁止しないと意味ないやろ
2020/02/21(金) 11:55:14.97ID:YvRUEPlL0
まともな会社はもう在宅に切り替わってるからね
2020/02/21(金) 12:00:49.49ID:tvLgiicCM
一部だけやっても全体への効果ほぼ無いってシミュレーション出てなかったか
222デフォルトの名無しさん (ﾜｯﾁｮｲ 5352-BtBR [118.243.199.173])
垢版 |
2020/02/21(金) 12:16:35.84ID:z35Mk6Zf0
全体とかどうでもよくて
社員さえよければいい、という最適化基準では？
2020/02/21(金) 12:52:48.74ID:tvLgiicCM
ブラック安倍ちゃんは、高齢者が減ると喜びそう
224デフォルトの名無しさん (ﾜｲｰﾜ2 FF9f-HF0o [103.5.142.234])
垢版 |
2020/02/21(金) 13:04:26.39ID:5cQWFY2cF
>>222
ほんそれ

まともな会社はもう日本は渡航禁止國扱いで進行中
2020/02/21(金) 14:06:22.33ID:tvLgiicCM
ヨーロッパでアジア人迫害されるので、家族を日本に帰国させたいという、切実なお悩み相談も来てる
226デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM7f-BtBR [219.165.57.156])
垢版 |
2020/02/21(金) 14:29:14.94ID:sj7mWM3rM
長生きなんてするもんじゃないな
2020/02/21(金) 14:49:32.11ID:UK+7i25l0
お前が引き取ればいいんじゃねーの、馬鹿
228デフォルトの名無しさん (ｱｳｱｳｳｰ Sa57-4NuP [106.133.162.41])
垢版 |
2020/02/21(金) 18:55:45.18ID:rVFGTh4Ia
今日E検定の試験やった
お前ら受けないの？
229デフォルトの名無しさん (ﾜｯﾁｮｲ 5352-BtBR [118.243.137.65])
垢版 |
2020/02/21(金) 21:28:47.59ID:rxoLPs2+0
だってもう仕事あるし…
2020/02/21(金) 21:55:11.68ID:tvLgiicCM
松尾みたいに資格で稼ぐ側になりたい
231デフォルトの名無しさん (ﾜｯﾁｮｲ 5352-BtBR [118.243.137.65])
垢版 |
2020/02/21(金) 22:06:44.52ID:rxoLPs2+0
E気持ち
2020/02/21(金) 22:33:04.99ID:G0/DNRKi0
>>223
年金や健康保険の支出が減っていいじゃないか
233デフォルトの名無しさん (ﾜｯﾁｮｲ 5352-BtBR [118.243.137.65])
垢版 |
2020/02/22(土) 06:40:00.92ID:Ie35H7wv0
そうだね
俺も賛成
老兵は去れ
234デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-f35f [124.144.197.178])
垢版 |
2020/02/22(土) 09:17:09.99ID:X24Hj06I0
J1,J2が開幕したんだけど予定どおり試合やってる。
サッカーファンって唯我独尊タイプの人が多くて
「おれ様だけは感染しない！」とかって思ってそう
感染が広がるんじゃないかな？
2020/02/22(土) 10:15:14.91ID:3tA6OTRM0
>>232,233
お前らが死ねよ
236デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-f35f [124.144.197.178])
垢版 |
2020/02/22(土) 11:20:20.10ID:X24Hj06I0
老害って年齢というより考え方だと思います。
アルバイトや外注先に仕事を全部投げたい、とか、
勉強したくないとか、土日の勉強会なんて参加したくないとか、
そゆこと考えてる奴が老害！

どんどん新しい事を勉強して論文どんどん書いてる人は、
たとえ年齢が40歳50歳だとしても老害とは言えないと思います
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況