【統計分析】機械学習・データマイニング28

■ このスレッドは過去ログ倉庫に格納されています
2020/05/01(金) 09:32:34.08ID:d7veCBiW0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/07/09(木) 22:15:47.52ID:+B5FLuSlM
まあそもそも生物なら何でも良かったんじゃね?説
2020/07/09(木) 22:24:15.63ID:5cHBDSLM0
ナマコなんか後口動物で単純な方なんじゃね？
でも昆虫は育てやすいし神経の研究が進んでただろうからシミュレーションもやってみよう、ってことにもなるんでは？
あと、群知能とかの関係とかもわかったら夢も広がりそうだし
2020/07/10(金) 05:59:30.58ID:mHSW3Zry0
>>518
俺もそう思う
2020/07/10(金) 07:33:41.43ID:eXTFNIOn0
前処理大全［データ分析のためのSQL/R/Python実践テクニック

5つ星のうち1.0 「分かった気分」を味わうためだけの典型的な初心者向け詐欺本
2019年5月27日に日本でレビュー済み
Amazonで購入
タイトル以外に書くべきことが無い。
これを「役に立つ」と思った人は、データ分析に致命的に向いていないので諦めた方がいい。
2020/07/10(金) 07:39:34.73ID:mHSW3Zry0
初心者向け本にマウントとって
自分の方がゆうしうと吠えて
何を得たのかなこの人
自己満足？
2020/07/10(金) 07:42:08.03ID:w88dUhJ+M
でもその本買ったけど確かに微妙だった
2020/07/10(金) 10:57:48.38ID:FG/pdyfSa
動植物の生態や構造を再現してみた系の研究や商品ってイマイチなものが多い
それは動植物の再現自体に必死になりすぎて本来あったはずの解決したい課題に対する解決策として
それが最適なのかという視点が抜け落ちていることが多いから
その点ニューラルネットなんかは昔は脳の再現自体を目的にしていたみたいだけど今は脳の働きに全く無関係でも課題解決に繋がるなら取り入れるという意味では健全
526デフォルトの名無しさん (ｱｳｳｨﾌ FFc1-jFjK [106.171.73.59])
垢版 |
2020/07/10(金) 11:03:37.50ID:2/CcitmbF
そこまで言うなら
ニューラルネットワークωに
ニューラルネットワークが学習に最適かどうかを教えてもらえωωω
2020/07/10(金) 11:35:10.61ID:5Q6o1oXN0
でも本だとどんどん情報が更新されてるから時代遅れになっちゃうよね...
tensorflowとかversion1.を載せてる本とかももう今となっては...って感じ
2020/07/10(金) 12:46:53.88ID:c20Pw9J0M
そこでAutoML ですよ
2020/07/10(金) 12:47:50.08ID:juAHvZXOr
>>517
ホヤと同じげんさくどうぶつのナメクジうお
2020/07/10(金) 12:50:59.77ID:c20Pw9J0M
昆虫をナメクジウオと言い換えた所で研究の方向性に影響あるのかな
2020/07/10(金) 19:24:38.38ID:CXN7Eaxi0
あったりなかったり
2020/07/10(金) 23:38:05.22ID:xnCMfU0l0
>>522
どこが悪いか書けよw
2020/07/11(土) 14:09:56.34ID:AvoGGnxea
>>527
ライブラリを利用するためだけの知識のサイクルが早いのはどの分野でも同じ
web系なんてもっとサイクル早い
2020/07/11(土) 15:41:59.46ID:J0Nzxp4H0
tensorflowもkerasも1で書かれたものが2で実行しなくなり変換する必要が出て来たり
説明するのも鬱陶しんで
売ってる本は2が出た頃からPytorch使う本が増えてるんじゃないか
人気も急上昇してたけど
ブームの時に作られたものは基本全部1.0系なんでtensorflow使っている人は
1.0系と2.0系両方入れてるんじゃないの
2020/07/11(土) 15:55:46.44ID:7GJwnCIV0
ディープラーニングってたまたまうまくいっちゃいました。うまく行った理由は説明できませんって感じだよね？

理論なんてない。ただ役に立つだけ。
2020/07/11(土) 16:56:46.95ID:dQ/SxZGW0
>>535
理論だけあって役に立たないものもあるからな
役にたつならいいんじゃね？
突き詰めたら物理現象も説明できない事はあるだろうし
物質も素粒子レベルまで突き詰めたらまだ判らないことはあるだろう
2020/07/11(土) 16:58:24.82ID:DTP9O6tba
十分に汎化性能が高くてこれまで人力でやっていた作業がより高効率に行えるなら必ずしも根拠が説明できる必要はない
これまで人力でやっていた人も説明できていなかったのだから
2020/07/11(土) 17:47:19.02ID:hAPoO+Oi0
物理どころか
コンクリがどのようにして固まっていくのか　みたいな化学的なところも
まだまだわかってないぞ人類。

物理だと代表的なのは
飛行機の厳密な積載限界量がわかってない
（なにがどうなって飛んでいるのかまだまだ未解明の部分あり）
（クマンバチが飛べてる件とか、
宇宙ステーションでブーメランを投げても、手元に戻ってくる件　とか
けっこう、最近になって更新された知見あり）
2020/07/11(土) 18:08:05.44ID:vQbG8Vcn0
そうなんだよね
説明できたから信頼できるし正しいかと言うとそうでもないし

人がやることを神格化しすぎる人がいるね
所詮入力に対して出力するだけの関数でしかないのに
540デフォルトの名無しさん (ｱｳｱｳｳｰ Sac1-pR5Q [106.154.138.5])
垢版 |
2020/07/11(土) 18:36:42.45ID:JndfyIC0a
>>535
理論研究も最近は進んでいる
2020/07/11(土) 18:49:10.92ID:bxj8R9lc0
tf2はまだbatchnormalization実装されてないの？
2020/07/11(土) 19:02:49.03ID:eZ6Yc/Xh0
人が経験で取得していることも説明が出来ないんだから
AIだからってハードル上げられてもな

良きAIとは汎化や再現性で在るべきであって、理屈うんぬんはシステムの稟議とかの問題
2020/07/11(土) 19:31:35.90ID:vQbG8Vcn0
>>542
同意
544デフォルトの名無しさん (ﾜｯﾁｮｲ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/11(土) 19:53:36.29ID:7GJwnCIV0
要するに分野としては工学に属するということですね。
2020/07/11(土) 20:01:14.37ID:hAPoO+Oi0
何をいまさら
2020/07/11(土) 20:04:14.93ID:2ScJjjnd0
>>538
飛行機は推進装置があるから飛ぶんだよ
2020/07/11(土) 21:32:11.78ID:T2hwfIghd
seq2seqで翻訳系をしているナチュラルなサピエンス、居ますか？
C/C++の逆コンパイラ作りたいんだけど、何とかなりませんか？
https://github.com/katahiromz/CodeReverse2
https://github.com/katahiromz/WondersXP
逆アセンブルとAPI関数の列挙まで出来てます。
アセンブリからソースが得られる方法を探してます。
2020/07/11(土) 21:52:23.88ID:1Zc+teej0
https://twitter.com/katahiromz/status/1281934148408537093

ほらPythonインストールしたよ。この次何すればいい？
https://twitter.com/5chan_nel (5ch newer account)
2020/07/11(土) 21:53:54.11ID:Ppa5cbnC0
じゃあアンインストールしてみようか(´･ω･`)
2020/07/11(土) 21:58:20.59ID:4KYEIgdK0
マジョレスするとpythonのバージョンを落とす
2020/07/11(土) 21:58:50.90ID:1Zc+teej0
>>549
何で？ Python必須だって聞いたよ。
2020/07/11(土) 23:02:30.85ID:vQbG8Vcn0
どこにつまづいてるのか(笑)
2020/07/11(土) 23:25:40.55ID:T2hwfIghd
まず、C言語のソースコードを最適化なしでコンパイラに渡すと、素直なx86アセンブリを吐いてくれます。

簡単のために、一つの関数だけを対象とします。コンパイル可能な一つの関数のソースコードを次から次へと生成し、
そのアセンブリを関連付けてseq2seqで学習させると、逆コンパイラができるはずです。

ここまで間違っていませんか？ 足りない情報はありませんか？
2020/07/12(日) 00:21:54.69ID:wk+R5iVr0
ハッシュ関数は元の値と変換後の値とが一対一に対応しないのと同じ様に
コンパイルと逆コンパイルで一対一の写像になるかな？
一対一なら機械学習を使わなくて良さそう
一対一でないなら機械学習を使っても上手く行かなそうだけどな
あとリバースエンジニアリングが禁止されている事もあるけど法的にはどうなの？
2020/07/12(日) 00:29:16.39ID:bazuV89Ld
>>554
コンパイルのときに最適化という変換処理が入ると、関数が複雑になります。
最適化は別の学習が必要になると思います。
ソースコードはすべて自動生成するので、ライセンスの問題はありません。
2020/07/12(日) 00:39:10.00ID:bazuV89Ld
呼び出す関数の情報と、使用している構造体の情報が重要と思われますが、これをどうやって機械学習に取り込むのかが分かりません。
2020/07/12(日) 01:00:31.38ID:bazuV89Ld
API関数と構造体の情報は上記のWondersXPにあります。逆アセンブラはCodeReverse2で可能です。
2020/07/12(日) 07:31:44.43ID:zNwkT4YV0
556で問題にしてるところこそがわかんないうちは、むりなんじゃね？
2020/07/12(日) 07:43:27.31ID:bazuV89Ld
>>558
わかりました。もう少し頑張ります。あなたも頑張って下さい。
2020/07/12(日) 08:11:10.24ID:zNwkT4YV0
おうさ

なお
まほうのじゅもん「マニピュレーション」
2020/07/12(日) 08:45:29.76ID:aRbl/8GO0
金が絡んだプロジェクトのことをここで質問してるとしたらちょっと引く
2020/07/12(日) 09:45:38.93ID:AWKThRLT0
金は絡んでないけど痰が絡んでます
ｶｰｯﾍﾟｯ
2020/07/12(日) 13:43:22.63ID:aRbl/8GO0
ｼﾞｼﾞｲかよ(笑)
2020/07/12(日) 14:31:50.01ID:wk+R5iVr0
>>555
逆コンパイルを実現できたとしてそれを利用できるのか？ということ
2020/07/12(日) 14:46:42.71ID:I5BT7g+v0
１ヶ月後に東京がニューヨークののうになっていることを予測するのにＡＩの力は必要なさそう。
566デフォルトの名無しさん (ﾜｯﾁｮｲ 767c-jFjK [113.32.86.138])
垢版 |
2020/07/12(日) 14:52:40.25ID:uGVzSaa20
東京だけで済むかな？
せっかく収束しかけてて連休明けとか619とかあと一週間くらい頑張れば良かったのに
拙速で解除なんてするから
東京アラートωとか全く意味無かったし
2020/07/12(日) 16:31:58.55ID:abMYMZzM0
無為自然スウェーデン方式
2020/07/12(日) 19:06:12.87ID:aRbl/8GO0
数理モデルとシミュレーションて、イメージ
2020/07/12(日) 20:52:31.99ID:aDzqciee0
顔認証調べてって丸投げされて色々見てるんだけどなかなか一から作れるようになる気がしない
githubにあるコード試してわー出来た出来たくらいしかできねぇ。明日の報告どうすりゃいいんだ……
2020/07/12(日) 23:12:12.29ID:zNwkT4YV0
>>569
「特徴点」

ぶっちゃけ
人種差別・年齢差別なくちゃんとやってくれる実用レベルを期待されてるんなら
「わかんない」569が0から頑張るより
出来合いをカネで買ったほうが・・・
2020/07/12(日) 23:25:21.33ID:5lQpEe5O0
>>569
顔認証はDLでいいなら楽勝だろう。速度求めず、既にあるファイルを選り分けるだけなら簡単。

リアルタイムの認証はマジでヤバい。
「顔というものは鼻から上、1/3が暗い」「鼻や唇の端と頬の輪郭線の距離の法則」など完全に顔認証専門のアルゴリズムを知ってないと無理
2020/07/12(日) 23:50:06.95ID:aDzqciee0
顔認証のドアシステムを調べてて思ったんですけど、ユーザーが一人二人のときはいいとして、例えば数百人とかになってきたとき一人追加される度にまた全部一から学習してモデル作り直すのって相当大変ではないでしょうか
世の中の顔認証ドアシステムってどうやってんでしょう

>>570-571
会社としてそういう方向に手を伸ばしたいからざっと調査してみたいなふんわりした要求なんで今すぐ実用レベルのアプリよこせとかそういう話ではないです
だからまぁこういうライブラリ使っていけばそれっぽいの出来そうですよみたいな程度で行こうかなと
ただまぁ難しいもんだなと思い始めてます。少なくともうちの会社にゃ無理だろみたいな
2020/07/13(月) 00:17:40.14ID:BnZ5GJ/20
少なくとも一回やってみて詐欺みたいな業者を選別できるぐらいの知識は持っておいた方がいいかな
2020/07/13(月) 01:53:27.95ID:MzVCqyMG0
kaggleのテーブルデータコンペが減ったのって勾配ブーストゲーになったから？
2020/07/13(月) 09:33:39.54ID:CWLce0sEM
テーブルはクラウドでマウスポチポチするだけの自動ソリューションが人間に勝利するのも時間の問題だからね
2020/07/13(月) 10:31:01.03ID:F/GEuw5QM
automlでつまんなくなった(笑)
他に行こう
577デフォルトの名無しさん (ｴﾑｿﾞﾈ FF4a-jFjK [49.106.187.122])
垢版 |
2020/07/13(月) 10:46:39.48ID:WBkWHxcTF
>>572
>ただまぁ難しいもんだなと思い始めてます。少なくともうちの会社にゃ無理だろみたいな

そりゃ調査を任されたお前が言うんだからきっとそうなんだろうと予測はつく
2020/07/13(月) 12:44:23.11ID:kiRbT70Ya
automlで仕事なくなるとか言ってるのはautomlでできる範囲の仕事しかできていないだけなんだよな
もっと高度なことやってる人からすれば面倒な雑用が自動化されるだけなのでただただ嬉しいこと
2020/07/13(月) 12:49:10.07ID:6C7jBSrda
リードの距離は人によって異なるにせよ、ツールとのいたちごっこをしてる時点でいずれは抜かれるんだよ
最終的にはビジネスと真面目に向き合わなきゃいけない
2020/07/13(月) 13:19:15.39ID:MzVCqyMG0
コンペ上位見てもautoml系そんないないけど
大体xgboost+NN+RFとかのスタッキングしかいない
2020/07/13(月) 13:47:57.74ID:D6ulGabfM
データ集め、前処理なんかのkaggleのスコープ外の方が相対的に重要になったということかね
582デフォルトの名無しさん (ﾜｯﾁｮｲ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/13(月) 13:50:50.09ID:aFMcqAuy0
Kaggleって面白いの？
パソコンのスペックは要る？
2020/07/13(月) 14:17:05.21ID:D6ulGabfM
ゼロからだと面白くなるまで半年かかるんじゃね
2020/07/13(月) 20:39:31.69ID:UONpm/zv0
tensorflow2系けっこうバグ多いな。。
早く2.3出ないかな
2020/07/13(月) 20:43:13.64ID:BnZ5GJ/20
>>582
無料出し試してみては？
スペックはそんなにいらないけどグラボなしは実質参加不可能
2020/07/13(月) 21:22:27.30ID:aFMcqAuy0
>>585
LenovoのThinkCentreっていう小型パソコンじゃ無理ですか？
2020/07/13(月) 21:39:08.67ID:Znm36Z7j0
ESC50学習させようとしたらメモリエラーでた
32Gじゃ足りないの？
2020/07/13(月) 21:52:23.99ID:eGri5qaD0
>>587
ﾁﾈ!!!（・∀・）
https://mevius.5ch.net/test/read.cgi/tech/1589201940/826
2020/07/13(月) 22:43:20.30ID:BnZ5GJ/20
>>586
無理っす。機械学習はデスクトップじゃないと色々と厳しいよ
2020/07/13(月) 22:45:54.78ID:eGri5qaD0
>>586 >>589
メモリとHDD気合いで換装すれば
宮廷のスパコン１時間借りてやる計算が
3週間くらいで完走できる　　　こともあった。
2020/07/13(月) 22:48:12.26ID:BnZ5GJ/20
>>590
一回の試行錯誤で3週間はさすがに辛いｗ
仕事しながらだと8時間ぐらいならちょうどいいんだけどね。帰ってきて確認と寝る前にセット
2020/07/14(火) 05:13:52.49ID:f0X+/T7u0
いくらくらいのデスクトップPCを買えばいいんですか？
おすすめのものはありますか？
自作は無理です。
2020/07/14(火) 07:18:03.82ID:8r8Vt1D00
>>592
10マン以上かな

自作しないとすごく高く付く
https://www.g-tune.jp/desktop/pn_a/
2020/07/14(火) 08:34:18.82ID:DyWL0HS80
>>591
＞8時間ぐらい
プログレス表示の最初のほうをみて
そうおもってしまったことも（最初の１回だけ）ありました・・・

>>592
ネタにあえてマジレスすると

ちょいと一回試すのにひと月かかる　のがいやならば

本体代は可能な限り（Python組みとOfficeの基本3アプリだけやれればいいなら、
3萬弱でもいける。ネトゲはじめ、他のことはだいたいできなくなるが！）ケチって
残り７萬でAWSなりなんなり、レンタル型の計算システムを秒単位で借りるがよい
2020/07/14(火) 12:12:47.41ID:Wx7wO4sT0
GPU買えばいいだけだし
自作ってほどのもんか？
596デフォルトの名無しさん (ﾜｯﾁｮｲ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/14(火) 12:28:24.40ID:f0X+/T7u0
みなさんありがとうございます。
LenovoのThinkCentreでも性能面で全く不満はないんですが、GPUを買うと機械学習以外でもメリットがありますか？
2020/07/14(火) 12:54:12.69ID:Wx7wO4sT0
ない
598デフォルトの名無しさん (ｱｳｱｳｳｰ Sac1-pR5Q [106.154.130.127])
垢版 |
2020/07/14(火) 12:59:50.93ID:zIuyg5pga
ゲームが快適
2020/07/14(火) 13:12:39.77ID:TjOLLvBQ0
自分で決めろよ(笑)
2020/07/14(火) 16:26:30.95ID:wq29a1I2M
風切り音聴き放題
暖房いらず
601デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4e-PaEX [163.49.210.249])
垢版 |
2020/07/14(火) 19:51:40.28ID:4MXRjuybM
>>600
＞ 暖房いらず

ちょっと北海道こいや
2020/07/14(火) 19:53:53.97ID:wq29a1I2M
>>601
GPU1000個繋いでみ
2020/07/14(火) 20:00:57.31ID:f0X+/T7u0
みなさんありがとうございます。
実用に役立てたいとかいう気は毛頭なく、楽しくこの分野を「お勉強」するために実際にプログラミングもしてみたいという気持ちなので、
正直言ってあまりお金をかけたくありません。
2020/07/14(火) 20:02:06.67ID:9oJTcTsk0
クラウドサービスでなんかあるだろ
知らんけど
2020/07/14(火) 20:18:30.62ID:Y8DmAYlsa
AWSでもcolabでも
2020/07/14(火) 20:38:53.86ID:wq29a1I2M
CPUでもええんやで
2020/07/14(火) 20:52:15.51ID:8r8Vt1D00
>>603
本当に金かけずにやるならgoogle colabか
完全にブラウザだけで動く物だから、1万円ぐらいの中古ノートPCでも行ける
なんだったら漫画喫茶でも可

mnistだけなら数回クリックすればいいぞ
30秒ぐらい待てば0.91とか味気ない数字が出るからそこで終わり
それで「機械学習できたー！」って思えるなら、それでもいいかもな
2020/07/14(火) 21:08:43.86ID:d5f331vY0
初心者ですが機械学習に求められるPCスペックってどんなもんなんですか
画像認識に使います
2020/07/14(火) 21:29:17.91ID:DyWL0HS80
>>608
ちょっと上の現行レスくらい嫁ないと
おまえのスペックが足りないぞ
610デフォルトの名無しさん (ﾜｯﾁｮｲ 0d1d-BjSE [118.238.238.101])
垢版 |
2020/07/14(火) 22:36:18.41ID:xLQ7O8F30
【月収1000万】フリーランスになったら収益が10倍になった理由4選
https://www.youtube.com/watch?v=RvVZ588Limw
【サイト公開有り】ほぼフル外注で年間400万稼ぐ特化ブログを作った話【収支、収益、全部話します】
https://www.youtube.com/watch?v=fCtJLJg8Gcc
【実例有り】ブログで月1万円稼ぐまでの具体的な道筋を教える【プロが解説】
https://www.youtube.com/watch?v=S-pk5AmW3g8
【案件も公開】ブログで月20万円稼ぐ方法の全て。具体的な道筋や戦略も全て公開【雑記でもいけた】
https://www.youtube.com/watch?v=Jiujwjhe300
ブログで稼ぐ仕組み徹底解説】初心者にもやさしく、丁寧に説明
https://www.youtube.com/watch?v=n4qF7xpL7-M
【ミスるとヤバい】特化ブログと雑記ブログ、どっちがいいの？おすすめの運営方法も解説！
https://www.youtube.com/watch?v=sh2v5Uqlo1M
611デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-uxm5 [163.49.210.172])
垢版 |
2020/07/15(水) 10:03:40.49ID:YCCP8bXqM
データサイエンティストに転職したけど
機械学習はド初心者レベルで
記述統計と回帰分析ぐらいしかできません

それでもかなりの給料もらえるので
良い仕事選んだなあ、と自画自賛してたら
NTTデータの社員が
「今はデータ分析バブルだからね。
もうすぐ終わるけどね。」
と言ってたのが気になってます

大手の正社員になれたので
バブル終わってもＯＫですw
2020/07/15(水) 10:10:52.09ID:J5P08Rwfa
大企業の場合は使い道なくなった部門は丸ごと分社化して捨てられるだけだよ
クビにはならないけど待遇はかなり下がる
2020/07/15(水) 10:14:25.30ID:SZME8Gs5M
大企業ならこれからしばらくは大量採用世代の退職で急速に自然減するから、あえて貴重なIT人材を切ることはしないだろう
まあ仕事はただの社内SEさせられるかもしれないけど
2020/07/15(水) 10:28:52.74ID:ahsctCP7a
貴重なIT人材なら給料はもっと高くてもいいはずだけどなあ
615デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 10:58:41.59ID:EQY8Lc4J0
>>605
colabって無料ですか？無料だとして、どのくらいの計算能力があるんですか？ThinkCentreよりも上ですか？
616デフォルトの名無しさん (ﾜｯﾁｮｲ a34f-47rB [211.121.114.2])
垢版 |
2020/07/15(水) 11:03:41.88ID:cA+36tRw0
>>615
お前は少しは調べるスペック上げろ
2020/07/15(水) 14:10:20.22ID:qNpbPWvl0
ど初心者がデータサイエンティストとして働ける 会社だぞ(笑)
お察し
2020/07/15(水) 17:43:52.38ID:EQY8Lc4J0
どうせGPUの利用時間制限とかあるんでしょうね。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも