【統計分析】機械学習・データマイニング23
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvvv:1000:512
機械学習とデータマイニングについて語れ若人
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング22
https://mevius.5ch.net/test/read.cgi/tech/1547338417/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured 田舎のおじさん企業にも始められる機械学習ツールて位置づけじゃない
そら国内sotaな現場ばかりじゃないからな
MLは高い数学の素養が求められる分またハードル高いし >>659 初学者からプロ用途まで幅広く利用される。 実際にAI系はPythonがなければ始まらない。 データが綺麗ならそりゃツールにぶちこむだけで済むだろうが
そんな簡単な話は世間には転がってない。 >>660
そりゃMLツールで遊ぶだけなら誰でも出来るだろ
ビジネスやら研究の領域になったらそんな寝言は出てこん >>648
分かる。
ビッグデータ分析といっても
ほとんどの会社では
Excelレべル。
python使ってど一のこ―のってのは
増えてきているが
ツール使うほどじゃない。
ツール使うとキレイな
グラフ描けるというぐらい。
Excel使って月収130万の俺が
言うのだから。
儲かってウハウハ！ そもそも、
利用についての話か
開発についてか
研究についてか
全部がごっちゃになってるので
話があわんよね みんなDLのフレームワークは何使ってる？
やっぱtensorflow？ ラッパーだけどこんあ世間話ならkerasっていっていいんじゃない ブラックホール観測データからpythonで補間しとった >>661 >>659
pythonは遅い。なんでJuliaを使わない。 速いから使うんじゃなくてライブラリの充実度や実装事例が多いから選ばれるんだぞ てかライブラリがなけりゃ速いも遅いもないだろ。
結局ライブラリはcで書かれるわけで言語なんて関係ねーわ。 うん、だからpython向けのライブラリの大半と同様機能のライブラリが多言語向けにあるならそっちでもいいだろうけど今のところその点においてpythonから移るほどのメリットがある言語は存在しない 機械学習じゃないけど、昔のライブラリは色々な言語で出すのが流行ってたね >>675 pythonライブラリがC で書かれてるからって他の言語で自由に使えるわけじゃないぞ。
結局Python でしか使えないからみんな Python を使ってる。 他言語がpythonと同程度にライブラリやらモジュール群、フレームワークが充実してたらここまでpython一択の状態になってない
てかjulia使ってみたいからjuliaエコシステム構築してけろ 初心者はkeras使うべきだったかもしれん…
pytorchわけわからん… pythonの文法、numpy(scipy)、pandas、scikit-learnと覚えること一杯過ぎる 全部覚えてる人なんてごく少数だと思うよ。
できる人は、最低限必要な範囲を覚えてて、それ以外は概念を理解して
詳細がどこにあるか探し方が上手い。 初心者はkerasやkeras-rlで十分だよ
中級以上の用途でも既存クラスを継承して必要な所だけ改修すれば大抵は事足りるし >>680
juliaは純粋に良い言語だと思ったよ
行列周りがスッキリかけていいね
一応pythonのライブラリ呼び出せるから無理すれば使えないことはないが、業務で使うレベルにはないかな フレームワークとライブラリの違いがよくわかりません。
Pythonはフレームワーク？ Python は、プログラミング言語です
「フレームワーク ライブラリ 違い」で検索！ Pythonは言語処理系で、特定のプログラミング言語を解釈して実行する。
フレームワークは文字通り枠組みで、特定のアプリケーションの共通部分
を提供してくれるので、残りの固有の部分を作ればよい。
ライブラリは一般的な機能をまとめたもので、実績のあるものを選ぶことで
ソフトの品質を保ち、テストや開発を効率的する。
敢えて包含関係をつけると Python＜ライブラリ＜フレームワーク >>684
良さげなサイト。
これを学んだら、G検定合格に結びつく？ 就活で機械学習使えます！って言うにはどんなこと理解してればいいの？
取り敢えずオライリーの機械学習の本は1週(完璧に説明出来はしない)してPytorchのサンプルコード使って画像分類してるくらいなんだけど
ちな新卒 >>692
就活する企業による
既にバリバリ使っていう企業ならもう一歩踏み込んで、どんなモデルで何をやっていたか、ハードウェアはどうしていたのか、なぜPyTorchを選んだのか、など機械学習そのものよりも、どう応用したのかが問われる
一方で全く使っていない企業ではそのレベルでも充分だが、やはり機械学習を使って何をしたのかは問われると思う
ただ、正直新人と機械学習にそこまで期待していないので、インターンとかアルバイトで感触と経験を積むほうが余程良いアピールになる
参考までに自社に機械学習できますで入ってきた新人は
・海外の論文を読んで自分で実装できる
・実際に機械学習で役に立つ何かを作った
・フレームワークの違いを熱く語れる
・FPGAで分類アルゴリズムを実装しました
とレベルは高かったが、入社して活用できているかは疑問
選ぶ会社間違えてないか？と心配になるレベル 普通、企業では体系的に教育受けてるやつしか機械学習枠では求めてないよ。
ただ現在は需要のほうが大きくなってるからガバガバな求人もある 機械学習ブームは後２、３年は持つそうだ
ttps://www.sankei.com/premium/news/190414/prm1904140009-n2.html 入門書レベルの機械学習分かります、チュートリアルレベルなら自力でやれます、程度の人は仮に採用されてもその内に仕事の大半が自動化されて単なる作業員に成り下がるのがオチだと思う >>696
AI とかは、なんか胡散臭いとどうしても思ってしまっていましたが（そんな人は多いのですかそれとも少ないのですか？）、この記事をみて認識を改めました、まだまだ可能性があると踏んでいる人はいるのですね 「頭の良い人」ほど意外と気付いていないことが多いが
世の中には「AI」より劣る人は大量に存在する
そういうのが一巡して一掃されるまでは続くだろ >>699
現在の AI がやっていることよりも少ないことしか考えない人はすくなからずいるってことですか？
たとえば「原発再稼動反対」とか「自衛隊は違憲」の人たちだというのなら、少しだけわかるような気もします
でも私も彼らと似たり寄ったりなのかもしれない、という気もします、なぜなら彼らより考えているという証拠がないから 東ロボが技術的には保守的なのに偏差値50越えてるってことはそういうことだろう
東ロボ以下の人間が半分以上いる >>700 なんなんだこのバカは、只のアラシなのか？ 理研は機械学習に全振りしちゃってるからそらオワコンとは言えんわな。 >>701
京大ならともかく東大入試は一通りの参考書を丸暗記すればほぼ合格できる
つまり完璧な読解力さえ身につけられればコンピュータでも合格は容易 >>706
まるで「完璧な読解力」を実現するのが容易みたいな言い回しだな >>710
すごい人がいっぱいですね…
底辺高卒だから…いろいろとしんどいですね… 精度がいい悪いじゃなくて、基本的にタスクが違うと思うんだけど >>714
画像分類なんだけど教師ありと教師なし上司がどっちが良いかも含めて検討しろって言ってた
俺知識が浅いから？？？ってなったんだけど教師なしで画像分類とかやろうとするとオートエンコーダとか使うんだよね？
多分それのことかなぁ… >>715
教師ありならラベルの推定をするのが目的だし、教師なしならデータの分布自体を学習したりクラスタリングするのが目的になると思うけど
画像分類っていってるんだからラベルの推定をしたいってことなんだろうね
訓練データに全部ラベルがついているなら教師ありで学習するべきだろうし、
ラベルの付いたデータが少なくてたくさんのラベル無しデータがあるなら
半教師あり学習、PU learningや能動学習を検討すべきじゃないかなと思う >>716
ありがとう
分かりやすい
今はラベル付いてる(自分で付けた)画像で分類出来るか勉強してるんだけど実際現場とかだとNG判別したい画像とかってほぼ取れなくて正常10万枚、不良1枚みたいな割合のデータしか取れないんだけどこういう場合も基本的には教師ありを使うべき？
それとも教師なしみたいな正常と不良の分布とかを学習させた方がいい？ そのレベルの検出精度を求めるなら機械学習は全然向いてないよ 機械学習とディープラーニングの違いは
一言で言うと
機械学習は、人間が特徴量を設計しなければいけない。
ディープラーニングは、コンピュータが自動で特徴量を学習する。
これでOKですか？
それで、従来の機械学習は廃れたの？ ディープラーニングは多々存在する機械学習的手法の1つ
これでOK あまたの分析手法のなかでも
非線形の当てはめチャンピオンが
ディープラーニングと思ってOK？ みんなtensorflowとかkerasとか普通に使えるの？
書き方難しすぎてわけわからないんだけど… >>726
それなら、SONYのNeural Network Consoleを
使ってみてはどうでしょうか？ >>721
他の手法も廃れてはいない
ディープラーニングはデータが大量にいるのと精度出すためのチューニングが難しいから PyTorch、Chainer、Keras、TensorFlow等の
フレームワークとSONYのNNCなら
どちらの方を学んだ方が良いのでしょうか？
また、これらのフレームワークを使っている人から見て
SONYのNNCはどう思われますか？ >>730
主観で言うから話半分くらいで聞いてもらえば幸い
SonyのNNCは値段を気にしなくて良いのであれば、かなり良いと思う
例を挙げると、ResnetにSEでバイパスして結果をさらにLSTMに流して〜、なんてのは慣れていてもコードベースだとごちゃごちゃする
また各レイヤーの入出力の次元を常に意識してコード書く必要があるけど、GUIでそのストレスが軽減されるのは大きい
拙いと言われつつも構造最適化機能がありtalos等のパラメータサーチを自分で設定しなくても済むのは便利だ
GUIで線を繋ぐだけなら初心者でも理解可能だけど、kerasだPyTorchだと言うところから始めると敷居が高くとてもそこまでたどり着けない
にも関わらず、なぜ大ブームにならないかと言うと、理由は二つあると考えている
一つは新たなネットワークを設計する業務がそこまで多くない点
もう一つはバックエンドがNNABLAというkerasでもPyTorchでもないマイナーなものである点
ただONNXという共通フォーマットに対応してからしばらく経つのにまだ流行ってないところを見ると、前者のネットワーク設計業務が業務として定着していないのだと思われる
githubで拾ってきたコードを適当に回せばそれなりに仕事として成立するのだろう sonyのは素人でもポチポチするだけでできるお手軽ツールだからこれを使いこなすことを目的にしてはならない
なぜなら素人でも使えるものを人よりちょっと使いこなせるのは何の強みにもならないから
何となく雰囲気を掴んで今後更に勉強する前段階とするだけならいいけど 一昔まえならダントツでkeras一択だったんだけど、最近MSがちゃんとやりだしてpytorchが進歩しだした
ハッキリ言ってうざい 初心者ならchainerがおススメ。慣れてからpytorhもkerasもtensorflowもやれ。 keras よく分かんないけど出来上がる
pytorch 自分で書けすぎて何やって良いか分からない 別にどれも結局コピペして適当なとこ変えるだけだと思うが。 >>731
日本企業はまだディープラーニングとりあえず成果出しましたレベルなんじゃないか
専門でやってきたとこは違うだろうけど ディープラーニングでなければならないタスクを抱えている企業は少ないのでは？ まぁ手段の一つにすぎないよ。俺のとこは年に二つくらい機械学習案件はない 日本がAIで勝つために「知の爆縮」を起こす
── 技術は成熟し、コモディティ化する
https://ledge.ai/connectome-design/
なにを言っているのか、さっぱりわからん。
「一気に事業をグロースさせる」とか
「技術はコモディティ化している」とか
「知の爆縮を起こす」とか
なんかそれっぽい言葉をちりばめると
お金が集まる分野なんだろうってことだけはわかる。 佐藤 聡（さとう あきら）だって(笑)
無能そう
なにも作ったことなさそう
論文もなさそう こういうカスみたいな記事が増えてるってのはブーム終焉かもな。 >>741
ざっと読んだけど、何言ってるか分からないのは単に読解力がないだけだろう
ただし大したことは書いてないので別に理解できなくても問題はない >>731
ネットワーク設計とはどういうことを指摘しているのですか？ >>745
文字通りニューラルネットワークの設計
新しい課題に適用する場合やチューニングをする際に必要となる
新しい課題では、似たような課題から似たようなニューラルネットワークを組むことから始める
勾配消失してると感じたらバイパスさせたり、過学習に陥りやすいときに適当にdropout挟んだりと、慣れてくるとどこに何をどこに配置すると性能が向上するのかが見えてくる
また上手く行っていたモデルが、入力データが異なると学習がうまくできないことがある
そこでチューニングという作業が発生する
チューニングは前処理を変えたりモデルを変えたりする
モデルを変えたい場合、例えばCNNの畳み込み層とプーリング層を一段深くしてみたり、全結合のニューロン増やしたり、活性化関数をReLUからtanhにしたり、あるいはオプティマイザをadamからadagradに変更したりする
恐ろしいことに、これだけで性能が恐ろしく向上する事が多々あり、理由が分かることのが少ない
このチューニングも含めたビジネスロジックに組み込むための(ニューラル)ネットワークの最終形態を作ることを設計と言っている nnablaのベンチマークが出てこない
pytorchやtensorflowに比べて速いんかどうかなんだけど >>734
chainerをやろうとしましたけど、
多変量LSTMのサンプルをいろいろ探しても
いいのが見つかっていません。
どこかアホにも分かるようなサイト教えて下さい！ 以下のブログを読めば
フレーム問題は解決済みと言えますか？
フレーム問題は解決済み −フレーム問題に見る、ＡＩ史の闇ー
https://robomind.co.jp/frameproblem/ フレーム問題は思考実験みたいなもん
全然気にしなくて良い まあそもそも人間もフレーム問題間違ってるやつばっかだし。 pandasのデータフレームにはベクトルを入れられるの？ そうなんだ
埋め込みベクトルは各々の要素を次元別のカラムに展開するのが定石なの？ ■ このスレッドは過去ログ倉庫に格納されています
