【統計分析】機械学習・データマイニング23
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvvv:1000:512
機械学習とデータマイニングについて語れ若人
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング22
https://mevius.5ch.net/test/read.cgi/tech/1547338417/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured >>692
就活する企業による
既にバリバリ使っていう企業ならもう一歩踏み込んで、どんなモデルで何をやっていたか、ハードウェアはどうしていたのか、なぜPyTorchを選んだのか、など機械学習そのものよりも、どう応用したのかが問われる
一方で全く使っていない企業ではそのレベルでも充分だが、やはり機械学習を使って何をしたのかは問われると思う
ただ、正直新人と機械学習にそこまで期待していないので、インターンとかアルバイトで感触と経験を積むほうが余程良いアピールになる
参考までに自社に機械学習できますで入ってきた新人は
・海外の論文を読んで自分で実装できる
・実際に機械学習で役に立つ何かを作った
・フレームワークの違いを熱く語れる
・FPGAで分類アルゴリズムを実装しました
とレベルは高かったが、入社して活用できているかは疑問
選ぶ会社間違えてないか？と心配になるレベル 普通、企業では体系的に教育受けてるやつしか機械学習枠では求めてないよ。
ただ現在は需要のほうが大きくなってるからガバガバな求人もある 機械学習ブームは後２、３年は持つそうだ
ttps://www.sankei.com/premium/news/190414/prm1904140009-n2.html 入門書レベルの機械学習分かります、チュートリアルレベルなら自力でやれます、程度の人は仮に採用されてもその内に仕事の大半が自動化されて単なる作業員に成り下がるのがオチだと思う >>696
AI とかは、なんか胡散臭いとどうしても思ってしまっていましたが（そんな人は多いのですかそれとも少ないのですか？）、この記事をみて認識を改めました、まだまだ可能性があると踏んでいる人はいるのですね 「頭の良い人」ほど意外と気付いていないことが多いが
世の中には「AI」より劣る人は大量に存在する
そういうのが一巡して一掃されるまでは続くだろ >>699
現在の AI がやっていることよりも少ないことしか考えない人はすくなからずいるってことですか？
たとえば「原発再稼動反対」とか「自衛隊は違憲」の人たちだというのなら、少しだけわかるような気もします
でも私も彼らと似たり寄ったりなのかもしれない、という気もします、なぜなら彼らより考えているという証拠がないから 東ロボが技術的には保守的なのに偏差値50越えてるってことはそういうことだろう
東ロボ以下の人間が半分以上いる >>700 なんなんだこのバカは、只のアラシなのか？ 理研は機械学習に全振りしちゃってるからそらオワコンとは言えんわな。 >>701
京大ならともかく東大入試は一通りの参考書を丸暗記すればほぼ合格できる
つまり完璧な読解力さえ身につけられればコンピュータでも合格は容易 >>706
まるで「完璧な読解力」を実現するのが容易みたいな言い回しだな >>710
すごい人がいっぱいですね…
底辺高卒だから…いろいろとしんどいですね… 精度がいい悪いじゃなくて、基本的にタスクが違うと思うんだけど >>714
画像分類なんだけど教師ありと教師なし上司がどっちが良いかも含めて検討しろって言ってた
俺知識が浅いから？？？ってなったんだけど教師なしで画像分類とかやろうとするとオートエンコーダとか使うんだよね？
多分それのことかなぁ… >>715
教師ありならラベルの推定をするのが目的だし、教師なしならデータの分布自体を学習したりクラスタリングするのが目的になると思うけど
画像分類っていってるんだからラベルの推定をしたいってことなんだろうね
訓練データに全部ラベルがついているなら教師ありで学習するべきだろうし、
ラベルの付いたデータが少なくてたくさんのラベル無しデータがあるなら
半教師あり学習、PU learningや能動学習を検討すべきじゃないかなと思う >>716
ありがとう
分かりやすい
今はラベル付いてる(自分で付けた)画像で分類出来るか勉強してるんだけど実際現場とかだとNG判別したい画像とかってほぼ取れなくて正常10万枚、不良1枚みたいな割合のデータしか取れないんだけどこういう場合も基本的には教師ありを使うべき？
それとも教師なしみたいな正常と不良の分布とかを学習させた方がいい？ そのレベルの検出精度を求めるなら機械学習は全然向いてないよ 機械学習とディープラーニングの違いは
一言で言うと
機械学習は、人間が特徴量を設計しなければいけない。
ディープラーニングは、コンピュータが自動で特徴量を学習する。
これでOKですか？
それで、従来の機械学習は廃れたの？ ディープラーニングは多々存在する機械学習的手法の1つ
これでOK あまたの分析手法のなかでも
非線形の当てはめチャンピオンが
ディープラーニングと思ってOK？ みんなtensorflowとかkerasとか普通に使えるの？
書き方難しすぎてわけわからないんだけど… >>726
それなら、SONYのNeural Network Consoleを
使ってみてはどうでしょうか？ >>721
他の手法も廃れてはいない
ディープラーニングはデータが大量にいるのと精度出すためのチューニングが難しいから PyTorch、Chainer、Keras、TensorFlow等の
フレームワークとSONYのNNCなら
どちらの方を学んだ方が良いのでしょうか？
また、これらのフレームワークを使っている人から見て
SONYのNNCはどう思われますか？ >>730
主観で言うから話半分くらいで聞いてもらえば幸い
SonyのNNCは値段を気にしなくて良いのであれば、かなり良いと思う
例を挙げると、ResnetにSEでバイパスして結果をさらにLSTMに流して〜、なんてのは慣れていてもコードベースだとごちゃごちゃする
また各レイヤーの入出力の次元を常に意識してコード書く必要があるけど、GUIでそのストレスが軽減されるのは大きい
拙いと言われつつも構造最適化機能がありtalos等のパラメータサーチを自分で設定しなくても済むのは便利だ
GUIで線を繋ぐだけなら初心者でも理解可能だけど、kerasだPyTorchだと言うところから始めると敷居が高くとてもそこまでたどり着けない
にも関わらず、なぜ大ブームにならないかと言うと、理由は二つあると考えている
一つは新たなネットワークを設計する業務がそこまで多くない点
もう一つはバックエンドがNNABLAというkerasでもPyTorchでもないマイナーなものである点
ただONNXという共通フォーマットに対応してからしばらく経つのにまだ流行ってないところを見ると、前者のネットワーク設計業務が業務として定着していないのだと思われる
githubで拾ってきたコードを適当に回せばそれなりに仕事として成立するのだろう sonyのは素人でもポチポチするだけでできるお手軽ツールだからこれを使いこなすことを目的にしてはならない
なぜなら素人でも使えるものを人よりちょっと使いこなせるのは何の強みにもならないから
何となく雰囲気を掴んで今後更に勉強する前段階とするだけならいいけど 一昔まえならダントツでkeras一択だったんだけど、最近MSがちゃんとやりだしてpytorchが進歩しだした
ハッキリ言ってうざい 初心者ならchainerがおススメ。慣れてからpytorhもkerasもtensorflowもやれ。 keras よく分かんないけど出来上がる
pytorch 自分で書けすぎて何やって良いか分からない 別にどれも結局コピペして適当なとこ変えるだけだと思うが。 >>731
日本企業はまだディープラーニングとりあえず成果出しましたレベルなんじゃないか
専門でやってきたとこは違うだろうけど ディープラーニングでなければならないタスクを抱えている企業は少ないのでは？ まぁ手段の一つにすぎないよ。俺のとこは年に二つくらい機械学習案件はない 日本がAIで勝つために「知の爆縮」を起こす
── 技術は成熟し、コモディティ化する
https://ledge.ai/connectome-design/
なにを言っているのか、さっぱりわからん。
「一気に事業をグロースさせる」とか
「技術はコモディティ化している」とか
「知の爆縮を起こす」とか
なんかそれっぽい言葉をちりばめると
お金が集まる分野なんだろうってことだけはわかる。 佐藤 聡（さとう あきら）だって(笑)
無能そう
なにも作ったことなさそう
論文もなさそう こういうカスみたいな記事が増えてるってのはブーム終焉かもな。 >>741
ざっと読んだけど、何言ってるか分からないのは単に読解力がないだけだろう
ただし大したことは書いてないので別に理解できなくても問題はない >>731
ネットワーク設計とはどういうことを指摘しているのですか？ >>745
文字通りニューラルネットワークの設計
新しい課題に適用する場合やチューニングをする際に必要となる
新しい課題では、似たような課題から似たようなニューラルネットワークを組むことから始める
勾配消失してると感じたらバイパスさせたり、過学習に陥りやすいときに適当にdropout挟んだりと、慣れてくるとどこに何をどこに配置すると性能が向上するのかが見えてくる
また上手く行っていたモデルが、入力データが異なると学習がうまくできないことがある
そこでチューニングという作業が発生する
チューニングは前処理を変えたりモデルを変えたりする
モデルを変えたい場合、例えばCNNの畳み込み層とプーリング層を一段深くしてみたり、全結合のニューロン増やしたり、活性化関数をReLUからtanhにしたり、あるいはオプティマイザをadamからadagradに変更したりする
恐ろしいことに、これだけで性能が恐ろしく向上する事が多々あり、理由が分かることのが少ない
このチューニングも含めたビジネスロジックに組み込むための(ニューラル)ネットワークの最終形態を作ることを設計と言っている nnablaのベンチマークが出てこない
pytorchやtensorflowに比べて速いんかどうかなんだけど >>734
chainerをやろうとしましたけど、
多変量LSTMのサンプルをいろいろ探しても
いいのが見つかっていません。
どこかアホにも分かるようなサイト教えて下さい！ 以下のブログを読めば
フレーム問題は解決済みと言えますか？
フレーム問題は解決済み −フレーム問題に見る、ＡＩ史の闇ー
https://robomind.co.jp/frameproblem/ フレーム問題は思考実験みたいなもん
全然気にしなくて良い まあそもそも人間もフレーム問題間違ってるやつばっかだし。 pandasのデータフレームにはベクトルを入れられるの？ そうなんだ
埋め込みベクトルは各々の要素を次元別のカラムに展開するのが定石なの？ 時間という概念が理解できてれば、社会の枠組みに囚われた者たちがどれだけ不自由を強いられてるか理解できるだろう。 >>755
何がやりたいかにもよるけど、別々に入れておくと
統計量出したりリサンプリングしたりplotしたりそのままscikit-learnの入力にできたりとメリット多い よくユーチューブとかでdqnを使った強化学習のシュミレーションとかやってるけど
それらのdqnってディープラーニングは使ってるの？
lstm使ってるだけだとディープラーニングとは言わないよね？ >>762
2層のニューラルネットワークでもディープラーニングと言えるの？ >>764
二層だけでdlなんて言うアホおらん
そんな厳密に定義求めても仕方ない 2層でニューラルネットワークと言ってた頃はあったですよ >>768
「は？」とか言うくらいならちゃんと間違い指摘してあげて バックプロパゲーションで詰んだ
順伝播はほほーんってなったけど数学分からん俺にはハードルゲロ高い ニューラルネットワークとディープラーニングは根本的に学習のさせ方が違うと思うだけど >>771
根本的に理解してないか大きな勘違いをしてるぞ
ディープラーニングはニューラルネットワークの一種 >>767
ニューラルネットワークは何層でも構わない
以下は一層のニューラルネットワークの例
Input ―> (neuron|activation) ―> Output
ディープラーニングは三層以上のニューラルネットワークと言われている ディープラーニングって単にニューラルネットワークの中間層を増やすだけなんか？ 層を増やすだけなら
なんでジェフリーヒントンがディープラーニング発見するまでに時間かかったんや？ >>774
中間層を増やすだけでも
それを上手く学習される技術がわからなかった
それを解決できた >>776
自分で少ない層のニューラルネットワークを作って
単純に中間層を増やして動かしてみたら良いよ ディープラーニングの中間層を大脳のようにランダムに配置したり
伝播をカオス化させたりするのはうまくいかないんでしょうか
新しいものが生まれそうな気がするんですが
そういう研究はあると思うのにネットで検索してもでてこない fasttextを使ってみて驚いた
標準ライブラリだけでこの速度と精度を実現してるの？？ >>780
今のところ一番近いキーワードはベイジアンネットワークかな
一般的には神経科学を計算機で実現する計算神経科学と呼ばれる分野
バックプロパゲーションは脳内では起きていないと言われていて、今のニューラルネットワークはヒトの脳とはどこか違うらしい >>780
今月の頭にFacebookが公開したrandomly wired neural networksはどう？ >>782
昨年発見されて話題になったのは違うの？
人間の脳の解明には
少なくともあと100年
かかると言われてる。
それまで俺は生きていないので
困ってるところ。 脳の解析は必ずしも必要ではない
例えば空を飛ぶのに鳥の羽根を模倣する必要はない。参考にはしてもいいけどね
そういう意味では脳の解析は100年後になるぐらい、どうでもいいことだとは思う 人間はミスが多い
錯覚も多い
勘違いも多い
思い込みで暴走しまくる
人間と同じもの人間の延長で造っても仕方ない
人間を模倣するべきではない ニューラルネットワーク界隈も元々は人間の脳を再現することを目的としていて
どれだけ実用性があるモデルでも学会では脳の機構とはかけ離れているというだけで拒絶されていたが
今やニューラルネットワークは脳を再現することを目的とするものではなくなっている ■ このスレッドは過去ログ倉庫に格納されています
