【統計分析】機械学習・データマイニング20
■ このスレッドは過去ログ倉庫に格納されています
機械学習とデータマイニングについて何でもいいので語れ若人 ※ワッチョイだよん 次スレ立ての際は、一行目冒頭に !extend:on:vvvvv:1000:512つけてね ■関連サイト 機械学習の「朱鷺の杜Wiki」 http://ibisforest.org/ DeepLearning研究 2016年のまとめ http://qiita.com/eve_yk/items/f4b274da7042cba1ba76 ■前スレ 【統計分析】機械学習・データマイニング19 http://mevius.2ch.net/test/read.cgi/tech/1520586585/ VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured >>621 そういうことじゃないよ、金の話しだよ。精度上げるのに必要な金を気前良く払う客なんて滅多にいない。 予算枠は先に決まってるからね。逆に決まってない場合はまずアポーンw >>617 一般論として、とわざわざ書いたじゃんw >>620 なるほど… そういうことですか、別のモデルを調べてみます。 コスパって比率だからな いくら比率良くてもパフォーマンスの絶対値が小さければ意味ないぞ 人工知能の本買ってきた これで二冊目 迷ったけど ディープラーニングとPython,Tensorflowの本にした それにしても人工知能の本たくさんあった 5種類ぐらい 最初に買った「ゼロからはじめる〜」の本は10万部いったって https://i.imgur.com/1QbZuPK.jpg ネットに同等以上の記事はいくらでもあるけど 情報まとまってるし、時間ない初学者が買うのはあり でも電子版じゃないとjupyterやcolabで手動かしながらやるのだるいから 実本はあまり勧めないな つってもどんどん技術が陳腐化してくから、MLの基本とCNN,RNN,LSTM,GAN,Attentionの概要だけ身につけたら あとはdeepmindのサイトと論文全部読んで arxivでsota達成したのだけ数カ月分読むほうがトレンドを追いかけるには手っ取り早い 実装がメインなら論文追わずにKerasやっとけ すごいのでたらそのうちKerasにも実装されるから それ使えってのが俺の結論 NLP やるなら PyTorch がもう主流だけどな みなさん、やっぱり、ハイスペックのゲーミングマシンで開発しているの? 研究や学習用途ならもうcolabでいいんじゃねーの TPUまで無料で使えるようになったから最強すぎるわ ただ12時間超える学習なんかの場合は、途中で保存する処理を作るか 既にある処理を使う必要性がある、Kerasには既にある tensorflowの低レベルでやる場合は自分で書く必要性あるのかな Pytorchはまだ触り程度で詳しくないけど、kerasと同じようなライブラリあるならそれ使えばいい 業務やサービスの場合はどうせAWSかGCP,Azure借りるだろ sotaという言葉を知らなかったので調べてみてstate of the artの略で直訳すると最先端とかそんな意味だから何となく言いたいことは分かったけど機械学習分野での定義に当たるものが全然見つからない sota達成とか誰がどうやって決めてるの? >>636 sotaって論文で書いてる連中は arxivなどのオープンアクセスな論文サイトに投稿されてるコンピューターサイエンスの論文で有用なのはほとんど全部読んでる だからどれが最高水準かを知ってるから その分野におけるsota近辺のモデルの論文の結果と比較してsota達成としている っていうのが俺の認識 論文完璧に追ってる以外にもカンファレンスで情報収集してるってのもあるだろうけど 物理学なんかと違って、ML分野はオープンアクセスな論壇で発展してきたからこうなってるんだろうけど その辺の事情を追えてない日本人には全くわからん状態なのも仕方ない あぁカンファで同時にsota報告が上がってたんだな そりゃカンファで採択されるかされないかと オープンアクセスサイトでの論文公開タイミングは、ものによってはちげーから いくら先端追ってる連中でも被るのは仕方ない ・GAN的な双方向マルチ学習(自然言語で言うなら敵対的逆翻訳のしあいっこ?) ・特徴に時間間隔とポジション付与 ・Attentionの構造改善 この3つが大体の今のトレンドだろ 全部組み合わせたのも半年以内に出てくるだろうけど 結局の所、事象における連続した時間情報の把握と その状態における時間変化率の学習が上手く出来てないから汎用AIにはなれんだろう ちゃんとした学者にも俺と似たような事言ってる人いて 脳構造の模倣による時間情報の学習を、哲学的な部分からやろうって言ってる人いるけどどうなるかな 神経構造なんかは既に解明されてるけど そうなるとしか分かっていない回路形成の発生学とか 関与しているらしいけど何してるのかいまいち分かっていないグリア細胞とか こっちの方がモデリングをする上で重要だと思うけどね 今のMLでは生物の機能の一部を模擬してるだけに過ぎない 脳モデルはあくまでNN、DL起案者が何をモデルとして数学モデル化したかであり、NN、DLは脳モデルそのものではない。 また、そもそも脳モデルが最適なモデルかどうかはまだ証明が存在しない。 たまたまDLがよい結果出たからそう言われてるだけ。 脳モデルが最適かどうかという前提を何も示さずに、研究者のなかに、『脳の伝達には〜があるから○○を追加したらこうなるはず』みたいな議論されているのを見ると、滑稽に思う。 よりよい結果が出たらそっちを採用するだけ。 それが脳モデルになるとは限らない >>643 ほんこれなんだよね Andrew NgもDLを脳に結びつけて説明するのは、誤解が多いから止めたって言ってたわ 世にこれだけディープラーニングが広まったのは、脳モデルの説明による功績が大きいけどな 人間の脳が超省エネで高速に学習して予測結果の出力できているのと比較すると現行モデルは脳と呼ぶにはには程遠いんだけど非理系メディアでは人間の脳を模倣しているなどと喧伝される 世に広めるにはイメージが大事です。 ただ研究者はイメージで研究してはダメです。 CSなんて結局は計算能力との兼ね合いだからな 仮に完全に脳構造を模倣したモデルを組み上げたとしても それがクソ重くて現行の計算資源で回らなけりゃクソだとしか評価されん かといって脳構造の模倣や考察を放棄するのは適切じゃない 世界モデルもこっちよりだし、強化学習をやるためには避けられないだろう 問題はRNN,LSTMでは事象における連続した時間情報をあまり学習できてないってことだな TransformerとUTは時間間隔をと位置情報を特徴に埋め込む事で マルチヘッドセルフattentionにそれらを処理させているが おそらくは完璧を求めると 階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう 計算力はどうせなんとかなるだろうし 誰かが気づけば、あと10数年で汎用AI完成するんじゃね そもそも脳構造の哲学的推測における模倣はイメージじゃなくて ただの論理的思考なんだけど 推測の過程において論理が飛躍しすぎてると 大抵の人は妄想だと判断して、考察を放棄する傾向があるからしょうがないわな それが当たり前だもの >>646 >>643 小脳とかをラッピングする形で大脳とかがあるように NN を別の何かでラッピングするようなモデルがあっても まだ全く脳のモデルですらない 遺伝的アルゴリズムも名前が強そうだけど、中身はびっくりするレベルでしょぼいよね ニューラルネットワークなんて回帰を多層にしただけの超単純構造 >>653 はったり、生物の進化淘汰なんかどこにもない 大事なことなので復唱します。 世に広めるにはイメージが大事です。 ただ研究者はイメージで研究してはダメです。 研究者の中には、脳モデルが最適かどうかという前提を何も示さずに、 『脳の伝達には〜があるから○○を追加したらこうなるはず』 みたいな議論されている方々がおりますが、根拠が薄く滑稽に思います。 >>653 AI関連の話題は、タイトルは大げさなんだけど内容はショボいよね。 俺は頑張りますよ! 最適かどうかは完成物があれば評価できるんだからいいでしょ そもそも分からないから研究して新しいモデルを作るわけで 最初から何が最適か知っている人がいてそれを論理的に説明できるのならばとっくにそれがスタンダードになっているはずだがそうはなっていないんだから最適など誰も知らないと考えるのが自然 つまりはまあ、最近の機械学習の論文なんて実績と経験則の積み上げ(帰納)によるものがほとんど。 より良きモデルからスタートしたモデルのアイデア(演繹)を求む アイデアと結果はあるのだかどうやって世に広めたらよい? 結果あるなら論文書いてarxivに投稿すりゃいいじゃん 高校生ですらMLの論文書いて投稿してたの昨年話題になったろ >>654 単純構造で目的を達成できるならそれでいいんじゃないの? 必要以上に複雑にして何かメリットあるの? >>656 既に実現されてるものを真似するのは方法の一つじゃない? バイオミメティクスとか >>656 最適かどうかは評価尺度によるところもある 経済的になのか学習コスト的になのか結果の精度的になのかとか >>659 結果が全てじゃね? モデルを頭で考えても実証しなければ役に立たない 数学とは違うんじゃね? >>660 それが何の役に立つのかとか どんな課題を解決できるのかとか あとは面白いかどうかとか ARの技術もスノーとかに応用することで一般の人は知らずに広まっている >>665-668 だからそれは問題に対する帰納的なアプローチだってば。 マイナーチェンジでしかパワーアップ出来ない。 また一概には言えないかもしれないが、結果がローカルなものになりがち そもそも、ある程度iter重ねるか、少数サンプルで訓練した結果をプロットしつつ 新しいモデルを模索してくのが、今のMLにおける超大多数の手法であって 最初から論理的組み立て部分で有効性を実証してから研究始めるなんて手法は 明らかにメジャーではない 取り敢えず予測モデルで雑なコーディングして、訓練結果をプロットしてみてから 数理モデルの有効性に論理的説明をつけるって手法がメインなのは 有用な結果を残してる論文の内容からも分かる話 ほとんどだーれも論理的説明を完璧に付けてから研究開始なんざしてない +58IDnbydの論理展開を適用すると、全員滑稽になっちまわないか? そういう意味で、既に有効性の確認されている脳っていうクソ速いモデルを模倣するっていうのは その時点である程度の論理的根拠を示しているとすら言える pytorchのdevcon見たけど、想像以上に大企業がサポートしてて驚いたわ 見てみたけど、グローバルなAI 企業オールスターって感じか。 もっとも作ってるのが FBだから別に不思議でもないけど >>669 帰納的なアプローチがなぜダメだと判断でしているのか判らない 帰納的に発見した原理を演繹的に適用すれば良いだけじゃね? >>671 帰納的に探索する領域の問題でしかないだろ 演繹的に適用する原理に相当するものはどこから発見するのか Google Colaboratoryで !apt -y install libcusparse8.0 libnvrtc8.0 libnvtoolsext1 ができなくなったのだがどうしたらいいのか >>677-678 tensorflow vs pytorch の構図が完全できちゃったんで他のフレームワークはどれも厳しいけど、 tf の独占を阻止できたのは良かったと思う。 tf が pytorch を滅茶意識してて笑えるw >>678 良くも悪くも学生の趣味の域をこえてないのが残念。こえる気もないのかもしれんが >>684 マルチGPUの分散学習はChainerが速いらしいから頑張ってほしい 会社の技術発表で機械学習をやってみたいんだけど、 例えば、複数ユーザーのツイートを元に学習したアカウントで人間っぽく自動ツイートする、みたいなことって可能ですかね? 使用したことある言語はjavaくらいで、Pythonとかは始めてなんですけど >>694 よっしゃ、ありがとうございます 1ヶ月あればなんとかなるかな、頑張ってみます >>695 ところで業務にはどう役に立つのかね? って言われそう 日立なんかは一年目に技術発表会やると聞いた。上の人がどこの人か知らんけど >>696 自分が興味あることを発表する、みたいな場だから業務に役立つかどうかは大丈夫 ゲーム作ってきたやつもいたし >>698 著作権的にいいのかな?社内向けとはいえそれをツイートまでするのはアウトな気がする。 自分のアカウントを2つ作ってやるならいいだろうけど。 Twitterはツイートした時点でその内容を誰がどう使ってもいいよ、っていう規約だったはずだから権利侵害とかの問題はないだろう 独学で機械学習やってるけど、おっさんの腐った脳味噌じゃもうダメだな 大学入り直すか >>701 著作権で言えば 著作者人格権とか著作権に関する権利の一部は 日本の法律ではなくならないはず そもそも、機械学習で生成されたデータが 元にしたデータの著作権侵害になるという法律屋の指摘に違和感を感じる 日本は法律面で先進国としては非常に珍しい機械学習パラダイスなんだぞ 進化する機械学習パラダイス 〜改正著作権法が日本のAI開発をさらに加速する〜 https://storialaw.jp/blog/4936 個人情報保護とかで医療関連はデータ集めるのが大変だそうな その辺りは医療機関自体がデータサイエンティスト雇うか業務提携するしかないだろう >>707 つまりこういうことだな 現在:「学習用データ収集→諸々の処理→学習モデル作成」を個人や自社だけで完結させる場合は商用・非商用問わず著作権者の許可を取る必要なし 2019/1/1以降:収集した学習用データを他人・他社に公開・販売するのも著作権者の許可を取る必要なし ※もちろんデータ解析という本来の目的外に使用されることが明らかなら違法なので、漫画データの学習のためと謳って漫画スキャン画像を公開するとかはNG ということで、明らかに悪用するような使い方でない限りデータ解析において著作権を気にする必要はない 医療用プログラムは医療用機器つくってた会社しかつくれないように規制されてるから入れん 認可とるのも大金かかるし GANのdiscriminatorの次元減らしていくのに全結合無い方がいい理由ってなんで? >>708 個人情報を収集するときに 利用目的や利用の範囲とかを示して 合意して貰えばいいだけじゃね? おと要求に応じて開示修正破棄できるようなシステムにしておく ほかの個人情報でも同じ https://arxiv.org/pdf/1312.4400.pdf > 3.2 Global Average Pooling > ・・・ > However, the fully connected layers are prone to overfitting, thus hampering the generalization ability > of the overall network. Dropout is proposed by Hinton et al. [5] as a regularizer which randomly > sets half of the activations to the fully connected layers to zero during training. It has improved the > generalization ability and largely prevents overfitting [4]. > In this paper, we propose another strategy called global average pooling to replace the traditional > fully connected layers in CNN. >>718 全結合いれたら汎化性が落ちるから他の方法でってことか ありがとう なんと!あのアナコンダが! っていうほどのもんじゃないな >>717 これから集める分ならそうだろうな でも今まで蓄積してきたデータは? 契約上使っても問題ないデータが十分集まる頃にはとっくに置いてかれている ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.4.7 2024/03/31 Walang Kapalit ★ | Donguri System Team 5ちゃんねる