【統計分析】機械学習・データマイニング19
■ このスレッドは過去ログ倉庫に格納されています
機械学習とデータマイニングについて何でもいいので語れ若人 ※ワッチョイだよん 次スレ立ての際は、一行目冒頭に !extend:on:vvvvv:1000:512つけてね ■関連サイト 機械学習の「朱鷺の杜Wiki」 http://ibisforest.org/ DeepLearning研究 2016年のまとめ http://qiita.com/eve_yk/items/f4b274da7042cba1ba76 ■前スレ 【統計分析】機械学習・データマイニング17 http://mevius.5ch.net/test/read.cgi/tech/1502032926/ 【統計分析】機械学習・データマイニング18 http://mevius.5ch.net/test/read.cgi/tech/1507807291/ VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured 東芝、NEC、オムロン、富士通、日立 みたいなところの研究所からは まともな研究が出ているけど それを商品化するところは丸投げするから 変なのが出てくる 日本のメーカーは組織が疲労している P ドラッカー AIで会社経営を立て直すには過去の大量の成功・失敗の経営情報が詳細な内部情報とセットで必要であり それは一社及びそのグループ会社程度の規模では量的に足りなさすぎるので実質的に不可能と考えて良い BIやっても それを読み解いて 活用できる経営者が居ないとね 機械学習って、統計学の横に色んなジャンルが派生的に発展していて 縦に発展しているようなイメージがないんだが 流行り廃りで、いま学んだ知識の大半が今後は通用しなくなりそうというか 業界の人たちはかなり悲観的だよね 派生部分しか理解していない人は流行りが終了すれば新しい流行りを1から勉強し直す 根幹となる統計学が理解できていれば新しい流行りの理解も早いはずなので流行り廃りに対応しやすくなる 大学程度の数学と物理をやっとけ。できるなら修士レベル。後は後からどうにでもなる。 あとからどうにでもなるなら、高卒でもいいだろ。 機械学習に必要な分だけ勉強すれば。 >>451 勉強などやる気さえあれば誰でもできるがそもそも高卒という時点で機械学習エンジニアとしての採用はほぼ閉ざされるから 企業のリソース使わず自力で機械学習でビジネス起こす当てがあるなら話は別だが 数理工学、数学、統計 が一番採用したいけど そもそも人口が無いから微積と線形代数だけ分かれば後は頑張ってみたいな感じだよ 数学・物理の出身者は、物事を抽象化して捉えるセンスが群を抜いてる。 論理性と違って鍛えることが難しいし >>456 それほぼ一緒だとおもうが。たとえば、不完全性定理とか数学的抽象度が高いし論理的だろ。 不完全性定理 数学を基盤にし、証明を積み重ねていけば、 いつかは「世界のすべての問題を解決するひとつの理論体系」「世界の真理」に到達できるのではないかと信じられていた。 さて、1930年頃のこと。 数学界の巨匠ヒルベルトは「数学理論には矛盾は一切無く、どんな問題でも真偽の判定が可能であること」 を完全に証明しようと、全数学者に一致協力するように呼びかけた。 これは「ヒルベルトプログラム」と呼ばれ、数学の論理的な完成を目指す一大プロジェクトとして、当時世界中から注目を集めた。 そこへ、若きゲーテルがやってきて、「数学理論は不完全であり、決して完全にはなりえないこと」 を数学的に証明してしまったから、さあ大変。 ゲーデルの不完全性定理とは以下のようなものだった。 1)第1不完全性原理 「ある矛盾の無い理論体系の中に、肯定も否定もできない証明不可能な命題が、必ず存在する」 2)第2不完全性原理 「ある理論体系に矛盾が無いとしても、その理論体系は自分自身に矛盾が無いことを、その理論体系の中で証明できない」 http://noexit.jp/tn/doc/fukanzen.html >>454 実は機械学習のエンジニアの求人は学歴不問のところが多い バイトから入るという裏技もあるから、やる気さえあれば高卒でも余裕でなれる 独学→バイト→正社員→お金を貯めて研究者 理論的には、無理ではない あと自分は絶対にやらないけど 上でも言っている人もいる通り、やっぱり物理は出来た方がいいんじゃないか 機械学習+機械工学で年収2000万ぐらいの求人がちらほらある たぶん自動車でも作ってるんじゃないか この分野で突き抜けた年収が欲しければ、機械学習ともう一つ専門分野が必要だな 自分のいる世界とは別世界だけど 学歴不問って職務経歴だけ見ますって意味だよ。 金貯めて研究者ってどうすんのよ 大学編入するとこから始めるのか? あと物理と機械工学は別だから。 >>463 >>あと物理と機械工学は別だから。 そこらへん詳しくないから適当書いたスマン でもバイトで職務経験つけて、そのまま正社員になった奴はうちの会社に一人いるぞ 年齢的に、院試を受ければ、研究者にもなれるんじゃないかな >>451 高卒には越えられない壁がある よほど貧乏で大学行けなかったとかでなければ 理解できる頭あれば大学卒業(あるいは修士以上)してるはずで 高卒が高卒たる所以 言うか! DS系なんだけど、ぶっちゃけネットでググるとすぐ出る ただ、バイトをたくさん取ってるわりに、フリーターから定着できたの俺が知る限りひとりだけ 他にもいるのかもしれないけど >>466 毒親もな。連帯保証人無しでは学校も行けない。入院も出来ない。 中高生の時に虐待を受けていたからまともな精神状態で勉強に集中できなかったとか、 まあ色々なパターンがあるよね 高卒から這い上がってくる奴はいることにはいる そういう奴をまったく見かけないなら、逆にその人が見かけない世界にいるんだろ そろそろ、wikiみたいな「集合知」って機械学習で置換できちゃうんじゃないかな どんなマイナージャンルでも、一人が「こういうキーワードでジャンルの情報集積を」って 指定すれば、入門的なハウトゥや歴史的なインデックスまで作れたり 将来的には検索ワードみたいに随時処理でそれらが出力されたりするんだろうけど、 現段階でも、入力された特定キーワードに関する体系立てた知識の集積は可能じゃない? たとえば、「ホラー題材のギャグ漫画」くらいだと、概要や歴史的サンプルをまとめられたり >>471 機械学習は、所詮膨大な過去を根拠にしているだけだから、新しい知恵を生み出すことはできない >>473 何事かに対して、どういったジャンルに属する話かと判断して、それを総括するフォーマットを 類似記事から引用する学習は可能だと思う 現状でも、Wikiで項目を作る上で「似たような記事」から構成を引用するのが普通だ そこそこのマイナージャンルでも、テキストとして情報化されてきている 「データ群の前半に集中する情報を要約して『概要』とする」ことや、「年代と頻出で年表的に フォーマットを形成する」のも可能だと思う というか、Wikiの各記事においてすでにこういう「情報をまとめる上での構成」ができているんだから それ自体を機械学習できるはずなんだよ >>474 >現状でも、Wikiで項目を作る上で「似たような記事」から構成を引用するのが普通だ 一言で「似ている」というけれども、「犬と似ている」「猫と似ている」は現状の深層学習で実現できるとしても、 「似ているもの同士をまとめる」はまた別ではないか? このタイプにおける教師データは成立するのだろうか? >>475 「犬と似ている」と「猫と似ている」は、フォーマットとしてほぼ同じ語り口で記事になってると思う 同じようなフォーマットの記事から、頻出単語や構文を教師データとして、関連する情報として 拾うのは単純に機械学習の範囲だと思うけどなぁ 「同じような単語を同じような語り口で記述している記事」が教師データなわけで >>476 >「同じような単語を同じような語り口で記述している記事」が教師データ メタな構造そのものを教師データにできるものかな? >>477 むしろそういう「言及」をデータとして扱わないと機械学習の有効性が意味を持たないと思うよ 「○○は△△という意味で□□である」っていう関連を一つの型として学習する必要がある それをビッグデータから学ばないと、各データを統合で結ぶだけの古典的計算機に過ぎない >>478 >それをビッグデータから学ばないと、各データを統合で結ぶだけの古典的計算機に過ぎない なるほど! >「○○は△△という意味で□□である」っていう関連を一つの型として学習する必要がある 二項関係から三項関係への進化は、今は出来ていないんじゃないかな? Googleが猫の画像を判別させる人工知能を作るだけのために大量の猫画像を必要としたように、 wikiを作るとしたらその1項目毎に猫画像学習と同等かそれ以上の情報をかき集めて学習させる必要があるわけで 話題のcoinhiveみたいに世界中の各人のPCのリソース借りるような方法でもあれば可能かもしれないが特定の企業内だけで実現するには必要な計算資源が膨大すぎる Googleが画像から猫を判断させたのは、教師なしのニューラルネットワークによる学習だよ AIによる学習結果は、その本質を理解しているという意味じゃない 「検索結果の中からざっくり中央値を取る」ようなもんだ 「〇〇について、どこの誰がいつから始めてこういう成り立ちだ」みたいなWikiっぽいレイアウトに まとめるだけなら、既存のWebページと電子化されてる書籍だけで足りるかと もともとWkipedia自体、外部サイトでの記述や書籍による出展が求められるわけで そうした情報がちょいちょい間違ってたりするのも現状と同じ 教師なしであってる somでは無い ttp://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/unsupervised_icml2012.pdf 高卒派遣で機械設計やっていますが3年やっても年収300がやっとなので機械学習とPythonを学んで年収500万ぐらいになりたいです 付け焼刃の知識は、年収5000万overの人が作った機械学習自動化ツールに置き換えられそうだ。 というか、年収500万ぐらいならpythonだけでも有るだろ >>487 pythonって日本では需要が無いのでは。 日本の大企業で機械学習やってますと言ってるところはどういう環境で開発してるんだろう? 自動制御システムを機械学習という人たちもいるからな >>485 マセマみたいな簡単な参考書で、線形代数、微分積分、統計学の知識を大学一年生レベルまで習得 これなら分かる最適化数学、言語処理のための機械学習入門、はじパタ本を読む プログラミングは、書籍だけで勉強する場合、pythonの参考書を最低五冊 また、英語を勉強して、論文を読めるようにするように DB、クラウドの知識もほしいし、前処理についても独学しておいた方が採用されやすいだろう カグルにもチャレンジした方がいいかなあ あと絶対むずかしい参考書に手を出すな! 絶対だぞ! むかしから日本は共有知を軽視してきただろ 今更なに言ってんだ >>492 ご丁寧にありがとうございます 自宅学習がまるでできないのでまずは基本情報を取って自信をつけてみます 「〇〇入門」は山ほどあるのにその先を教えるものになると日本語の情報は激減するよな どうせ、価値ある一次情報は国外からしか出ないから、まず、英語で良い。 新井女史が人工知能の最高峰な国、Japan。 https://booklive.jp/review/list/title_id/493315/vol_no/001 >>469 同意。そこらへんのことを本当に知らない人多すぎ。 まあぶっちゃけ、自分が思い浮かぶ程度の手法は、エクセル先生でできちゃうし、実務上はそれをわざわざRやらPythonやらでやるインセンティブもないわけで。 ロジスティック回帰とかそこら辺になりゃ意味あるがあまり機会がない。やらんでなんとなく過ごしてる自分が悪いだけ疑惑はあるけどw https://twitter.com/ikasanma/status/1007588876251160582 流石にEXCELとPythonは使い道が違いすぎる >>501 背景の緑のマトリックスみたいな画像がpython関係なくてダサすぎる Excelは昔から統計分析でも使われてきたし変ではない。 今更と言われるくらいにパイソンも昔から存在したが、注目されるほどではなかった。 パイソンがデータ処理に向いているというのは最近流布されるステマの一種だろう。 インタプリタだからパイソンはデータセットが肥大化すると遅くなるよ。 シティー銀行がデータ分析や人工知能しようが、世界は常に変わるからエキスパート システムのようなアプリケーションは成功しなかったし、株価予測は原理的にランダムであり 予測不可能なのでAIなどやるだけ無駄。 データ量肥大化でpython処理が重くなるというならEXCELの場合重くなるどころか開くことすらできなくなるけどね むしろEXCELとの比較だけで言えばpython使うなら元データを分割して読み込みなど工夫すれば原理的には元データ量に関する限界はなく処理時間もデータ量に比例するだけ Excel推しの人ってみんな言ってることがどこかズレてる印象 というか、EXCELしか使えないからそれしか選択肢ないんだろう まず、エキスパートシステムは部分的には成功しているぞ 成果が世の目に触れにくいだけだ そして、パイソンの株式予測は、データが増えれば増えるほど成功する あんなの最適化数学の延長で十分 >>512 >株式予測は、データが増えれば増えるほど成功する 株価が上昇するか、それともアンダーウェートか、それだけでも判定できるのなら大いに役に立ちます! 勝率はどれくらいですか? 株価予測は簡単じゃねえわ 当たり前の話なんだが過去は幾らでも説明できるんだけど 未来は「まだおきていない」ので分からんのだ 株価は、あらゆる情報を用いたとしても、日経平均などの平均値を超えられないという、予想が信じられてるんだろ。 日経平均を上回る圧倒的パフォーマンスをだしたとしても、一時的であってたとえば100年、1000年とか長期で測れば平均値に落ち着くといった。 株価予測が可能かどうかに関する理論・仮説はこれだ。 効率的市場仮説 - Wikipedia 金融経済学における効率的市場仮説とは、市場は常に完全に情報的に効率的であるとする仮説。 効率的市場仮説に従えば、株式取引は株式を常に公正な価格で取り引きしていて、投資家が株式を安く買うことも高く売ることもできないということになる。 すると、銘柄の選定や市場のタイミングから市場の平均以上の実績を得るのは不可能である。 チリジ・マルワラは、市場に人工知能を搭載したコンピューターのトレーダーが増えるほど市場は効率的になっていくため、 人工知能が効率的経済仮説の理論の適用可能性に影響を与えるのではないかと推論した。 ウォーレン・バフェットは効率的経済仮説に反論していて、特に注目に値する1984年のプレゼン「The Supervisers of Graham-and-Doddsville」において、 世界最高レベルの運用投資会社で働く株式投資家の圧倒的多数は、投資家の成功は運で決まるという効率的経済仮説の主張に反論していると述べた。 マルキールは、プロのポートフォリオマネージャーの3分の2が(1996年までの)30年間にわたってS&P 500指数を越える実績を出せていない (しかも、ある年に実績が高い人とその次の年に実績が高い人の間の相関は殆どない)ことを示している。 自分の考えは、株価予測は不可能という効率的市場仮説はほぼ正しいとおもっていて。 ビル・ゲイツとか、孫正義など個人・組織とかの勝手な思い、欲求で大金が動いたとき、 市場の効率性が崩れ、その瞬間だけはチャンスありという理解。 個人の思いは普通は予測できない。本人自身なら分かってるが・・・ しかしそうすると金持ちは大金動かせて、その正確な予測も自身はできてるので常に稼げることになるがどうか。 すまんスレチだが助けてくれ JavaやろうとJDKをダウンロードしたんだが インストールパッケージを開くことが出来ませんでした。 パッケージがアクセスできることを確認してください。 またはアプリケーションベンダーに問い合わせ、このパッケージが 有効なwindowsインストラーパッケージであることを確認してくださいと 書いてある。 どうすればJDKを起動できるんや? >>519 オラクルのサポート契約結べばすぐ解決するよ! >>501 FRBのモデルはJuliaで作られているのにな。日銀はmaltab。pythonすらでない。 >>516 考えてみたところ、日経平均やNYダウや為替レートなどいろいろな要素が多く入ってる程、予測できない一方で。 これに反対してるウォーレン・バフェットの理屈も理解できるな。 特に社長個人に注目して、信念とか哲学とか聞いてみるとか、会社見学して社員教育や社員の熱意、やる気を確認するなどすれば、 いずれ(平均以上に)成長できる会社を発見するのはできそうだからな。 そうなると株価予測というより成功者を見つける事になってくるが、これは同一でいいのか。 これが、全てな気がする。 >>株価に影響を与える全てのパラメータがあればできる 株の予測に限らず、必要なデータの種類や指標が解らないと、AIは作れない。 対象ジャンルにAIエンジニアが、逐次精通していくのは無理ゲー。 アメリカのインフレとその後の崩壊に既に仕込んであるのだろうな大手は データの性質をよく知ってるほど強い どんな前処理したらいいかわからんし 株価に影響を与える全てのパラメータがあればって それあなたインサイダーですわ 確かに、原理的にあらゆる情報があれば予測できるとしても、現実的にはオープンにされたデータのみから予測できなければ合法に使えないな 株価予想、デイトレード的なものに機械学習を導入するだけなら 本当か嘘かまでは分からないけどアメリカの方で既に浸透しているらしいな ネットニュースでちょくちょくそういう話が流れてくる まだ無理なのは長期の予想の方だろう 「こういうデータがこう動いたら株価はこうなる」みたいに明示できるなら機械学習なんて不要だろ そうじゃなくて、全部AIに任せて「理由は分からんけど色んなデータからこれが買いだ」みたいな 説明するとアホみたいな活用が本来の機械学習の強みだろ 「理解」は放棄して「活用」だけするのが正しい姿だ 「株価の上下」という出力を変えて、「株価の変動にどういった要素が組み合わさったか」という部分を 分析するのは可能かもしれんが、それは経済学に寄与することはあっても株取引には不要な要素 >>519 だがwindows10でJDKをダウンロード、ダウンロード後保存されたJDKを 開こうとしても上記のような文が出てきて開けない ちなみにウィルソフトは一旦OFFにしたり、オフラインでのダウンロードもしたし Edge以外でfirefoxを使ったりしてもダメだった パターン認識と機械学習(PRML)の輪読資料を公開 2018年06月18日 soneoka education, news, readings C.M.ビショップ他著「パターン認識と機械学習」の輪読資料の一覧を当サイトで公開しました。 詳細はこちらから http://deeplearning.jp/deep-learning-day18-2/ ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる