X



【統計分析】機械学習・データマイニング21
レス数が1000を超えています。これ以上書き込みはできません。
0001デフォルトの名無しさん (アウアウウー Sa4f-YdG1)
垢版 |
2018/11/04(日) 14:34:36.02ID:W830XVm1a
機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
0832デフォルトの名無しさん (ワッチョイ 716a-H654)
垢版 |
2019/01/03(木) 15:54:42.91ID:v5HuxNVQ0
可能性を感じるね
0839デフォルトの名無しさん (ワッチョイ f9b3-nLVr)
垢版 |
2019/01/03(木) 21:39:59.98ID:WF7k0ItC0
台湾のなんとか研究所の的中率が高かったかな
0843デフォルトの名無しさん (ワッチョイ 7135-xhm2)
垢版 |
2019/01/03(木) 22:20:17.69ID:ObFDukg10
>840>842
これ大人の顔だからいいけど、幼女の写真だと割とマジでヤバくなったのでさすがに公開できなかったという経緯もある

>842
この精度でいいなら、速度なら100%上回る
慣れたら1分でできるからな。使ったツールはMSペイント
操作に数秒、変換は数秒
もっと精度を上げるなら、まずこれをつかってからやると仕事が早いだろうな
短距離走vsマラソン選手みたいで、あまり比較は出来ないと思う
0846デフォルトの名無しさん (ワッチョイ 13ad-hbvV)
垢版 |
2019/01/03(木) 22:49:19.11ID:YFBXiFl70
桃太郎だっけ
国内の会社に全部断られて
結局インドに何億か払って
デジタルモザイク作ってもらったとか
0855デフォルトの名無しさん (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/04(金) 08:20:49.61ID:ZlM1a2FGp
>>841
データは誰かが収集しているから得られる
センサーを設置したり何を観測すれば良いのか研究してるんじゃね?
宇宙から来る粒子線を使ってレントゲンみたいな感じで火山の内部を探る研究とかもあったはず
0861デフォルトの名無しさん (ロソーン FF8d-aDDJ)
垢版 |
2019/01/04(金) 18:10:21.80ID:uUXB/VtHF
>>838
49億年分くらいは食わせても無駄なデータ
今は第三大陸移動期
0862デフォルトの名無しさん (ワッチョイ 9914-RM76)
垢版 |
2019/01/05(土) 05:16:38.30ID:41KVD0qa0
人工知能の成果は政治の予測まで判断できる。すごいなぁ

http://news.livedoor.com/lite/article_detail/15829215/

 北朝鮮の金正恩(キム・ジョンウン)朝鮮労働党委員長の発言や周辺の状況などを人工知能(AI)を使って分析したところ、
北朝鮮は「核・経済並進路線」を放棄しておらず、2020年に核保有国になることを目指しているとの結果が出た。

 壇国大学政策科学研究所と社団法人サンド研究所、世宗経営諮問研究チームが先日「テキストマイニング技法」と
「システムダイナミクス理論」によって金正恩氏の「核戦略」を共同で分析した。テキストマイニングとはAIを使って
ビッグデータからキーワードとなる言葉の頻度や意味などを分析する技法で、2016年に米国の大統領選挙で
トランプ大統領の当選を予測したことでも知られる。システムダイナミクスは複数の事象間の動態的な関係を把握し、それを視覚化する理論だ。

 金正恩氏による2013年3月の「核・経済並進路線」の演説文、16年5月の「朝鮮労働党第7次大会報告書」、
そして昨年4月の朝鮮労働党全体会議で発表された新たな「経済発展路線」などを研究チームが分析したところ
「金正恩氏は非核化の意志が非常に弱い」との結果が出た。たとえば核関連の発言で「核開発の意志」を示す
「核武力」「核兵器」などの言葉はその使用頻度が「非核化関連の用語」よりも非常に多かったという。

 テキストマイニングの専門家として知られる世宗経営諮問のキム・ギュイル氏は「金正恩氏の発言を分析すると
核保有国で使われる表現が多いが、それは核の放棄ではなく核軍縮が目標のようだ」との見方を示した。
サンド研究所のチェ・ギョンヒ氏は「時間が過ぎるほど北朝鮮は内部の結束と体制維持の手段として核をさらに利用するだろう」
「核開発は金正恩氏の地位を支えると同時に、権威体制の強化にも大きく寄与してきた」とコメントした。
0863デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/05(土) 07:38:29.67ID:GLBLrE2Wa
>テキストマイニングとはAIを使って
>ビッグデータからキーワードとなる言葉の頻度や意味などを分析する技法で

なんか、素人を馬鹿にした説明になってるね
0865デフォルトの名無しさん (ワッチョイ f9b3-nLVr)
垢版 |
2019/01/05(土) 09:49:41.40ID:AbmMonbF0
常に核を放棄しないと出力する意味の無いプログラムで正解するからな
0868デフォルトの名無しさん (オッペケ Src5-tq1D)
垢版 |
2019/01/05(土) 12:12:15.27ID:D280EOhKr
>>866
DeepFakeってのがあるよ
0869デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/05(土) 17:30:32.49ID:0+KUFWcWa
ハングルのテキストマイニングって難しいんよ。
日本語の様にはいかない。言い換えれば出来ることは少ない。そのままでは・・。

なもんで日本語に一度翻訳してから、テキストマイニングをするとか、まともな
解析するにはそういうテクニックもあり得るし、やられている。

日本語のテキストを句読点もなくひらがなで羅列した文章を、テキストマイニング
しなさいとやられてもんにゃ〜、御免こうむるが、ハングルじたいがそういう言語
なんで、相当大変。

ハングルだけでやるときは、辞書が必須なんだろうな・・わからんけど。
じゃないと分かち書きみたいなこともできない。
0871デフォルトの名無しさん (ワッチョイ 7135-xhm2)
垢版 |
2019/01/05(土) 17:45:50.32ID:oKUckmBd0
ハングルは実質全部カタカナらしいね
=ハングルハゼンブカタカナラシイネ

そのままではテキストを学習することは無理があると思う。出来るのかな?知らんしヤリたくもないけど
ってかなんで日本語なんだ、英語なら自動で分かち書きだからすごく楽なのに
0872デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/05(土) 19:04:18.37ID:0+KUFWcWa
>>871
英語が楽なのは分かち書きだけで、それ以降は日本語の方が楽。
だから、日本語で構文解析的なテキストマイニングは行われているが
英語ではほとんど行われていない(あきらめてる)。
米国の有名大学などでもチャレンジしているが、すげ〜時間がかかって
使い物にならないんだってさ。
0874デフォルトの名無しさん (エムゾネ FF33-aDDJ)
垢版 |
2019/01/05(土) 19:56:59.62ID:2yRzjNJOF
ナーランダ
0877デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/05(土) 20:44:12.85ID:0+KUFWcWa
>>876
いや、私も、以前にとあるこの分やの高名な方から聞いて、初めて知った
次第なんですよ。その面は日本語の方がしっかりしていてやりやすいと。
英語は同じ単語が異なる品詞として頻発してしまう部分に一つの問題があるらしい。
それを、外語大のやはり有名な(これは言語研究の方で有名)方に話したら
至極納得されていた。なもんで、私もそうなんかと思った次第。

ちなみに中国語は、日本語の難しさと英語の難しさの両方を持っているそう。
見方を変えれば、英語は文法など気にせず、データ量に任せて「えいや〜〜」で
機械学習、AIに任せちゃえ!の方が合っているのかもしれないし、実際そういう
流れですよね。
0879デフォルトの名無しさん (トンモー MM8d-cPPE)
垢版 |
2019/01/05(土) 22:13:28.72ID:oxyPFcuMM
言語なんてのは自然発生したものなので
自然そのもの。
自然には矛盾はなく、ただただ複雑なだけ。
よって大量のデータで当てはめを
するしかないのですよ。

構文解析は例外だらけで
あまり役に立ちません。
0881デフォルトの名無しさん (ワッチョイ 5387-VfAK)
垢版 |
2019/01/06(日) 01:05:33.13ID:SRAubW5L0
構文的には日本語のほうが遥かにファジーなのにAI的には格構造の貧弱な英語独特の曖昧さが問題なのか。
面白いっちゃ面白い。独仏は覚えてしまえばまぎれの少ない分英語より易しいとはよく言われたものだ。
0882デフォルトの名無しさん (ワッチョイ f9b3-nLVr)
垢版 |
2019/01/06(日) 01:23:06.35ID:T+vTBvBg0
・形態素解析が楽
・話者が多い
・例外が少ない

これらを満たすのはスペイン語かな
0883デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/06(日) 03:19:11.93ID:KoFEEgaia
>>879
将来的な方向性はわかっていての話ですよ
0885デフォルトの名無しさん (ワイーワ2 FF63-aDDJ)
垢版 |
2019/01/06(日) 11:39:48.56ID:RBr8Qah/F
Cとかは言語としてどうなん?
0886デフォルトの名無しさん (ワッチョイ 11da-TgmH)
垢版 |
2019/01/06(日) 12:05:48.03ID:3oHTeufm0
>>885
どういう側面から聞いてます?
0888デフォルトの名無しさん (ワッチョイ 11da-TgmH)
垢版 |
2019/01/06(日) 13:04:41.35ID:3oHTeufm0
>>879
単純に技術側面だけをみるとそう考えがちなんですが
実際の適用場面では、まるきり新出の熟語などのワードを的確にとらえるには
ラーニング等の時間的負荷が大きく、その辺りをしっかりとしないと本格的な
商用適用ではそれでは不足というこを知っておくと良いかと思います。
0889デフォルトの名無しさん (ワッチョイ 11da-TgmH)
垢版 |
2019/01/06(日) 13:15:56.57ID:3oHTeufm0
>>887
そういう話になっちゃうよね。
0892デフォルトの名無しさん (ワッチョイ 8b14-RM76)
垢版 |
2019/01/06(日) 21:12:19.79ID:r6TnJvb+0
>>891
Google翻訳すごいな。thatをたくさんくっつけても
スルーしてくれるんだ。

I think that that that boy wrote is wrong.
I think that that that that boy wrote is wrong.
I think that that that that that boy wrote is wrong.
あの少年が書いたのは間違っていると思います。

これでもほぼ同じ意味になってる。すごいや。
I think that that that that that that that that that boy wrote is wrong.
あの少年が書いたことは間違っていると思います。
0896デフォルトの名無しさん (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/06(日) 23:15:06.69ID:sqll98Tep
>>895
C言語の機械学習ライブラリがあれば良いんじゃないの?
一々コンパイルしないといけないから面倒だろうけど
0897デフォルトの名無しさん (ワッチョイ 7bab-GhqG)
垢版 |
2019/01/06(日) 23:57:46.74ID:Lb2C/ZsE0
Cのレイヤーの低さは大変だよ。
メモリ管理とか機械学習と全然関係のない部分でハマるから。
PythonでもRでも使ってドメインに近い所だけで完結させるのがお得
0899デフォルトの名無しさん (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/07(月) 00:06:00.55ID:z2xg/ZNbp
いわゆるエッジ側で学習の必要がなければ
FPGAとかで処理すれば良いと思うけど
学習するならソフトウェアが必要な気がする
エッジ側の処理能力とかメモリとか次第だろうけど
0900デフォルトの名無しさん (ワッチョイ f93c-TRZX)
垢版 |
2019/01/07(月) 00:06:54.29ID:v3ry/0Vm0
>>896
Tensorflow for Cというのもあるけど誰が使うんだろう
C++ならまだ使う気もするけどライブラリと情報が揃うまでは使いたくない

mallocとかガーベッジコレクション今更頑張るのとか
csvファイル読み込むのに専用の関数を一から書くのとか
日付とか全部time型に直して処理するのとか
特定条件でマスクしたりソートしたりする場合全部実装するのとか
グラフ描画したい場合にGUIライブラリと連携させたり
一旦外部ファイルに落としてgnuplotとか使うのとか

考えれば考えるほど面倒くさくて髪が抜ける
0901sage (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/07(月) 00:13:20.73ID:Pkuny5Kkp
>>900
多分グラフ表示とかしないんじゃね?
人間が見るわけじゃなくて
センサとかからのデータ使って動的に学習する
人間はセンター側でまとめて管理する
0903デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/07(月) 00:20:19.73ID:xRvtRT4Ya
機械学習アルゴリズムでとか、そういうのがCの利用場面ではなく
あくまで、システムに近い部分の役割で使うんでしょう。
米国の大規模なパッケージやDBの会社もJavaが出た時Java試したが
フロント系以外はみんなCにもどちゃったんで、役割分担でしょうね。
0904sage (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/07(月) 00:26:03.07ID:Pkuny5Kkp
強化学習だと現場で動くんじゃない?
データと結果を通信する方法もあるけど通信の費用や時間もかかるし
0905sage (ササクッテロラ Spc5-ZBCD)
垢版 |
2019/01/07(月) 00:32:52.76ID:Pkuny5Kkp
あと逐次学習したらデータを貯めておく必要が無くなると思う
観測したら学習してすぐ捨ててしまえばいい
人間もいちいち紙にメモしないし
0908デフォルトの名無しさん (アウアウウー Sa9d-ltid)
垢版 |
2019/01/08(火) 10:40:30.80ID:HzI9v9D6a
>>903
PythonからCへ戻るの?
0917デフォルトの名無しさん (アウウィフ FF9d-aDDJ)
垢版 |
2019/01/08(火) 16:51:24.00ID:GKZx39y6F
グロ認定
0918デフォルトの名無しさん (ワッチョイ 6963-TgmH)
垢版 |
2019/01/08(火) 18:32:51.97ID:42LYtsDx0
>>908
あくまで基本部分にあたるシステム回りの話。
javaは遅くて使い物にならないもので。
0921デフォルトの名無しさん (ワッチョイ 8901-mEcl)
垢版 |
2019/01/09(水) 13:50:45.65ID:fwf2O4Py0
WRNCHATって何?
あとGPUってどれ?
https://www.google.co.jp/amp/s/pc.watch.impress.co.jp/docs/news/event/1163/725/amp.index.html
> Cascade Lake-SPは、新たにVNNI(Vector Neural Network Instructions)と呼ばれるAVX512の拡張命令に対応し、従来世代よりもよりディープラーニング/マシンラーニングの処理が高速になる「Intel Deep Learning Boost」などの新機能が搭載されている。

> 説明のなかで、WRNCHATというソフトウェアを利用し、GPUよりもIntel Deep Learning Boostを有効にしたXeonプロセッサのほうがが5倍速いというデモを行なった。
0922デフォルトの名無しさん (ワッチョイ 99ad-ikDe)
垢版 |
2019/01/09(水) 14:41:22.29ID:D/Qf9aRX0
>>920
物性の相というのは理論的にあんま面白くないと思うんだけど、
どこが面白いの?
0924デフォルトの名無しさん (ワッチョイ 7990-ikDe)
垢版 |
2019/01/09(水) 18:05:40.74ID:3qLWXVf40
qiitaに真面目な機械学習系記事書いたけど何も反応ない
ランキング入りしてるのがツイッターレベルの初心者の感想文ばっか。
いいね押し合いするクラスタみたいのが存在してるのかね。やる気無くした。
0925デフォルトの名無しさん (ワッチョイ 917c-aDDJ)
垢版 |
2019/01/09(水) 18:50:11.47ID:+j6Vua/i0
>>924
+1
0932デフォルトの名無しさん (アウアウエー Sae3-tq1D)
垢版 |
2019/01/09(水) 20:10:05.57ID:MMvJKNDDa
>>924
いいねの数=内容の薄さ みたいな所あるからね
0933デフォルトの名無しさん (アウアウイー Sa45-P9Vx)
垢版 |
2019/01/09(水) 20:56:02.56ID:x9x2NNCZa
>>932
あ〜。
的を得てるかもしれないな。
とはいえ、「いいね」が実際どういう人かわかれば、マーケットともいえる。

「どうでもいいね」もあるかもしれんけど。
0936デフォルトの名無しさん (アウアウエー Sa22-jz9p)
垢版 |
2019/01/10(木) 00:55:05.91ID:QYVZqKtda
Qiitaはストック数も公開してほしい
投稿者ですら普通には見れなくてAPIからしか参照できないのは意味不明
0943デフォルトの名無しさん (トンモー MM71-T7+w)
垢版 |
2019/01/10(木) 12:14:20.56ID:s+S5b/hOM
>>924
どの記事か教えて!
イイネするよ!
0944デフォルトの名無しさん (アウウィフ FF89-Iup+)
垢版 |
2019/01/10(木) 12:40:25.62ID:+qf2Eno1F
ここの人らがいいねしてもコンタミュ
0947sage (アウアウエー Sa22-PaIb)
垢版 |
2019/01/10(木) 14:10:01.29ID:41Nua0wya
>>945
記事に対するリピートだと
何回も見ないと判らないって事じゃね

判りやすく表現するのが良いところだと思う
0950デフォルトの名無しさん (ワッチョイ 55b3-uMLd)
垢版 |
2019/01/10(木) 21:30:40.25ID:Zurlj8Py0
お金払うと重みが増えるやつですね
0953デフォルトの名無しさん (アウアウウー Sa89-LFg1)
垢版 |
2019/01/11(金) 06:08:50.10ID:FijiENsqa
>>951
偏差値30がプログラミングなんかやるか?
0954デフォルトの名無しさん (ワッチョイ 55b3-uMLd)
垢版 |
2019/01/11(金) 06:36:29.70ID:xgRxAvYH0
日本ではアメリカみたいに低学歴にPythonと基本的な統計学を叩き込んで機械学習エンジニアに育てるみたいなの動き無いの?
0966デフォルトの名無しさん (ワッチョイ 55b3-uMLd)
垢版 |
2019/01/11(金) 16:15:03.28ID:xgRxAvYH0
機械学習のライブラリを使うだけなら数学とかの知識はあまり要らないから大卒雇っても賃金が高いだけで無駄、と思ってる企業がやってる事だから、賃金が安いままなのは当然
0971デフォルトの名無しさん (アウアウイー Sa45-7QjO)
垢版 |
2019/01/11(金) 18:25:36.20ID:c0+U3zbma
ま、独自にAIアルゴリズムを作ってというフィールドは残るでしょうが
いま一生懸命自分でバンバンという人の多くは、その仕事はなくなるでしょうね。

独自に作って提供されても信用されないですよ。
いちいちアルゴリズム検証、その通りにできているか検証なんてやってられんもんね。

逆に残ったところは強いといえるかもね。
0972デフォルトの名無しさん (ワッチョイ 8e68-VK1S)
垢版 |
2019/01/11(金) 20:13:39.51ID:lFlKxvPB0
>>971
>いま一生懸命自分でバンバンという人の多くは、その仕事はなくなるでしょうね。
>独自に作って提供されても信用されないですよ。
>いちいちアルゴリズム検証、その通りにできているか検証なんてやってられんもんね。

これは今の営業事務そのもの
特に小売はインバウンドが大きすぎて指標が全く無く、検証も評価も何もできない状態なんだ
若干内部情報を好評すると、年間売上3%上昇すればいいところ、年間30%上がったり、10%下がったりしている
何の通例も憶測も通じない状態
0974デフォルトの名無しさん (アウアウウー Sa89-LFg1)
垢版 |
2019/01/12(土) 04:12:30.59ID:V37M1mwUa
>>955
Julia 教え込んでIT土方にしたら。
0975デフォルトの名無しさん (ワッチョイ 55b5-xNop)
垢版 |
2019/01/12(土) 10:32:48.09ID:0oMdY++l0
ここ実務者どれぐらいいるんかな
てかMLもしくはデータサイエンス従事者って国内ではまだまだ少ないような
流行ってるってんで本業の傍らに始める人も多そうだし
0981デフォルトの名無しさん (アウアウエー Sa22-jz9p)
垢版 |
2019/01/12(土) 20:28:22.10ID:y7zhWJaEa
>>979
どっかでそんな記事見たな
0984デフォルトの名無しさん (ササクッテロレ Sp85-NsAs)
垢版 |
2019/01/12(土) 20:55:57.18ID:1w+JfQLLp
>>980
GPU使わないコードで何も考えずにガウシアンプロセスさせてみるとnumpyで書いたコードと2〜3割違う
書き方がまずい可能性も大だけど、行列の転置をarr.conj().Tとかnp.matmulとか、そのあたりを細かくロスしてそうなんだよね
Pythonも@演算子が使えるようになって多少は綺麗になったけど、juliaはmatlabっぽくて行列演算の可読性がすごくいい
名前がちょっとアレなんで敬遠してたけど、実際にコードさわると食わず嫌いだったと痛感している
GPU周りのライブラリが充実しているのでしばらくはPython使うけど、将来は食われるかもなぁと素直に感じた
0986デフォルトの名無しさん (アウアウイー Sa45-7QjO)
垢版 |
2019/01/12(土) 23:01:13.05ID:kqbrOBrNa
>名前がアレとはJuliaでググるとAV女優出てくるってことかな

ビデオをみて、パイは3.14じゃないという事実を知った
0988デフォルトの名無しさん (アウアウイー Sa45-7QjO)
垢版 |
2019/01/13(日) 06:54:27.59ID:4DUFnFZua
おじょうず
0990デフォルトの名無しさん (アウアウウー Sa89-LFg1)
垢版 |
2019/01/13(日) 11:30:00.66ID:LmF0N6o1a
>>989
乙 Python
0991デフォルトの名無しさん (ラクペッ MM6d-uMLd)
垢版 |
2019/01/13(日) 16:58:46.79ID:fnUcuU/tM
そんなのよりrustやろうぜ
0994デフォルトの名無しさん (アウアウイー Sa45-7QjO)
垢版 |
2019/01/13(日) 22:17:40.87ID:ofo4xhA3a
ここにきている人は、機械学習というよりAIという側面の人ばかりじゃないかな
0997デフォルトの名無しさん (アウアウイー Sa45-7QjO)
垢版 |
2019/01/14(月) 00:22:46.77ID:hJidUzQYa
ほぼいないと思う
そもそも実務上で参考になる話も興味を呼ぶ話も
ないから仕方ないでしょう。
主に学生じゃないでしょうか。
0998デフォルトの名無しさん (アウアウエー Sa22-jz9p)
垢版 |
2019/01/14(月) 02:21:17.81ID:lkImX3hka
998
0999デフォルトの名無しさん (アウアウエー Sa22-jz9p)
垢版 |
2019/01/14(月) 02:21:51.98ID:lkImX3hka
999
1000デフォルトの名無しさん (アウアウエー Sa22-jz9p)
垢版 |
2019/01/14(月) 02:22:45.76ID:lkImX3hka
1000
10011001
垢版 |
Over 1000Thread
このスレッドは1000を超えました。
新しいスレッドを立ててください。
life time: 70日 11時間 48分 9秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。

ニューススポーツなんでも実況