【統計分析】機械学習・データマイニング26

レス数が1000を超えています。これ以上書き込みはできません。
2019/09/15(日) 09:23:06.34ID:bjsiNRs40

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured
2020/01/05(日) 20:07:51.30ID:y5M6+8m0d
元々の話題の一例を語ってるだけに見えますが…

>>915は帰納法・演繹法何れで仕事をされているかたですか？
2020/01/05(日) 20:08:34.48ID:y5M6+8m0d
>>916
それ以上はスレ違いですね
2020/01/05(日) 20:49:34.82ID:6gmeklwC0
>>916
そっちのが難しいっつーの。
>>917
両方だよ。どっちかだけで仕事になると思ってのかおめでてーな。
2020/01/05(日) 21:17:01.17ID:+jir1/5X0
>>907
ありがとうございます！
921デフォルトの名無しさん (ﾜｯﾁｮｲ 0f63-bcBw [153.218.137.102])
垢版 |
2020/01/06(月) 06:54:23.54ID:KyZp9b9y0
いよいよ人間超え、AI最新事情 文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長
2019/11/13

文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長

かつてはディープラーニング（深層学習）の適用が難しいと言われていた自然言語処理の分野でも、人工知能（AI）が人間の認識精度を上回るようになった。

グーグルが2018年10月に発表したBERTは、文章の「言語らしさ」を予測する言語モデルを「Transformer」というニューラルネットワークを多段に重ねて実装したものである。
言語らしさの予測は、AIが単語や文章を理解したり自然な文章を生成したりするうえで必要不可欠な要素である。

言語モデルの応用先としては、機械翻訳や機械読解、質問応答、言葉の言い換え（換言）、表現が異なる2つの文章の意味が同じかどうかの判断（含意関係認識）などがある。
グーグルのBERTは自然言語処理の世界に衝撃を与え、論文の発表からわずか1年で2200件以上も他の論文に引用されるほどになった。
これは、BERTが応用に関するベンチマークで人間の精度を上回る成果を上げたからだ。

文章読解のスコアで人間超え

具体的には機械読解のベンチマークである「SQuAD 1.1」で人間の精度を上回った。
SQuAD 1.1は米スタンフォード大学が作ったベンチマークで、「Wikipedia」の中にある140単語ほどの文章を読み解かせて、その文章に関する質問に回答させる。
正答は元の文章の中にフレーズとして存在する。正答の部分を正しく抜き出せるかどうかがポイントとなる。

SQuAD 1.1はタスクとして単純すぎるという指摘もある。
SQuAD 1.1よりタスクの難易度が高いベンチマークは「SQuAD 2.0」や「GLUE」など他にもあり、そうしたより難しいベンチマークではBERTは人間を上回れなかった。
しかしBERTが一部でも人間をスコアで上回ったことから、この分野の研究が一気に加速し、今ではBERTを改善した手法が、より難しいベンチマークでも人間超えを果たすようになった。

https://tech.nikkeibp.co.jp/atcl/nxt/column/18/01056/111200002/
922デフォルトの名無しさん (ﾜｯﾁｮｲ 3bdd-BJMr [122.249.73.11])
垢版 |
2020/01/06(月) 16:22:20.03ID:7M4Z0nKv0
この手のテストに和文が無いからいまいちよくわからん
923デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-hZl1 [180.235.0.69])
垢版 |
2020/01/06(月) 19:21:10.07ID:SSsR6M4H0
MSRの連中が描いた本（pdf）だってさ

Foundations of Data Science
https://www.cs.cornell.edu/jeh/book.pdf

日本の研究者はなーんもしない
924デフォルトの名無しさん (ｱｳｳｨﾌ FF0f-p4uH [106.171.87.46])
垢版 |
2020/01/07(火) 15:50:31.93ID:2Dq0zKSWF
>>868
1 + 1 は 2 にはならんよ
大抵の場合 2 未満で 1.5 とか 1.0 とか
酷い時には 1 未満になることの方が多い
925デフォルトの名無しさん (ﾜｯﾁｮｲ 4f7c-I5PR [113.32.86.138])
垢版 |
2020/01/07(火) 16:00:42.05ID:8esPW0SX0
>>908
<・∇・>ニダ
2020/01/08(水) 03:38:16.27ID:LHUjt0c20
>>924は>>870-871を嫁
2020/01/08(水) 04:04:04.17ID:LHUjt0c20
>>908
ガチ勢は一般相対性理論なんて言わない。ゲージ曲率かファイバー束における写像の捻れで語る
2020/01/08(水) 10:16:28.43ID:XvkUwLSh0
イタチの屁
929デフォルトの名無しさん (ﾜｲｰﾜ2 FF13-Eg5K [103.5.142.233])
垢版 |
2020/01/09(木) 11:42:39.35ID:0RBXSUPhF
https://hayabusa9.5ch.net/test/read.cgi/news/1578536733/
NVIDIA製GPUドライバーに深刻な脆弱性、いますぐIntelオンボードを利用に切り替えてください
2020/01/10(金) 00:41:45.45ID:xMwSVvEb0
https://youtu.be/fK_JGVti5y8
2020/01/10(金) 02:20:32.44ID:xMwSVvEb0
まあ、学生さんはデータナンちゃらリストなんてうつつ抜かしてないで、各専門の基礎教科の習得に励みましょう。

機械学習なんてあくまで多数ある問題解決手段の1ツールに過ぎない。そもそも機械学習の習得なんて社会人からでも十分。
2020/01/10(金) 08:00:59.46ID:MP8EZybiM
excelくらいのもんだね
933デフォルトの名無しさん (ﾜｯﾁｮｲ fddd-fF6T [122.249.73.11])
垢版 |
2020/01/10(金) 11:21:21.64ID:dy6nGdDz0
数年後には無くなってそう>>データサイエンティスト
2020/01/10(金) 11:33:30.82ID:MP8EZybiM
業務の一部として取り込まれる未来
2020/01/10(金) 12:28:08.40ID:9hvTdV+ca
データを元に業務上の判断をするのがデータサイエンティストの仕事
これは技術者にとって本質的な能力なのでデータサイエンティストという呼び名が無くなったとしてもこの能力を必要としなくなるわけではない
2020/01/10(金) 12:31:18.21ID:MP8EZybiM
データを元に判断するのは、豊臣秀吉もやってたそうだから今更感
937デフォルトの名無しさん (ﾜｯﾁｮｲ 6501-ErPi [126.242.217.97])
垢版 |
2020/01/10(金) 12:35:48.58ID:K/lWprnk0
秀吉はデータサイエンティスト。
938デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-8whf [106.180.2.62])
垢版 |
2020/01/10(金) 12:47:28.71ID:ap2klRr+a
技術者にはもともとデータサイエンティスト的な要素があったのに、それだけが妙に持ち上げられた
そのうち、訳もわからずデータをライブラリにぶち込むだけの人をデータサイエンティストと蔑むことになるよ
2020/01/10(金) 13:15:10.43ID:W4/veIGi0
データサイエンティスト的なタスクって、
業務に携わってる奴がやるのが世界の普通のような

システム屋にやらせるから応用範囲が限定される
940デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MMa3-fF6T [153.248.186.192])
垢版 |
2020/01/10(金) 14:59:12.98ID:jdArXowMM
マクロかexcelにツールがついて終わり
2020/01/10(金) 16:48:37.09ID:3HDQydXj0
若手の自称データサイエンティストと話すと
linuxわかりませんとか言う人マジで多くて嫌になる
どこがのスクール出身なのか？
クラウドのjupyter notebook上でしかコード書いたことないらしい
マジで基礎がガバガバ
そこを身につけるのは地味で退屈だから最近の人はやりたがらないのはわかるが
2020/01/10(金) 16:53:19.80ID:XoWOAf9+0
ツールの話でマウントとろうとすると僕は馬鹿ですって自己紹介してるのと同じだからやめた方が良いよ
2020/01/10(金) 16:54:28.69ID:iWyShsMIH
エクセルで完結はさすがにない
2020/01/10(金) 17:00:34.97ID:MP8EZybiM
分析から先の仕事メインならlinux知らなくてもいいかなと
技術者でなく、ただのビジネスマンだと思うが
2020/01/10(金) 17:03:43.90ID:apRS/vPU6
リモートサーバにコード投げて動かすときくらいしかまともにlinuxコマンド使わんわ
vscodeで開発してるからvimも最低限しか使えない
2020/01/10(金) 17:03:57.42ID:6tzIS8Z40
自前で動かそうとしたらLinuxはあったほうがいいよ
2020/01/10(金) 17:34:07.53ID:1UGZVEFGd
>>941
プロダクションで動かすコードにするまでにすごい苦労しそうだな
(自称)データサイエンティストとSI屋の間に、もう一人両方の分野を知ってる人間がいないと無理そう
2020/01/10(金) 17:39:06.54ID:o1aiizUGM
データサイエンス系の仕事手伝ってるけどSI屋が分析より下のレイヤーやるようになりそうな雰囲気
ETLとかの延長で出来るところまで
2020/01/10(金) 17:43:26.30ID:3HDQydXj0
>>947
ウチはジョブキュー使ってコマンドで投げるから
最低でも一連の学習処理をシェル化して
入力ファイルを配置してサブミットするというのができないと詰むんだけど
大したことではないはずなのにわかりませんとかさあ
2020/01/10(金) 17:47:52.64ID:o1aiizUGM
kaggleみたいなUIにしとけばいいんかな
951デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MMa3-fF6T [153.248.186.192])
垢版 |
2020/01/10(金) 19:00:13.93ID:jdArXowMM
msの技術力を侮ってはいけない
いずれexcelに付くよ
2020/01/10(金) 19:03:54.70ID:iWyShsMIH
そら小規模データならエクセルでも可だろうけど
ちょっと大きいデータ扱うと重たくてどうしようもないしょ
953デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-xl+7 [153.131.102.129])
垢版 |
2020/01/10(金) 19:16:19.21ID:9TebhQDM0
>>943
少し前にexcelのマクロ言語にPythonを採用するとか言う噂が上がってたけどな
今はその話は無くなってPythonからexcelを操作してくれってことになってると思う
954デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-xl+7 [153.131.102.129])
垢版 |
2020/01/10(金) 19:19:06.71ID:9TebhQDM0
>>949
社内ルール的なものはマニュアル作れば解決する問題だと思うけど
その判らない人に作るように言って判らないところは仮で書いてもらって訂正すればいいのでは？
955デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-xl+7 [153.131.102.129])
垢版 |
2020/01/10(金) 19:20:16.63ID:9TebhQDM0
>>952
表示の更新とか完了するまで再計算を停止するとスピード上がる
956デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-xl+7 [153.131.102.129])
垢版 |
2020/01/10(金) 19:22:21.42ID:9TebhQDM0
ピボットテーブルとかはexcelの方が作業効率良くない？
GUIで操作できるし
2020/01/10(金) 19:41:25.05ID:iWyShsMIH
議論するつもりはないけど、前処理やらバッチ処理するのもエクセルでやるんかな
2020/01/10(金) 19:45:47.30ID:OuRZpUf20
VBAで数値積分する人もいるから、ありえる
jupyterの人も増えそうだけど
959デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-vCMi [106.154.137.133])
垢版 |
2020/01/10(金) 19:55:10.38ID:hc3qGoBHa
>>933
誰でもタイピングする様になってタイピストが居なくなったように、データサイエンティストもなるかもね
2020/01/10(金) 20:00:51.64ID:gdjTauNe0
>>941
jupyter使いは信用するなってのがこの業界の鉄則だぞ。
961デフォルトの名無しさん (ﾜｯﾁｮｲ 5b1d-3ULX [143.189.31.12])
垢版 |
2020/01/10(金) 20:24:48.47ID:eyebCCoV0
filemakerとかkintoneの流れでexcellって消えていくのかと思ってた。
pythonも使えるようになってるっぽいし、pandasとかRとGUIが融合したみたいになっていくのか。
962デフォルトの名無しさん (ﾜｯﾁｮｲ 6501-ErPi [126.242.217.97])
垢版 |
2020/01/11(土) 01:41:29.68ID:r5wulSj/0
Linux板でよくExcel対スパコンみたいな話してるけどな。
Excelはスパコンより性能が低いからもうWindows使わないみたいな。
2020/01/11(土) 11:21:35.22ID:R+Z8VLSZM
スコップとショベルカーみたいな関係かね。
自分は重機好き？だからWindows使いたくないんだけど、仕事ではWindows上でVirtualBox動かしてlinux+dockerしてる。
退勤時間はexcelで集計したりしてる
適材適所やね
2020/01/11(土) 11:41:24.42ID:vkWme/+ta
Excelはあくまでデータとビューが同時に確認できることがメリット
明らかに一画面に収まらないぐらい大量のデータや大量のグラフが必要になるものをExcelで処理している時点で使い道を誤っている
一画面に収まらないなら素直にデータとビューを分離できる仕組みで処理すべき
2020/01/11(土) 11:45:43.40ID:ucFJPBVI0
excel使うくらいならmatlab使う
2020/01/11(土) 12:35:50.32ID:WuYSTrVT0
>>962
ﾃﾗﾜﾛｽｗｗｗｗｗｗｗｗ
2020/01/11(土) 20:57:36.20ID:H7kAoHn50
https://i.imgur.com/XGU2tNI.jpg
968デフォルトの名無しさん (ﾜｯﾁｮｲ 0bbb-ZJ4Y [217.178.3.78])
垢版 |
2020/01/12(日) 03:23:49.39ID:gh55rPFY0
>>965
そんで、最終的に
Excelでレポートにする

単に、適材適所と思わん？
969デフォルトの名無しさん (ﾜｯﾁｮｲ 0bbb-ZJ4Y [217.178.3.78])
垢版 |
2020/01/12(日) 03:26:42.09ID:gh55rPFY0
ライブラリ使わずに自分でAIプログラム書きました
といわれても、プログラムが信用できへんで
970デフォルトの名無しさん (ﾜｯﾁｮｲ 6501-ErPi [126.242.217.97])
垢版 |
2020/01/12(日) 04:33:11.51ID:Uj5X0q1W0
Excelのシートは業務のノウハウそのものなので、使われてきたシートのせいでシステム化が出来ないというのなら、インテグレータとして失格だと思うというか、普段なんでお金貰えてるの？と不思議に思う。
OAと言ってた頃はまさに詐欺で飯食ってたけど。
いま同じことしたら普通に詐欺で訴えられると思う。
971デフォルトの名無しさん (ﾜｯﾁｮｲ 5501-ErPi [220.56.102.222])
垢版 |
2020/01/13(月) 00:58:09.24ID:HVnwH/nI0
≪株式会社学情　調査≫
『2020年卒　就職人気企業ランキング【速報】』
http://service.gakujo.ne.jp/files/7415/5374/1191/2020_ranking.pdf

IT･ソフトウェアの最上位
26位 アマゾンジャパン

AIとか若い奴は興味ないんだろうな
2020/01/13(月) 01:05:12.23ID:bgtYO71Ta
日本企業の技術系なら理系であれば何学部出身でも採用の可能性があるが
GAFAみたいな外資だと情報系で修士か博士取っていないと門前払いだからそもそも応募資格のある人数が圧倒的に少ないので仕方がない
973デフォルトの名無しさん (ﾜｯﾁｮｲ 5501-ErPi [220.56.102.222])
垢版 |
2020/01/13(月) 01:08:04.53ID:HVnwH/nI0
>>970
まー日産っていう大きい会社のカリスマ経営者と言われている英雄ですら
ペテン師みたいなもんだからな
大量に解雇して金をこっそり奪い取るんだ！ぐらいの気持ちが無いと
金持ちにはなれんぞ
974デフォルトの名無しさん (ﾜｯﾁｮｲ 5501-ErPi [220.56.102.222])
垢版 |
2020/01/13(月) 01:21:36.71ID:HVnwH/nI0
>>972
日本企業の IT･ソフトウェアで人気なのは52位のSkyだな
次が54位の楽天
次が99位のLINE
2020/01/13(月) 01:55:13.05ID:xcD2sz0v0
20年前のgoogle考えたら、今はちっこいベンチャーなとこ(日本じゃなくて)行かんとダメなんじゃねーの？
2020/01/13(月) 04:39:22.46ID:AqVlGfb/0
若いのになんでこんな保守的なんだろうなw
金儲けしたい訳でもなさそうだし
おじさん世代からすると今の若い奴なんていくらでも
多様な道があると思うのだが
977デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-0CUc [106.161.116.215])
垢版 |
2020/01/13(月) 07:31:56.91ID:8RyNzpcha
>>975
Arayaは？
978デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-0CUc [106.161.116.215])
垢版 |
2020/01/13(月) 07:35:28.69ID:8RyNzpcha
>>972
イオヌッツは修士出てなかったが。
ちなみにイオヌッツは断った。
2020/01/13(月) 12:15:52.60ID:XVZ9a4MGa
>>975
アメリカだと本当に優秀な人はとっとと起業する
GAFAみたいな既に出来上がった大企業に行くのは起業できるだけの能力とアイデアが無かった二流という感じ
2020/01/13(月) 12:21:17.18ID:pLOO1PDzM
東大卒でGAFA行くの勿体ないよね
すぐ辞めて起業するならいいけど
昔官僚、今GAFAで、ノーベル賞少ないところを見ると目先の金に計算高いという特性が透けて見える
981デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-vCMi [106.154.130.228])
垢版 |
2020/01/13(月) 12:35:20.31ID:uorRSC+xa
ノーベル賞にCS分野はないぞ
チューリング賞ならGAFAから出てるじゃないか
982デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-vCMi [106.154.130.228])
垢版 |
2020/01/13(月) 12:38:02.23ID:uorRSC+xa
むしろGAFAは目先の金に囚われずに基礎研究にもかなり注力している印象だが
2020/01/13(月) 12:54:31.24ID:pLOO1PDzM
東大卒で研究するためにGAFA行くって人増えてるかな
それならそれでいいんだけど、研究より金を優先させてる人が多い印象だったのよね
2020/01/13(月) 12:59:26.89ID:L7OG7ykaa
>>983
GAFAですら結果出してのは一握りの人だけだから
日本の企業と人材では到底無理だろうね
一昔前は日本のメーカーがそういうことして
結果も出てたのになあ
985デフォルトの名無しさん (ﾜｯﾁｮｲ 5501-tgR8 [220.56.102.222])
垢版 |
2020/01/13(月) 13:48:22.96ID:HVnwH/nI0
>>976
頭が良くなったんじゃないか？
使い捨ての知識を植え付けられ会社の為
一時の利益に貢献させられるより
食いっぱぐれない食品関係に長く居た方がいいっていう
起業と言っても大半は失敗する訳で
その中の本当にごく僅かな人が運的要素により成功しているが
そんな割にも合わないものにチャレンジするより安定して長く居られる会社に就職した方がいいっていう
2020/01/13(月) 14:12:17.54ID:qe5f7iwkd
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/
2020/01/13(月) 14:17:46.68ID:6kghygIo0
>>986
たておつ
2020/01/13(月) 16:00:18.20ID:NQckQZya0
>>972
Googleは学歴不問になったはず

入社テストが上手く出来てりゃ、最終学歴で振り分ける必要が無いので、新しい主流
2020/01/13(月) 16:31:01.42ID:9nwjRJNrd
次スレッドが重複してるぞ
2020/01/13(月) 17:01:53.06ID:6kghygIo0
誘導かかってない↓こっちのスレのほうがほんのちょっとだけ先にたってるな
【統計分析】機械学習・データマイニング27
http://mevius.5ch.net/test/read.cgi/tech/1578890891/
2020/01/13(月) 17:44:13.38ID:QmCTZYcld
そもそもワッチョイぐらいつけろよ
2020/01/13(月) 18:58:02.41ID:xgMgrp400
どっちのスレを使うか決めて
2020/01/13(月) 19:26:49.09ID:6kghygIo0
>>991なるほど990はスレ設定失敗してる不良品なんだな。

じゃあみんな↓を使おうぜ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

1578890891のほうは、ノーレス放置で落とそう。
2020/01/13(月) 20:27:06.16ID:9nwjRJNrd
賛成多数。よって本法案を可決致しました。
2020/01/13(月) 20:36:48.83ID:l7upyLYs0
民主主義を無視している、横暴だ（笑）
2020/01/13(月) 20:41:25.06ID:QmCTZYcld
よしなに
2020/01/13(月) 20:41:56.67ID:QmCTZYcld
あぽーん
2020/01/13(月) 20:42:26.27ID:QmCTZYcld
SQL
2020/01/13(月) 20:43:03.73ID:QmCTZYcld
ldl
2020/01/13(月) 20:43:35.62ID:QmCTZYcld
らめー
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 120日 11時間 20分 29秒
レス数が1000を超えています。これ以上書き込みはできません。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。