【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/01/15(火) 19:31:56.21

Hinton先生がTwitter始めたらしい

**デフォルトの名無しさん** (JP 0Hbe-wDyS) · 2019/01/15(火) 21:01:07.16

>>27
研究や業務をやっていないと、そうなってしまうでしょうね。
そうすると新たなAI技術が生まれなくなる。

日本の大学からAIや機械学習が生まれて来ないのはそういったことが
原因かもしれない。

2019/01/15(火) 22:15:27.18

みんなどんなPC使ってるの
メモリ8G、SSD128、i5みたいな大学生用PC使ってるんだけど流石に買い換えようかなと思ってる

2019/01/15(火) 22:16:16.21

流れ者になるといかに予算とるかが目的になってることがある

2019/01/15(火) 22:17:45.56

>>30
CPU使いたいのかGPU使いたいのか
好きなほう選んでハイスペック品買えよ

2019/01/15(火) 22:40:28.82

CPU使うやつはおらんやろ～

2019/01/15(火) 22:50:24.84

いや学習以外のとこで使うこともある

2019/01/15(火) 23:06:42.50

学習以外のとこでCPUが役立つなんてほんと少ないぞ
めちゃくちゃ重いエクセルファイルを開くとか、バカでかい圧縮ファイルを開閉するとか、ベンチマークで自己満足するとか
グラボ、そしてSSDの恩恵がデカイ

>>30
i5 2400
メモリ16GB
SSD crucialの1TB
GTX1070
マザボは一回壊れたので中古の2000円の物

という構成だけど、機械学習ぶん回してる時は特に問題無い
グラボが8割、メモリが2割ぐらい
CPUはこのレベルで十分だけど、多分このレベルの方が高くつく。とにかくマザボが無い

2019/01/16(水) 00:19:40.86

グラボうるさそう。家だとつらぽよ

2019/01/16(水) 00:58:13.81

データががたりない、データが多くなれば・・・・・
そういうのはやめましょう。

いつもデータは足りないもの。
知ってはいけないデータもある。

足りない中で考える力を養いましょう。

2019/01/16(水) 01:06:26.19

>>35
画像処理とかやってるとCPU高性能なほうがいいんだよ

2019/01/16(水) 01:45:49.13

>>35
そこまで古いCPUだと対応MBのPCI Expressバスが遅そう
GPU内で完結する処理なら問題ないだろうけど

2019/01/16(水) 03:03:07.92

>>37
最近は足りなくても学習しきれるようになってきたね
画像データを水増しするライブラリなんかも出てきた

>>38
どんな画像処理してるの？
こないだ学習用に1000ファイルを処理したけど
1000*2000の200kbのjpg→100*200、50hbに再圧縮
5分もかからなかった

フォトショップやイラレもレイヤー50ぐらいなら全く問題ない。
プログラムの立ち上げは数秒かかるけどね
レイヤー1000とか超えると重くなったりする？今の所、そういう本格的なファイルは熱かったことがない

>>39
そこはボトルネック担ってるとは思う
ただ、リソース見る限りはGPUで完結してると思うので、これで良いと思っておくよ

2019/01/16(水) 03:19:07.26

>>40
なんでもだよ。
画像検査なんかは相変わらず処理時間がネックになるから早いに越したことがない。
何でもGPUで書くわけにいかんし。

2019/01/16(水) 03:50:44.21

>>41
そりゃまぁ早ければ早い方が良いのは1005間違いない。
具体的にどういう画像検査で遅くなったりするの？
SSD、メモリが十分な状態で、i5 2400と最新のCPUでどれぐらい差が出るの？
何か例があれば教えてほしい

個人的には、学習前の画像処理が1時間ぐらい変わった所で特に意味は無いかな、と思う
一回だけなら許容範囲だ

2019/01/16(水) 06:42:02.51

>>42
前処理を暗中模索するときはCPUが役にたつよ
決まったアルゴリズム、型にハマったデータセットばかり使うにはCPUはしょぼくても構わないだろうが

2019/01/16(水) 06:44:35.50

i7 の最新版など、高いCPU では、動画などの最新のコーデックも、ハードウェアで処理できる

3D 処理とか、コンパイルも速くなる。
ゲーム製作のモデラーが使う

2019/01/16(水) 09:40:45.54

>>37
データって量より、質と前処理とクレンジングの方が大事だなと実感した

画像ですら、量を増やすより選定した方が結果に繋がる

2019/01/16(水) 18:18:16.41

>>45
その通りと思います。現在客先で見ている限りでは、データなんたらリストの方々
一様に前分析がおろそかになっています。おそらくやり方をご存知ないのかなと
思い始めました。
データが綺麗にそろうことははないので、今あるものからいかに見つけ出すか、
それがないと、じゃ次に綺麗なデータを取るために、どういうデータ収集の
仕組みにしたらいいかにたどり着かないですから。

2019/01/16(水) 21:14:24.24

ティスとがリストになってた

2019/01/16(水) 23:36:02.13

とりあえずgoogle cloud で初期3万円分使ったらいいさ。
それで多分飽きるから。

2019/01/17(木) 00:48:03.74

GCPで無料で使えるのはかなりショボいスペックだから機械学習ぶん回すのには向いてないよ
手元にノートPCでもあれば大抵そっちの方が高スペック

2019/01/17(木) 22:18:45.13

Google colaboratoryでよくね？

2019/01/17(木) 22:22:14.89

なんか自分のPCでやれた方がかっこいいやん？

2019/01/17(木) 23:26:06.06

>>50
TCP使えるなら最強だけどそれが無理だと

2019/01/17(木) 23:49:52.81

>>52
TPU?

2019/01/18(金) 00:33:46.22

>53
そすおう
酔っ払ってだめだー

2019/01/18(金) 18:28:53.21

機械学習ってユーザーじゃ学習させられないから売り逃げできないのが難点だな

2019/01/18(金) 19:19:34.43

>>55
そりゃユーザーのレベルと、教える方の力量次第だよ。

2019/01/18(金) 19:23:45.40

>>55
SI的な売り方では分析や画像認識が限界だろう。
データ収集ひとつとってもコアな業務知識が必要になるから提案のハードルも高い

2019/01/18(金) 20:48:09.72

工場の検品ぐらいならかなり有用だと思う
ただそれ以上になると一気にハードルが上がるね

2019/01/19(土) 00:54:56.63

MSのIME辞書って機械学習？

2019/01/19(土) 03:56:22.81

【AI】アプリからバグを全て取り除くために人工知能に任せたところ、全てが削除される
https://asahi.5ch.net/test/read.cgi/newsplus/1547809927/

2019/01/19(土) 06:54:57.09

>>59
奇怪学習だとおもう

2019/01/19(土) 07:07:01.96

>>60
いいね。

2019/01/19(土) 08:45:10.64

>>59
支那製造2025

2019/01/19(土) 09:46:11.89

バグを産まない一番の方法はコードを書かないこと。っていう格言があったような。全消しはある意味正解なのか

2019/01/19(土) 10:28:38.51

ハゲタカ学会横行だそうだ。
金さえ払えば海外発表論文になると。

そういえば情報処理学会、今は論文として
カウントしてもらえてるんかな？

2019/01/19(土) 11:33:04.08

呼んだか？鷲津

2019/01/19(土) 16:59:25.18

とりあえずしゃぶれよ

2019/01/19(土) 17:00:01.05

ＡＩ診療の最終責任は医師に　厚労省が初見解
https://www.asahi.com/articles/ASM1M3DN7M1MUBQU005.html

2019/01/19(土) 18:56:45.47

>>68
妥当な判断でしょうね。
といっても、この辺りのことは審議会からの意見が通った結果と思う

2019/01/19(土) 19:37:30.55

>>68
数年後には今の腐った法案みたいに枷になるんだろうな

2019/01/19(土) 20:02:48.32

>>70
なんで？

2019/01/19(土) 21:51:05.21

AIは万能では無いけどそこらの町医者より的確な判断を下せる可能性は非常に高い
にもかかわらず、AIの判断ミスが使う医者の責任なら、使わないという医者も出てくる

2019/01/19(土) 22:16:36.66

>>71
責任を医者に求めるなら、医者はAIにも精通していないといけない
あのクソ忙しい医者が更に機械学習を学ぶとか、非現実的すぎる
命にかかわるような手術だと、提案を効くにしても使わないだろう。

歯医者や耳鼻科、皮膚科など、基本的に命にかかわらないような所は大幅に楽になるかも

2019/01/19(土) 23:48:03.20

AI側に責任もたせたら、開発者が手を引いちゃうよ
責任取れるわけないし、説明できる手法に変えないと理由づけもできない。

進歩が止まるよ。

2019/01/19(土) 23:49:58.53

>>73
AIに精通の必要はないでしょう。AIからの結果を補助として自分で判断するだけ。
そこにAI知識がといったら、AIの意味自体がない。

2019/01/20(日) 01:38:40.26

>>74
選択肢を患者に任せればいい
ヤブ医者判断より世界の名医クラスのAIがいいわ

2019/01/20(日) 03:19:32.95

>>74
患者への説明できないというAI最大の弱点

2019/01/20(日) 03:33:53.05

ＡＩはあくまでもパターン認識に基づくリコメンドをして、
それの医学的妥当性の判断は医者がすると考えれば何もおかしくはない。
まあ、町医者なんかだとパターン認識レベルしかできないヤブもいそうだが。

2019/01/20(日) 05:52:01.39

>>73>>75
その辺りが現実的か
何かちょっと勿体無い気もするけど

2019/01/20(日) 06:07:10.83

お前ら知らんと思うけど命に関わる外科医はほとんどがサイコパスだよ
サイコパスは人体実験と最新技術が大好きだからAIも使う

2019/01/20(日) 07:23:03.54

>>72
>>76
ん～～
あまりに的外れなこと言ってるとおもうぞ

2019/01/20(日) 09:27:25.68

>>78
どの医者にも得意分野、不得意分野がある
パターン認識くらいしかできないAIでも、実用上、診断は人間ではかなわないレベルに来てる
それを使ったら医者の責任って言われてもね
患者ガチャだわな

**デフォルトの名無しさん** (ｽﾌｯ Sd33-KHva) · 2019/01/20(日) 09:35:26.29

この書籍は買いですか？

人工知能育成ブック
https://shop.nikkeibp.co.jp/front/commodity/0000/271490/

2019/01/20(日) 09:52:29.32

>>82
それは、話が違う方向になってるよ。
病気かどうかが医師の責任という話ではなく
それは判断材料の一つにつかうだけで、
治療方針などについて患者との間で決定していかないといけない
それについて、なにを判断材料に好かった場合でも医師に責任が
あるという話だから。

2019/01/20(日) 10:19:39.41

google翻訳みたいに使われるということか
誤訳があっても使う人の責任だ

2019/01/20(日) 10:20:53.88

>>84
99%以上信頼のおける判別機をもつAIがレントゲンみて胸部に癌ありますと診断したとする
開胸したら正常でした
これは使った医師の責任だという
なんだかなぁってことだよ

2019/01/20(日) 10:21:39.87

診断は投薬や処置などの治療方針につながる。
投薬にはどんなものでも少なくともアレルギーの可能性があり、
単なる点滴でも針の穿刺など傷を付けるなど、医療は基本的に
加害行為になります。

加害行為となり得る医療行為が医師などに許されているのは、
その医療行為によるメリットとデメリットを判断するための
最低限の知識などが、国家試験・国家資格などを通して国に
より一定の基準が保証されていることによります。

そのため、診断を補助する機器に対しても薬機方など様々な
規制が有り、安易に提供できません。
その為、下記の様なソフトでも指摘を受ける場合があります。
（現在は再度公開しているみたいです）

「糖尿病リスク予測ソフト、公開翌日に厚労省「未承認の医療機器」指摘で中止に」
ttps://yomidr.yomiuri.co.jp/article/20181105-OYTET50009/

現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
遺伝子異常など特定の限定された診断基準に基づくだけでできる診断には有効ですが、
「息苦しい」などの複数の原因が考えられる内容の診断はできません。
「息苦しい」には肺が原因の場合もあれば、喉などの気道の狭窄、心機能の低下、
貧血、疲労、低酸素環境など様々な原因がありますが、これらの全てをパターンとして
学習させるのは無理で、診断の成績も報告の限りでは相当に悪く実用に耐えません。

恐らく現在のAI技術は、診断基準が明確な分野のみに特化して一部使用されることが
今のところ期待されています。

2019/01/20(日) 10:50:54.03

>>86
要は、そういう使われ方しないという話ですよ。
他の検査などをやったうえでしか行わない。
今のAIはそこまで進歩もしていないし、患者との対話もできない。

2019/01/20(日) 10:53:37.47

>>86
そんなもん医者でもあるんだろ。
AIの言いなりの医者なんて意味ないから責任があるのは当然。
分からなかったら他の医者と相談しろ。
そのための病院組織ってことだ。
至極真当では

2019/01/20(日) 14:04:16.68

>>87
長文乙

2019/01/20(日) 14:54:58.33

医師の負担が軽くなって、かつ精度も数値としてきちんと提示できれば、需要はあるんじゃない
ただ医療に関することだから責任の所在をはっきりさせないと、それはね

AI診断で医療ミスが起きて訴訟になったら、やっぱAIベンダーにも責任は問われるかと

2019/01/20(日) 15:26:54.01

実際に治療を行うのは医者だよ
だから結果がどうなっても責任は医者にしかない
文献を元に治療したけど実は今回の患者は文献で考慮されてなかった例外で本当は真逆の対処をしなければならなかった、間違ったのは文献著者のせいだから責任とれ、なんてあり得ない

2019/01/20(日) 15:31:14.38

AIが診療行為として認められ診療報酬が決められば実用化される、それだけの話

2019/01/20(日) 15:34:48.46

>>86
誤診なしで100%の診断ができるAIは存在しないから、AI診断を鵜呑みにして処置をするのはあり得ないよね
それで医療が成り立つなら人間の医者の存在意義がなくなる
AIが癌があると言うなら医者もレントゲンを目で見てその上で判断を下すべき

2019/01/20(日) 15:41:46.88

2020年から実用化に向けた研究がはじまるらしい。まだ普通に診療に使われるのはまだまだ先の話。
https://www.mhlw.go.jp/content/10601000/000337597.pdf

2019/01/20(日) 18:05:07.63

だいたい、AIで出た結果自体をAI専門家でさえ、なぜそうなるか理由がわからないのが
今のAIだから、それで最終判断しそのまま処置なんてありえない。

2019/01/20(日) 18:53:50.31

自動運転の車と違って考える時間あるからツールの一つってことで、まあよろぴこ

2019/01/20(日) 19:27:57.92

>>96
ニューラルネットワークだけ考えるとそうかもしれないが、決定木は既存のモデルから確率的に理由付けが可能だよね
定石によって解決可能な病気はコンピュータが医師となって医療行為のGO判断をできるようになると思うんだよね
そういう時代はまだ先ってのは分かるけど、薬の販売が段階的に規制緩和されていったところを見ると、徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？

2019/01/20(日) 19:59:01.80

>>98
話しの流れを見てもらえばわかるけど、ここでは決定木とは違う世界の
話を想定した。自動化に近いものの話になっているので、ちと違うので
それとは別ね。

決定木を用いた自動化は金融などでは長く行われているけどね。
どうもそういう話とは違いそうなので。

2019/01/20(日) 19:59:05.99

決定木なら解釈可能って言うけどニューラルネットも決定木と解釈可能度合いは変わらないよ

2019/01/20(日) 20:05:02.78

>>100
それは、おそらく >>98　の方が言われていることとは、解釈という言葉自体
が異なっていると思うよ。

2019/01/20(日) 20:15:26.42

>>98
>徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？

法律整備は、そのレベルと対象により違いますね。
先にルールがないと、どう扱っていいか進められないものがありますから。

2019/01/20(日) 23:54:47.19

ＡＩ診断が医師の責任になるとしたら、学習に使ったデータをユーザー個人が精査しないといけなくなるぞ

2019/01/21(月) 00:00:14.85

X線画像を精査できるのか、すごいな

2019/01/21(月) 00:18:39.09

>>103
なぜ、そういう発想するのかが不思議だが、
医師は、AIから出てきた判断の結果を1つの提案のような見方をするだけで
それが正しいかどうかは、別な検査をもって検証する。

たとえば、最初に血液検査をして陽性と出た。それを探るために血液検査機器を
調べたり、どんなアルゴリズムで血液検査を要請と出したのかなどを考えること
はない。それと同じですよ。検査で陽性と出たら、他の手段でそれが正しいか
どうかを調べる。

2019/01/21(月) 00:19:11.48

>>103
それAI使わず医者の頭脳単体で診断する場合はその医者がこれまの学習に使ったデータを精査するってことだぞ
そんなことできないから現実的にはペーパーテストとかで判断するしかない
AIの場合はテストデータに対する正答率などをチェックするのに相当するわけで学習データをチェックする必要などない

2019/01/21(月) 00:27:42.54

どこか、勘違いされてる感じですね。

2019/01/21(月) 00:46:31.92

>>103
医療現場ではvgg16のように出来合いのモデルを使うだけだと思うよ
説明責任とかあるだろうからCNN系ならGrad-CAMで患部のところを強調させて終わり
これらを実装した医療メーカーが使いやすいもの提供するので、医師はソフトウェアにレントゲン画像食わせるだけ

2019/01/21(月) 01:34:10.16

日本の現場では学習済みモデルの転用でビジネスするのがメインになりそうだけどどうなんでしょ

転用だけだと、適用範囲のところを喰らい尽くしたところでビジネスが頭打ちになって、どこかが新規のアルゴリズムを開発するのを手をこまねいて待ってるような状況になりそうで
それならば、米中みたいに基礎研究にリソース投じるのが得策のような気もする

2019/01/21(月) 16:20:17.26

手術前とか特に、最終的に微細なリスクでも徹底して患者に説明してリーガルリスクを下げるようにするから、そのためのプロセスを効率化してくれると有り難い

2019/01/21(月) 17:28:10.82

>>87
読売新聞ってことは記事元は共同通信あたりだろうが、記者の勉強不足が酷いな

2019/01/21(月) 21:21:15.62

NARってRNNの一種って言っていいの？

2019/01/21(月) 21:32:21.47

>>111
まあ、専門じゃないでしょうから
とはいえ、記事のどの部分について言ってるの？

2019/01/21(月) 23:04:17.12

＞現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
そもそも科学がそうだろうがよおぉぉぉ～～～～～

2019/01/21(月) 23:17:51.00

まあ、記事を読む対象が誰かによって見方が変わるでしょう。
一般の人のにはＡＩ自体がすごいことをやっていると思う人も
多いでしょうから、そんな人知を超えたものじゃないんだよ
ということを言いたいと思えば、いいんじゃないかな。

2019/01/21(月) 23:20:25.38

AIは科学じゃないんだが

2019/01/21(月) 23:25:48.29

科学はパターンマッチじゃないどん

2019/01/21(月) 23:26:50.07

計算機科学は科学ではなかったのか

2019/01/22(火) 00:39:35.36

>>114
違います。

2019/01/22(火) 00:45:24.28

科学は
公理系からスタートするのか、
経験則・実績からスタートするのか
で二つに分けられます。

扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのかの区別ぐらいは明確に分けましょう

2019/01/22(火) 00:54:13.78

順が逆

演繹的に～、帰納的に～

2019/01/22(火) 01:03:35.67

>>120
天気予報はどっち？
公理の基礎方程式にしたがって非線形の流体計算だけど、データ同化しないと使えない
もしかして科学じゃない？

2019/01/22(火) 01:04:52.75

演繹的

2019/01/22(火) 01:06:04.92

最悪なのは
経験則を公理としてスタートした理論

2019/01/22(火) 01:06:55.90

わらわら

2019/01/22(火) 01:07:36.88

>>123
天気予報こそ計算機科学の代表例だと思うんだけど、科学じゃないと言われて草葉の陰で泣いてるはず

2019/01/22(火) 01:08:58.21

どんまい