【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/01/16(水) 03:50:44.21

>>41
そりゃまぁ早ければ早い方が良いのは1005間違いない。
具体的にどういう画像検査で遅くなったりするの？
SSD、メモリが十分な状態で、i5 2400と最新のCPUでどれぐらい差が出るの？
何か例があれば教えてほしい

個人的には、学習前の画像処理が1時間ぐらい変わった所で特に意味は無いかな、と思う
一回だけなら許容範囲だ

2019/01/16(水) 06:42:02.51

>>42
前処理を暗中模索するときはCPUが役にたつよ
決まったアルゴリズム、型にハマったデータセットばかり使うにはCPUはしょぼくても構わないだろうが

2019/01/16(水) 06:44:35.50

i7 の最新版など、高いCPU では、動画などの最新のコーデックも、ハードウェアで処理できる

3D 処理とか、コンパイルも速くなる。
ゲーム製作のモデラーが使う

2019/01/16(水) 09:40:45.54

>>37
データって量より、質と前処理とクレンジングの方が大事だなと実感した

画像ですら、量を増やすより選定した方が結果に繋がる

2019/01/16(水) 18:18:16.41

>>45
その通りと思います。現在客先で見ている限りでは、データなんたらリストの方々
一様に前分析がおろそかになっています。おそらくやり方をご存知ないのかなと
思い始めました。
データが綺麗にそろうことははないので、今あるものからいかに見つけ出すか、
それがないと、じゃ次に綺麗なデータを取るために、どういうデータ収集の
仕組みにしたらいいかにたどり着かないですから。

2019/01/16(水) 21:14:24.24

ティスとがリストになってた

2019/01/16(水) 23:36:02.13

とりあえずgoogle cloud で初期3万円分使ったらいいさ。
それで多分飽きるから。

2019/01/17(木) 00:48:03.74

GCPで無料で使えるのはかなりショボいスペックだから機械学習ぶん回すのには向いてないよ
手元にノートPCでもあれば大抵そっちの方が高スペック

2019/01/17(木) 22:18:45.13

Google colaboratoryでよくね？

2019/01/17(木) 22:22:14.89

なんか自分のPCでやれた方がかっこいいやん？

2019/01/17(木) 23:26:06.06

>>50
TCP使えるなら最強だけどそれが無理だと

2019/01/17(木) 23:49:52.81

>>52
TPU?

2019/01/18(金) 00:33:46.22

>53
そすおう
酔っ払ってだめだー

2019/01/18(金) 18:28:53.21

機械学習ってユーザーじゃ学習させられないから売り逃げできないのが難点だな

2019/01/18(金) 19:19:34.43

>>55
そりゃユーザーのレベルと、教える方の力量次第だよ。

2019/01/18(金) 19:23:45.40

>>55
SI的な売り方では分析や画像認識が限界だろう。
データ収集ひとつとってもコアな業務知識が必要になるから提案のハードルも高い

2019/01/18(金) 20:48:09.72

工場の検品ぐらいならかなり有用だと思う
ただそれ以上になると一気にハードルが上がるね

2019/01/19(土) 00:54:56.63

MSのIME辞書って機械学習？

2019/01/19(土) 03:56:22.81

【AI】アプリからバグを全て取り除くために人工知能に任せたところ、全てが削除される
https://asahi.5ch.net/test/read.cgi/newsplus/1547809927/

2019/01/19(土) 06:54:57.09

>>59
奇怪学習だとおもう

2019/01/19(土) 07:07:01.96

>>60
いいね。

2019/01/19(土) 08:45:10.64

>>59
支那製造2025

2019/01/19(土) 09:46:11.89

バグを産まない一番の方法はコードを書かないこと。っていう格言があったような。全消しはある意味正解なのか

2019/01/19(土) 10:28:38.51

ハゲタカ学会横行だそうだ。
金さえ払えば海外発表論文になると。

そういえば情報処理学会、今は論文として
カウントしてもらえてるんかな？

2019/01/19(土) 11:33:04.08

呼んだか？鷲津

2019/01/19(土) 16:59:25.18

とりあえずしゃぶれよ

2019/01/19(土) 17:00:01.05

ＡＩ診療の最終責任は医師に　厚労省が初見解
https://www.asahi.com/articles/ASM1M3DN7M1MUBQU005.html

2019/01/19(土) 18:56:45.47

>>68
妥当な判断でしょうね。
といっても、この辺りのことは審議会からの意見が通った結果と思う

2019/01/19(土) 19:37:30.55

>>68
数年後には今の腐った法案みたいに枷になるんだろうな

2019/01/19(土) 20:02:48.32

>>70
なんで？

2019/01/19(土) 21:51:05.21

AIは万能では無いけどそこらの町医者より的確な判断を下せる可能性は非常に高い
にもかかわらず、AIの判断ミスが使う医者の責任なら、使わないという医者も出てくる

2019/01/19(土) 22:16:36.66

>>71
責任を医者に求めるなら、医者はAIにも精通していないといけない
あのクソ忙しい医者が更に機械学習を学ぶとか、非現実的すぎる
命にかかわるような手術だと、提案を効くにしても使わないだろう。

歯医者や耳鼻科、皮膚科など、基本的に命にかかわらないような所は大幅に楽になるかも

2019/01/19(土) 23:48:03.20

AI側に責任もたせたら、開発者が手を引いちゃうよ
責任取れるわけないし、説明できる手法に変えないと理由づけもできない。

進歩が止まるよ。

2019/01/19(土) 23:49:58.53

>>73
AIに精通の必要はないでしょう。AIからの結果を補助として自分で判断するだけ。
そこにAI知識がといったら、AIの意味自体がない。

2019/01/20(日) 01:38:40.26

>>74
選択肢を患者に任せればいい
ヤブ医者判断より世界の名医クラスのAIがいいわ

2019/01/20(日) 03:19:32.95

>>74
患者への説明できないというAI最大の弱点

2019/01/20(日) 03:33:53.05

ＡＩはあくまでもパターン認識に基づくリコメンドをして、
それの医学的妥当性の判断は医者がすると考えれば何もおかしくはない。
まあ、町医者なんかだとパターン認識レベルしかできないヤブもいそうだが。

2019/01/20(日) 05:52:01.39

>>73>>75
その辺りが現実的か
何かちょっと勿体無い気もするけど

2019/01/20(日) 06:07:10.83

お前ら知らんと思うけど命に関わる外科医はほとんどがサイコパスだよ
サイコパスは人体実験と最新技術が大好きだからAIも使う

2019/01/20(日) 07:23:03.54

>>72
>>76
ん～～
あまりに的外れなこと言ってるとおもうぞ

2019/01/20(日) 09:27:25.68

>>78
どの医者にも得意分野、不得意分野がある
パターン認識くらいしかできないAIでも、実用上、診断は人間ではかなわないレベルに来てる
それを使ったら医者の責任って言われてもね
患者ガチャだわな

**デフォルトの名無しさん** (ｽﾌｯ Sd33-KHva) · 2019/01/20(日) 09:35:26.29

この書籍は買いですか？

人工知能育成ブック
https://shop.nikkeibp.co.jp/front/commodity/0000/271490/

2019/01/20(日) 09:52:29.32

>>82
それは、話が違う方向になってるよ。
病気かどうかが医師の責任という話ではなく
それは判断材料の一つにつかうだけで、
治療方針などについて患者との間で決定していかないといけない
それについて、なにを判断材料に好かった場合でも医師に責任が
あるという話だから。

2019/01/20(日) 10:19:39.41

google翻訳みたいに使われるということか
誤訳があっても使う人の責任だ

2019/01/20(日) 10:20:53.88

>>84
99%以上信頼のおける判別機をもつAIがレントゲンみて胸部に癌ありますと診断したとする
開胸したら正常でした
これは使った医師の責任だという
なんだかなぁってことだよ

2019/01/20(日) 10:21:39.87

診断は投薬や処置などの治療方針につながる。
投薬にはどんなものでも少なくともアレルギーの可能性があり、
単なる点滴でも針の穿刺など傷を付けるなど、医療は基本的に
加害行為になります。

加害行為となり得る医療行為が医師などに許されているのは、
その医療行為によるメリットとデメリットを判断するための
最低限の知識などが、国家試験・国家資格などを通して国に
より一定の基準が保証されていることによります。

そのため、診断を補助する機器に対しても薬機方など様々な
規制が有り、安易に提供できません。
その為、下記の様なソフトでも指摘を受ける場合があります。
（現在は再度公開しているみたいです）

「糖尿病リスク予測ソフト、公開翌日に厚労省「未承認の医療機器」指摘で中止に」
ttps://yomidr.yomiuri.co.jp/article/20181105-OYTET50009/

現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
遺伝子異常など特定の限定された診断基準に基づくだけでできる診断には有効ですが、
「息苦しい」などの複数の原因が考えられる内容の診断はできません。
「息苦しい」には肺が原因の場合もあれば、喉などの気道の狭窄、心機能の低下、
貧血、疲労、低酸素環境など様々な原因がありますが、これらの全てをパターンとして
学習させるのは無理で、診断の成績も報告の限りでは相当に悪く実用に耐えません。

恐らく現在のAI技術は、診断基準が明確な分野のみに特化して一部使用されることが
今のところ期待されています。

2019/01/20(日) 10:50:54.03

>>86
要は、そういう使われ方しないという話ですよ。
他の検査などをやったうえでしか行わない。
今のAIはそこまで進歩もしていないし、患者との対話もできない。

2019/01/20(日) 10:53:37.47

>>86
そんなもん医者でもあるんだろ。
AIの言いなりの医者なんて意味ないから責任があるのは当然。
分からなかったら他の医者と相談しろ。
そのための病院組織ってことだ。
至極真当では

2019/01/20(日) 14:04:16.68

>>87
長文乙

2019/01/20(日) 14:54:58.33

医師の負担が軽くなって、かつ精度も数値としてきちんと提示できれば、需要はあるんじゃない
ただ医療に関することだから責任の所在をはっきりさせないと、それはね

AI診断で医療ミスが起きて訴訟になったら、やっぱAIベンダーにも責任は問われるかと

2019/01/20(日) 15:26:54.01

実際に治療を行うのは医者だよ
だから結果がどうなっても責任は医者にしかない
文献を元に治療したけど実は今回の患者は文献で考慮されてなかった例外で本当は真逆の対処をしなければならなかった、間違ったのは文献著者のせいだから責任とれ、なんてあり得ない

2019/01/20(日) 15:31:14.38

AIが診療行為として認められ診療報酬が決められば実用化される、それだけの話

2019/01/20(日) 15:34:48.46

>>86
誤診なしで100%の診断ができるAIは存在しないから、AI診断を鵜呑みにして処置をするのはあり得ないよね
それで医療が成り立つなら人間の医者の存在意義がなくなる
AIが癌があると言うなら医者もレントゲンを目で見てその上で判断を下すべき

2019/01/20(日) 15:41:46.88

2020年から実用化に向けた研究がはじまるらしい。まだ普通に診療に使われるのはまだまだ先の話。
https://www.mhlw.go.jp/content/10601000/000337597.pdf

2019/01/20(日) 18:05:07.63

だいたい、AIで出た結果自体をAI専門家でさえ、なぜそうなるか理由がわからないのが
今のAIだから、それで最終判断しそのまま処置なんてありえない。

2019/01/20(日) 18:53:50.31

自動運転の車と違って考える時間あるからツールの一つってことで、まあよろぴこ

2019/01/20(日) 19:27:57.92

>>96
ニューラルネットワークだけ考えるとそうかもしれないが、決定木は既存のモデルから確率的に理由付けが可能だよね
定石によって解決可能な病気はコンピュータが医師となって医療行為のGO判断をできるようになると思うんだよね
そういう時代はまだ先ってのは分かるけど、薬の販売が段階的に規制緩和されていったところを見ると、徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？

2019/01/20(日) 19:59:01.80

>>98
話しの流れを見てもらえばわかるけど、ここでは決定木とは違う世界の
話を想定した。自動化に近いものの話になっているので、ちと違うので
それとは別ね。

決定木を用いた自動化は金融などでは長く行われているけどね。
どうもそういう話とは違いそうなので。

2019/01/20(日) 19:59:05.99

決定木なら解釈可能って言うけどニューラルネットも決定木と解釈可能度合いは変わらないよ

2019/01/20(日) 20:05:02.78

>>100
それは、おそらく >>98　の方が言われていることとは、解釈という言葉自体
が異なっていると思うよ。

2019/01/20(日) 20:15:26.42

>>98
>徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？

法律整備は、そのレベルと対象により違いますね。
先にルールがないと、どう扱っていいか進められないものがありますから。

2019/01/20(日) 23:54:47.19

ＡＩ診断が医師の責任になるとしたら、学習に使ったデータをユーザー個人が精査しないといけなくなるぞ

2019/01/21(月) 00:00:14.85

X線画像を精査できるのか、すごいな

2019/01/21(月) 00:18:39.09

>>103
なぜ、そういう発想するのかが不思議だが、
医師は、AIから出てきた判断の結果を1つの提案のような見方をするだけで
それが正しいかどうかは、別な検査をもって検証する。

たとえば、最初に血液検査をして陽性と出た。それを探るために血液検査機器を
調べたり、どんなアルゴリズムで血液検査を要請と出したのかなどを考えること
はない。それと同じですよ。検査で陽性と出たら、他の手段でそれが正しいか
どうかを調べる。

2019/01/21(月) 00:19:11.48

>>103
それAI使わず医者の頭脳単体で診断する場合はその医者がこれまの学習に使ったデータを精査するってことだぞ
そんなことできないから現実的にはペーパーテストとかで判断するしかない
AIの場合はテストデータに対する正答率などをチェックするのに相当するわけで学習データをチェックする必要などない

2019/01/21(月) 00:27:42.54

どこか、勘違いされてる感じですね。

2019/01/21(月) 00:46:31.92

>>103
医療現場ではvgg16のように出来合いのモデルを使うだけだと思うよ
説明責任とかあるだろうからCNN系ならGrad-CAMで患部のところを強調させて終わり
これらを実装した医療メーカーが使いやすいもの提供するので、医師はソフトウェアにレントゲン画像食わせるだけ

2019/01/21(月) 01:34:10.16

日本の現場では学習済みモデルの転用でビジネスするのがメインになりそうだけどどうなんでしょ

転用だけだと、適用範囲のところを喰らい尽くしたところでビジネスが頭打ちになって、どこかが新規のアルゴリズムを開発するのを手をこまねいて待ってるような状況になりそうで
それならば、米中みたいに基礎研究にリソース投じるのが得策のような気もする

2019/01/21(月) 16:20:17.26

手術前とか特に、最終的に微細なリスクでも徹底して患者に説明してリーガルリスクを下げるようにするから、そのためのプロセスを効率化してくれると有り難い

2019/01/21(月) 17:28:10.82

>>87
読売新聞ってことは記事元は共同通信あたりだろうが、記者の勉強不足が酷いな

2019/01/21(月) 21:21:15.62

NARってRNNの一種って言っていいの？

2019/01/21(月) 21:32:21.47

>>111
まあ、専門じゃないでしょうから
とはいえ、記事のどの部分について言ってるの？

2019/01/21(月) 23:04:17.12

＞現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
そもそも科学がそうだろうがよおぉぉぉ～～～～～

2019/01/21(月) 23:17:51.00

まあ、記事を読む対象が誰かによって見方が変わるでしょう。
一般の人のにはＡＩ自体がすごいことをやっていると思う人も
多いでしょうから、そんな人知を超えたものじゃないんだよ
ということを言いたいと思えば、いいんじゃないかな。

2019/01/21(月) 23:20:25.38

AIは科学じゃないんだが

2019/01/21(月) 23:25:48.29

科学はパターンマッチじゃないどん

2019/01/21(月) 23:26:50.07

計算機科学は科学ではなかったのか

2019/01/22(火) 00:39:35.36

>>114
違います。

2019/01/22(火) 00:45:24.28

科学は
公理系からスタートするのか、
経験則・実績からスタートするのか
で二つに分けられます。

扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのかの区別ぐらいは明確に分けましょう

2019/01/22(火) 00:54:13.78

順が逆

演繹的に～、帰納的に～

2019/01/22(火) 01:03:35.67

>>120
天気予報はどっち？
公理の基礎方程式にしたがって非線形の流体計算だけど、データ同化しないと使えない
もしかして科学じゃない？

2019/01/22(火) 01:04:52.75

演繹的

2019/01/22(火) 01:06:04.92

最悪なのは
経験則を公理としてスタートした理論

2019/01/22(火) 01:06:55.90

わらわら

2019/01/22(火) 01:07:36.88

>>123
天気予報こそ計算機科学の代表例だと思うんだけど、科学じゃないと言われて草葉の陰で泣いてるはず

2019/01/22(火) 01:08:58.21

どんまい

2019/01/22(火) 01:13:22.77

無理やり係数などを自然法則に当てはめるのは完全に経験則の側。

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-hFsF) · 2019/01/22(火) 01:24:11.62

>>120
＞経験則・実績からスタートするのか
ということは、ニュートン力学とかは、こっちの方に当てはまりますね

>>120
＞扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのか
>>121
その扱っているものが「公理」なのか「実在するもの」かを、>>120 のこの文にてはっきり示していないので、>>120 だけではどちらともいえませんね

87 (ﾜｯﾁｮｲ 699c-G1wx) · 2019/01/22(火) 01:25:08.03

>>114
医学は機序が不明な分野では「○○症候群」や膠原病の様に、確率論や
パターンマッチングの考え方が使用される領域もあるが、
基本的には解剖学・生理学・薬理学・分子生物学・病理学などの基礎医学、
更にその元となる物理学・化学・生物学などをベースとした理論や論理で
成り立っている。

決して「特徴量を主体とする単なるパターンマッチング」ではない。

ついでに「AI診断？」についていえば、機械がどんなに正確或いは不正確な
診断を提示したとしても、その採用・不採用を含めた診断の最終決定権は
法律上医師に属するため、医師の責任になる。
まぁ、医師・病院から開発メーカーにクレームがいくけどね。

更に臨床診断に関わる機器やプログラムは基本的に薬機法が適用されるため、
製造販売には厚生労働大臣の許可が必要。
診断までいかない「予測」や、無料での「公開」も法的にグレーであるから、
87の例のように厚労省から指摘を受けることがある。

2019/01/22(火) 01:26:49.62

>>129
前半イエス
後半何が言いたいのかよくわからん
一般論を言っただけに過ぎん

2019/01/22(火) 01:27:38.23

>>128
無理矢理と言われましても、みんな観測から基礎方程式の係数決めてるでしょ？
科学の代表例って何だろう

2019/01/22(火) 01:30:55.74

んなこたーない

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-hFsF) · 2019/01/22(火) 01:32:27.17

>>130
＞基本的には解剖学・生理学・薬理学・分子生物学・病理学などの基礎医学、
＞更にその元となる物理学・化学・生物学などをベースとした理論や論理で
＞成り立っている。

それはそのとおりなのですが、お手軽診断システムでは「英語のペーパー」という文字列的記述だけでなんとかしようとしている風に考えていました
その基礎医学（生理学、病理学等）の記述を計算機に落とし込むことすらめんどくさいのでやっていない、ときいています

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-hFsF) · 2019/01/22(火) 01:33:52.48

>>124
どう考えても、力学とか電磁気学とかからして、これにあてはまる気しかしないのですが…

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-hFsF) · 2019/01/22(火) 01:35:14.77

>>131
＞後半何が言いたいのかよくわからん

>>120 の真偽は　>>120 の記述が不足しているという理由により、>>120 の内容だけでは判断できないかと

2019/01/22(火) 01:36:30.65

ニュートン力学も電磁気学も一般相対性理論から見れば近似式。
あるいは量子力学からスタートせよ。

2019/01/22(火) 01:37:48.05

>>136『公理系』としっかり明示したはすだが‥。

2019/01/22(火) 01:42:03.70

>>392
一般相対性理論が真実かも分からんのに、なんで公理になるの？光速度一定の法則だって経験則かもしれないのに？

2019/01/22(火) 01:44:35.23

『公理系』の定義をちゃんと見てから反乱しろっての

2019/01/22(火) 01:46:32.52

F=maからスタートすることとc=一定からスタートすることの違いがわからんと言っている

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-hFsF) · 2019/01/22(火) 01:48:38.42

>>138
＞『公理系』としっかり明示したはすだが‥。

>>120 を再度掲載してみます

＞科学は
＞公理系からスタートするのか、
＞経験則・実績からスタートするのか
＞で二つに分けられます。

ここまでは問題ないと思います。

＞扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのかの区別ぐらいは明確に分けましょう

ここで、この文のいうところの「扱っている事象」が「公理」なのか「経験則・実績」なのか、は、判別できないのではないでしょうか？
>>120 が指している分野が物理学だったとして、物理学は「公理系」を扱うものか、それとも「経験則・実績」を扱うものか、私は判断ができずにいます
>>120 が指している分野が数学だったとすると、数学では公理を扱うものなのか、それとも経験則・実績を扱うものなのか？たとえば数学上の公理を導くために思考するときは、じつは経験則・実績に対して思考しているのではないでしょうか？

>>120 のいうところの「扱っている事象」が「事象＝event」という言葉だけでは抽象側なのか具象側なのか判断がつきかねる、と考えました