【統計分析】機械学習・データマイニング24

2019/05/01(水) 10:39:45.57

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/06/19(水) 23:12:49.66

がんばれよ、オリジナルティはないけど（笑）

2019/06/20(木) 00:03:00.25

>>794
2行目以降に書いてあることは感情が理解できることと直接関係ないじゃん

2019/06/20(木) 00:05:59.00

>>792
あんまり知らなかったけど、文章要約もそこまでできるのって感じでちょっとびっくりした

2019/06/20(木) 02:31:04.12

>>159 まさか、そんな連中は真っ先にリストラされてるよ。まだ生き残ってるのがいるのは否定しないが。
そんなこと言ったら、70すぎ現役の俺はどうなるんだ？プログラム書いて年間 1000万円はもらってるぞ。記憶力が衰えてきたのは自覚してるが、それはツールでカバーしてる。

>>160 松尾豊、Eテレでは見てたが、今日ソフトバンクGの取締役に選任されたな。
ソフトバンクG の、AI への思い入れがわかる。

2019/06/20(木) 04:07:54.03

有名人を頭に据えるのはソフバンらしいｗ

2019/06/20(木) 08:02:24.36

有名人が言った事には従う日本人心理を活かしたSB流じゃね。

2019/06/20(木) 08:15:18.14

ソフトバンクは使えないと分かったらすぐに来られる外資的な要素が強いと思うのだが、その辺りどうなんだろ

2019/06/20(木) 08:15:59.71

>>804 すぐに切られる、の間違い

2019/06/20(木) 09:02:11.90

社内ニートになるには実績積んどかないと、切られるわな。
富士通みたいにダラダラと雇用しないでしょ

2019/06/20(木) 09:42:31.65

脱税のSVｗ

2019/06/20(木) 10:20:36.54

>>5
誰かに雇われて仕事というか、こういうもん構築したら他に公開したくないだろ。

俺だって競馬のデータマイニングと予想プログラム自作してわざわざ外部に売り込もうなんて思わない。

2019/06/20(木) 11:25:00.12

２の仕事もGかAのクラウドの機能をどう使うか、こんな新機能来ました～、みたいな仕事で技術の仕事なのか怪しくなって来たね。
エッジかロボティクスに行くかな

2019/06/20(木) 12:07:45.63

>>797
強いAIを発明したら間違いなくノーベル賞もの
頑張れ！

2019/06/20(木) 12:31:39.73

>>807
SBのこと？

2019/06/20(木) 12:44:30.38

>>810
応援ありがとう！
俺の作ったAIが人類の90%を
殺したのを見届けたぐらいで、
俺は死ぬことにするよ！

2019/06/20(木) 13:59:50.89

>>811
ハゲの会社

2019/06/20(木) 18:06:19.18

>>724 昨日見たらみんな結構もらってた。
社外取締役の報酬は低いけど、2500万円位
正式なSBGの取締役は平均3億。
孫社長が一番低くて、1.4億。

グループ内の取締役としては、大体10億～12億。

だが、一番もらってる人が株の分まで合わせると30億(うち現金は3億のみ) だが、これはSBGの取締役としてではなく、Softbank Inc の報酬。

SBG の取締役報酬の平均は3億円。

2019/06/20(木) 18:25:01.76

>>723 その人は別の会社に移ったけどそこでもそれ以上もらってるらしいよ。優秀な人間は引き抜き合戦だから高級になる。

>>804 社外取締役の報酬は安いから宣伝費と考えれば安い物では。

2019/06/21(金) 00:57:48.13

内職公務員

2019/06/21(金) 05:50:01.19

買え
https://ryoyo-direct.jp/shopping/jetson-xv/jetson-xvn

2019/06/21(金) 09:50:32.92

>>765
画像生成だけなら普通の環境を使ってリアルタイムで可能。
これはStyleGANとかBigGANとか呼ばれているNvidiaの研究者が発表したモデルを使用してる。
StyleGANの最大の特徴は高解像度の画像を生成できること。
このためには学習用の画像データも高解像度のものが必要で機械学習の実行には最低TPUv3 x1024というとんでもない環境が必要となる。
ただし、3ヶ月くらい前に誰かが、最低8GPUでもStyleGANの学習の実行可能にした新しいアルゴリムを発表してた。
StyleGANの最大の問題は、1024とかそれよりももっと大きな画像データを使って機械学習をさせる必要があるため
通常の環境だとメモリが足りなくなり、実行できなくなること。
そのため、普通のGANではしないような複雑なメモリ管理を行うか、スパコン並みの資源を用意する必要があること。

2019/06/21(金) 20:39:04.62

>>818
高解像度っていうとprogressive GANが頭に浮かぶんだけどもう古いのかな

2019/06/21(金) 21:59:16.67

心を持たないAIなんてAIとわ言わないよ

2019/06/21(金) 22:32:38.73

アノテーション代行会社が増えてるけど、ああいうトコって手作業でやってんの？
ABEJAが自動化に成功したとかの記事を見たような気がするけど

2019/06/21(金) 22:34:34.37

人を奴隷のように使う技術を確立したってのは本当

2019/06/21(金) 22:47:48.20

皆さんこんばんは。

画像から特殊な現象の輪郭を描写したいのですが、比較的シンプルにするにはpix2pix以外にいいものありますでしょうか。
よろしくお願い致します。

2019/06/21(金) 23:28:15.68

>>823
ソーベルフィルタとかでいいんじゃない？

2019/06/22(土) 07:59:14.30

>>819
StyleGAN/BigGAN(LargeScaleGAN)/ProgressiveGANはほとんど同じ意味
論文発表があるごとに執筆者が別の呼び方をしてる。
BigGANは膨大なGPU資源を使用するためNvidiaやGoogleなどの資金が潤沢な一部の研究者しか手が出ない。
そのため、論文発表は多くはなく用語の統一は進まないことが複数の名称がでてくる要因になってるかも

2019/06/22(土) 08:25:41.93

>>821
ラベリングが自動的にできる位なら、そもそも機械学習は必要ない。
機械学習が必要な限り、手作業によるラベリングは必ず発生する。
その意味でアノテーションとかラベリングは機械学習の要で、最近になり中国やインドの業者が増えてきてる。
ただし、ラベリングは車載カメラの映像から自動車を選ぶとか誰でもできるものと、
胸部レントゲン写真から腫瘍部分を選ぶとか高度な専門教育を受けた者でしかできない仕事に分けられる。
現在、中国とかインドの業者に発注する場合、単価は下限で時給1ドルくらいとなっている。
一方、イスラエルの企業が開発した胸部レントゲン写真の自動診断システムのラベリングは時給80ドルで
専門医10名くらいを雇用し、数百万枚の写真を8年くらいかけて分類したとかその企業が発表してた。
また、Googleが運用を開始したGoogle Duplexの場合、AIが認識できないケースが全体の30%とかに
達しており、AIが対応できなかったケースは、個別に専任のオペレーターがマニュアル対応してそのデータを
元の機械学習データにフィードバックさせるような非常に手間と金をかけることをやってる。
同じケースはAlexaでも発生しており、Alexaの場合、AIが認識できなかった音声を個別に人間がテキスト化して元の学習データに戻している。
このパターンで最も複雑な処理を実装化しているのがTeslaで、Teslaは自動運転モードで走行している
にかかわりなく、全自動車の走行時に取得したセンサーデータを毎日、センターコンピューターに吸い上げて
AIの精度を向上させている。

2019/06/22(土) 08:33:24.96

>>824
通常のフィルタでは似たような形状が多くて誤認識が多いんです。
位置関係が変わると全然ダメですし。

2019/06/22(土) 09:17:01.16

アノテーション作業の機械に使われてる感はなんか半端ないぞ

2019/06/22(土) 09:52:59.18

>>818
つまり、学習は大変で時間がかかるが
学習が終わったら、簡単に生成できるのですよね。

生成される画像は何通りくらいあるのだろうか？

2019/06/22(土) 11:03:43.43

>>821
ABEJAはどうみても
流行りのAI詐欺企業だよ。
AIを売りにして莫大な上場利益を
得ようとしてる。

俺の知人も機械学習で上場目指してるが
社員が集まらないので、
怪しいアジア系留学生を
多く社員として採用してる。
その人たち仕事ゼロ。

赤字でも上場すれば莫大な利益だと
知人が豪語してる。
おれもやろうかと思ってる。
100億円ほど儲かったら
会社を売ればいいだけ。

あといろんな法律があるけど
全て抜け道あるとのこと。

2019/06/22(土) 11:35:52.22

上場は資金調達の一手段でしかないのに上場自体をゴールにして大儲けしてやろうなどと考えている会社に近付いてはいけない
上場して集めた資金で具体的に何をしたいのかを事細かに説明できない経営者ならば無視してよい
上場するなら東証一部じゃなきゃダメ、とか言ってる奴は上場をゴールにしちゃう典型的なタイプ

2019/06/22(土) 11:37:08.87

ITバブル()の時に蔓延した上場詐欺がここに来てまた復活か
いつの時代も日本は変わらんな

2019/06/22(土) 12:55:56.81

客先常駐にすればいいだけ

2019/06/22(土) 14:28:23.60

今はAIバブルだね
もうすぐ終わるさ

2019/06/22(土) 14:31:32.10

いきなり一部上場したのSBくらいじゃね?
詐欺で基準超えられたらスゴイ

2019/06/22(土) 14:35:53.37

詐欺の詐欺越え

2019/06/22(土) 14:46:11.42

AIで実用的な技術作るのはまだまだ難しいよね
Googleやamazonクラスの資金と人材があってなんとかできるレベル
日本のベンチャーでは何もできんと思う

2019/06/22(土) 14:51:15.75

日本のベンチャーって
たんなるデータ分析の下請け。

製品開発というレべルじゃないよ。

公開されてるソースコードを
集めて製品にしてるのが海外のAI企業の実態

日本はそこまでさえもいってない

2019/06/22(土) 15:06:34.59

>>835 意味不明。沢山あるだろが、学生か？

2019/06/22(土) 15:14:24.29

海外のAI企業て、くくり大雑把すぎるだろう

2019/06/22(土) 15:40:35.98

>>826
病院とかで診断する時に行われている
それを機械学習の目的で使えるかどうか
法律とか患者の許可とか報酬や費用をどうするか

2019/06/22(土) 16:18:30.37

日本vs海外という謎の分け方をしたがる人多いよね

2019/06/22(土) 16:20:40.01

あまけにシリコンバレー基準

2019/06/22(土) 16:26:02.08

あまけ？？

2019/06/22(土) 16:28:24.03

>>842
そゆ批判してるクズは
ベンチャーのクズ社員と決まってる
少しは機械学習を勉強しようねクソチョンのクズ社員くん

2019/06/22(土) 16:46:05.15

>>842
映画、音楽、開国、文学、科学
全て外国と比べる奴が居るし

2019/06/22(土) 16:47:18.10

>>839
そんなにある?学生じゃないけど
ゆうちょ、SB、アルヒ
くらいしか分かんないわ
ジャスダックも2部も経由せずに一部上場ぶち上げるとか流石にないやろ～と思ってな

2019/06/22(土) 18:53:07.64

海外云々とか言ったら
海外は機械学習だけじゃないからなぁ…

日本はなぜか機械学習だけが猛烈にプッシュされてるけど（研究水準低いくせに）

2019/06/22(土) 19:15:34.63

>>847 直接上場は最近8年間で14%ある。

2019/06/22(土) 20:40:02.29

>>848
海外はなんか違うのやってるの？
教えて！

2019/06/22(土) 21:58:31.07

>>841 AI を使っても最終判断は医師が行い全ての責任を医師におっかぶせるから平気。

自動運転なのにハンドルを握っとれと言うのと同じ。

2019/06/22(土) 22:06:12.91

国内の詐欺AI企業から海外に話がそれてよかったね。

2019/06/22(土) 22:18:12.05

>>851
AIが責任追うのか、医師の免許が必要だな

2019/06/22(土) 23:11:03.08

>>853 AI はペーパーテストはできるだろうけど、実習は難しそうだな。人型ロボットが必要だな。

2019/06/23(日) 01:18:30.15

AIのベンチャー企業って
パチンコ屋が出資してることが多いと聞く。

ここ20年ほどパチンコ屋は
脱税した金をITに投資してる
クソチョン損正義の真似だ

2019/06/23(日) 06:53:17.65

AI詐欺企業リストを作ろう

どこなの？

2019/06/23(日) 07:10:16.07

>>851
役割分担すればいいのでは
現状でも放射線技師や放射線科医と
主治医や担当医がいるんだろう

AIは放射線科医や放射線科技師の役割

2019/06/23(日) 07:40:50.26

>>857
放射線技師は人間を撮影するのが仕事だから、AIには無理だろ
放射線科医の中の読影医ならAIでもできるかもしれんな

2019/06/23(日) 09:45:10.15

>>858
放射線技師ロボット

2019/06/23(日) 09:48:47.03

心配しなくてもSIerは土下座役職あるから。
あのクソ連中はそうやって今までやってきたし、これからもそうだろう。

2019/06/23(日) 10:43:57.91

>>859
泣き叫ぶ子供をあやしながら撮影したり、立てない患者の腰を工夫して撮影したりとか、
ロボットができるようになるには相当の人工知能が必要だぞ

やっぱり人間相手の仕事はAIには無理よ

2019/06/23(日) 12:02:06.55

>>861 AI おいそこの看護師、子供をあやせ。
AI おいそこの看護師、爺さんの腰を少しを持ち上げろ。
AI おいそこの看護師、採血しとけ。

だが、動脈注射は医師免許がないとできないから無理だな。

AI おいそこのボケ医者、動脈注射でXX を入れとけ。

2019/06/23(日) 12:12:05.14

段階的に入れていこうって頭はないのかね

2019/06/23(日) 12:28:49.72

>>829
その認識で正しいが、実行環境の最低要件はケースバイケース。
Nvidiaが今年発表した新しい画像生成モデルのSPADEの場合、実行環境はNVIDIA DGX1/8 V100 GPUを指定している。
BigGANの場合も、まともに動かすためにはミドルレンジからハイエンドのGPUインスタンスが必要かもしれない。
BigGANで生成可能な画像は理論上は無限。
ただし、学習データは最低数千から万単位を集めないと生成結果の精度は悪くなる。

2019/06/23(日) 12:58:47.19

>>851
胸部内科のX線画像診断アプリケーションについてはまず、誰でも運用できるものではない。
実使用するためには、FDAの審査にパスしなければならない。
FDAの審査にまで持ち込む場合は、臨床試験を実施して臨床試験結果を提出する必要があり、
ここに至るまでには、相当な資金力の他、臨床試験を実施してくれる専門医療機関を見つけなければならない。
次にFDAの審査にパスしたとしてもそれを医療機関が使ってくれるかはまた別問題となる。
よく、この種のAIは医師に助言を与えるだけで、最終判断は医師が行う必要があるとかいれるがそれは違う。
まず、健康診断などの際に行われている胸部内科のX線画像診断は、２、３人の医師が数百枚くらいの画像を見ている。
そのため、胸部内科のX線画像診断を使ってダブルチェックをかけると医師の手間が2重にかかり、いくつかの研究結果では
AI画像診断ソフトを併用すると医師の診断結果の品質が却って低下するといった研究報告もでている。
そのため、100%の信頼性がない限り、胸部内科のX線画像診断は、忌避される傾向が強く、
そのため、医療分野へのAIの導入を進めたIBM Watsonの試みはことごとく失敗し、昨年末に部門のリストラに至っている。
AI画像診断ソフトの場合、どのようなケースでは認識を誤るのか、事前に具体的な例と数字データを医師に示す必要があり、
また、医療情報として提示された仕様条件に合致しない誤診をした場合には、FDA認証が取り消しとなる。
こうしたケースで医療事故が発生した場合、AIの提供元には、莫大な損害賠償請求がくることになる。

2019/06/23(日) 13:00:41.48

>>865 日本の法律では最終判断は医師下すと言うことになったんだよ。アメリカとは違う。

2019/06/23(日) 13:03:08.68

つまりAI 開発者の責任を逃れるためでもある。そうでもしないとAI は進まない。

2019/06/23(日) 13:21:11.61

>>856
ポッと出のAIベンチャー全部だろ
ディープラーニングでまともに精度高めるには大量のデータとGPUがいる
オンプレでシステム構築するなら数千万
AWSなどクラウド使うとしても月数百万程度のコストがかかる
これをやれるAIベンチャーなんて存在しない

2019/06/23(日) 14:26:04.75

？なんだが、いまの5chはコミュ障な奴が多いから
読み手はエスパー能力が高くないと駄目だからな。
スタートが>>865のような独り言・愚痴(本人はこれで質問しているつもりなのかもしれないが)
ではコミュ取るの大変な感じがする

2019/06/23(日) 14:30:11.20

>>861
100%全部をAIでやらなくても
70%くらいをAIや機械で自動化すれば
大分変わるんじゃね？
もちろん最初は10%くらいかもしれないけど
改善を重ねていくことはできる

今のスマホだって最初は平野ノラのネタみたいなショルダーホンだったんだし

2019/06/23(日) 16:03:00.11

ABEJAのサイトを改めて見てきたけど、確かに中身ないな
店舗分析も激安スーパーのトライアルの情シスの方がレベルが高そう

>>831
人売りSES企業と同じ輩がやってそうだな　＞AI企業で上場してイグジットしてガッポリ

投資は投資するやつの自己責任だから良いけど

2019/06/23(日) 16:34:26.62

openworkとか見ると色々やばげ。

2019/06/23(日) 16:58:30.08

AI詐欺企業リスト

ABEJA、LeapMind、BrainPad、テクノスデータサイエンス・エンジニアリング、??????クロスコンパス

2019/06/23(日) 17:01:42.19

2019/06/23(日) 18:04:04.14

人工意識を作り出す方法として進化的計算を用いるのはうまくいかないんでしょうか
どういったニューロンにするとかどういう問題が意識の有無や意味理解を示すのか
Googleのやっていた方法としてAutoMLを使うとかまったく未知数だと思いますが
作れたとしても理解できないものになってたりするかもしれないし
認識している人間は誰で何が最終的に認識しているのかが分かるようになると思う

2019/06/23(日) 20:00:21.20

>>866
医事薬の市場は米国が世界市場の半分を占めてる。
そのため医薬品や医療用機器などの場合、まず、米国特許を抑えて、FDAの認証を取るのが最優先となる。
したがって日本の医事法がどうなってるかは製品開発上はあまり重要性をもたない。

2019/06/24(月) 01:50:45.11

>>876 涙が出てるぞ。 AI 診断は、画像でも文献検索でも日本の診断がなんでFDAに関係すんだよ。勿論裏を取るために参考にはするが、関係ないぞ。

診断と言うのはアメリカに売る商品じゃないぞ。そりゃ、ソフトをアメリカに売るのなら関係あるが。

2019/06/24(月) 13:03:09.52

>>875
それはつまり汎用人工知能では？
今は特化人工知能、弱いAIしか実現出来ていないから
人工的な意識を作り出すのはまだ先だと思う

2019/06/24(月) 19:02:24.85

容易に試せないからウソ臭く思える

2019/06/24(月) 20:16:39.21

意識とは何か？という根源的な問いに答えられていないので今は作りようがない
意識があるかのように振舞うことはできるかもしれないが

2019/06/24(月) 20:19:54.79

人間も意識があるように振舞っているだけだぞ

2019/06/24(月) 20:20:51.03

もしそれが解明できたら日本のAI研究は一気に世界トップクラスになるな

2019/06/24(月) 20:31:32.37

意識なんて無いよ

2019/06/24(月) 21:17:48.19

>>883
あるよ

2019/06/24(月) 22:20:58.19

意識があるかないかの物理的、化学的、あるいは生物学的な明確な定義ができないと
チューリングテストと同じで、意識があるように振る舞うコンピュータは意識があると見なすのかな

2019/06/24(月) 22:24:43.42

>>885
意識があっても人間らしくない人間は現に多数います、私は人間にしかできないことはなにか、に興味があり、それができる者を人間とみなすことにしています
人間にしかできないこと、とは何か、についてはまだ答えは定まっていませんが…

2019/06/24(月) 22:32:03.08

地球や社会があるのと同じように、意識がある
そういうことじゃないでしょうか

2019/06/24(月) 22:44:38.40

意識の定義なんてどうでも良いい
会話してたら相手に意識があるかないかなんてすぐにわかるだろ
たとえその相手が機械だったとしてもね

2019/06/24(月) 22:51:18.38

おまえがわかってもしかたがない（笑）

2019/06/24(月) 23:03:12.73

機械学習を学ぼうと思うんですがchainer と kaggle と tensorflowどれを使って学ぼうか悩んでます
おすすめとかあったら教えて下さい

2019/06/24(月) 23:09:12.02

pytorchオススメ
あとkaggleはコンペ

2019/06/25(火) 00:37:52.16

そもそも意識のあるプログラムなんて求めてる人どれだけいるの？
俺は意識も何もなく文句言わず働く奴隷プログラムがあればそれでいい

2019/06/25(火) 00:44:12.93

tensorflowはkerasのバックエンドで動くライブラリ
ぐらいの認識でいい気がする昨今
chainerはないから、その中だとkerasかな

2019/06/25(火) 02:15:38.26

chainerどうなの
いまいち使われてる感じがないけど
kerasやpytorchと変わらん感じがしたが

2019/06/25(火) 08:08:20.67

トヨタとかPFNと組んでやってるところは使ってるだろうけど、それ以外ではどうなんだろうな

2019/06/25(火) 08:32:46.68

>>893
その他におすすめなフレームワークってあります？

2019/06/25(火) 08:55:03.10

>>894
実質PyTorchに美味しいところ持っていかれた
二つの違いは細かいところ抜かせば速度だからね
記法なんてほぼ同じ

今開発しているChainerXで速度は向上するだろけど
Chainerでなければならない「何か」がないと巻き返しは難しいと思われる

あとChainer使っててストレスなのが、モジュールにfunctionとfunctionsとあってタイポしやすい
畳み込みにdelatedパラメータがないので別の関数を用いることになるけどPyTorchは後発だからか標準Convにそれがある
等々、全体設計的な面でPyTorchに負けてしまっている感じがする