【統計分析】機械学習・データマイニング22
レス数が1000を超えています。これ以上書き込みはできません。
機械学習とデータマイニングについて語れ若人
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured ※ワッチョイです
次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512 ColaboratoryでTPU使おうと思うけどうまくいかない
なんだこれ >>993
>キューピーみたいにAI使えばいいのに、普及しないな
してるよ。
もう何個か納品しているが、予算が変わるわけではないので何も変化がない。
特に言うべき事がない感じ。客もへーとしか言わん。 Colorless green ideas sleep furiously. 日本のIT産業はITドカタが多すぎるせいで工数でしか料金を評価しない風習が強いのが問題だな
何十億も稼げるシステムなら1人月しかかからなくても100人月分ぐらい取ればいい >>8
企業の購買担当者が文系なので
人月計算しかできないんだよ
ひとり100万と決まったら、
もうそれしかダメなんだよ ワイも200万で受けてたけど、系列子会社は100万なのに、資本関係のないワイ社が高くなる根拠を示すのが大変みたい。 安い・うまい・速いで、うまいだけは数値化できない。
価格は数値だけど、品質は数値化できない
だから、ドイツ車みたいに、排気ガスの数値をだます奴が出てくる。
品質だけは、簡単に判別できない >>13
機械学習向けの問題だと思うわ
If 画像 == りんご
のように
If 品質 == 良好
とできたらね
画像がりんごは誰が見ても分かるけど、品質が良好ってどうやって教師作るんだろうね >>14
プロが５段階評価とかで付けるしかないんじゃないかなあ
もちろん個人差が出るから複数人で平均取るとかして 5つの味覚を取って美味しさを数値化ってのは既にされてるよ 果物や野菜は普通に等級が付けられてるんだから等級を正解データにして写真・糖度・水分その他特徴的な量を使って学習させるだけだろ 工場なんかの画像処理の工程で画像によってカメラのパラメータを変える必要があるんだけど新しい画像が入力された時に自動的に最適なカメラのパラメータに合わせるような事って実現可能？ >>19
それって機械学習じゃなくて制御工学で扱われている課題じゃね？ >>22
どういう分類かはどうでもよくて
制御工学のキーワードで探したら
解決策が見つかるんじゃねって事 >>23 の言うとおりだと思う。
解決策を考えるべきの話。
手法などが先にありきはナンセンスな話だが
AIを学ぶもののほとんどが、そこを勘違いしているのが実際。
そのアプローチだとあらたな発想の手法すら生まれてこなくなる。 AIでやるにしたって既存の方法と比較するのは重要だろ、ただAIでできますというのはアホ >>27
研究や業務をやっていないと、そうなってしまうでしょうね。
そうすると新たなAI技術が生まれなくなる。
日本の大学からAIや機械学習が生まれて来ないのはそういったことが
原因かもしれない。 みんなどんなPC使ってるの
メモリ8G、SSD128、i5みたいな大学生用PC使ってるんだけど流石に買い換えようかなと思ってる 流れ者になるといかに予算とるかが目的になってることがある >>30
CPU使いたいのかGPU使いたいのか
好きなほう選んでハイスペック品買えよ 学習以外のとこでCPUが役立つなんてほんと少ないぞ
めちゃくちゃ重いエクセルファイルを開くとか、バカでかい圧縮ファイルを開閉するとか、ベンチマークで自己満足するとか
グラボ、そしてSSDの恩恵がデカイ
>>30
i5 2400
メモリ16GB
SSD crucialの1TB
GTX1070
マザボは一回壊れたので中古の2000円の物
という構成だけど、機械学習ぶん回してる時は特に問題無い
グラボが8割、メモリが2割ぐらい
CPUはこのレベルで十分だけど、多分このレベルの方が高くつく。とにかくマザボが無い データががたりない、データが多くなれば・・・・・
そういうのはやめましょう。
いつもデータは足りないもの。
知ってはいけないデータもある。
足りない中で考える力を養いましょう。 >>35
画像処理とかやってるとCPU高性能なほうがいいんだよ >>35
そこまで古いCPUだと対応MBのPCI Expressバスが遅そう
GPU内で完結する処理なら問題ないだろうけど >>37
最近は足りなくても学習しきれるようになってきたね
画像データを水増しするライブラリなんかも出てきた
>>38
どんな画像処理してるの？
こないだ学習用に1000ファイルを処理したけど
1000*2000の200kbのjpg→100*200、50hbに再圧縮
5分もかからなかった
フォトショップやイラレもレイヤー50ぐらいなら全く問題ない。
プログラムの立ち上げは数秒かかるけどね
レイヤー1000とか超えると重くなったりする？今の所、そういう本格的なファイルは熱かったことがない
>>39
そこはボトルネック担ってるとは思う
ただ、リソース見る限りはGPUで完結してると思うので、これで良いと思っておくよ >>40
なんでもだよ。
画像検査なんかは相変わらず処理時間がネックになるから早いに越したことがない。
何でもGPUで書くわけにいかんし。 >>41
そりゃまぁ早ければ早い方が良いのは1005間違いない。
具体的にどういう画像検査で遅くなったりするの？
SSD、メモリが十分な状態で、i5 2400と最新のCPUでどれぐらい差が出るの？
何か例があれば教えてほしい
個人的には、学習前の画像処理が1時間ぐらい変わった所で特に意味は無いかな、と思う
一回だけなら許容範囲だ >>42
前処理を暗中模索するときはCPUが役にたつよ
決まったアルゴリズム、型にハマったデータセットばかり使うにはCPUはしょぼくても構わないだろうが i7 の最新版など、高いCPU では、動画などの最新のコーデックも、ハードウェアで処理できる
3D 処理とか、コンパイルも速くなる。
ゲーム製作のモデラーが使う >>37
データって量より、質と前処理とクレンジングの方が大事だなと実感した
画像ですら、量を増やすより選定した方が結果に繋がる >>45
その通りと思います。現在客先で見ている限りでは、データなんたらリストの方々
一様に前分析がおろそかになっています。おそらくやり方をご存知ないのかなと
思い始めました。
データが綺麗にそろうことははないので、今あるものからいかに見つけ出すか、
それがないと、じゃ次に綺麗なデータを取るために、どういうデータ収集の
仕組みにしたらいいかにたどり着かないですから。 とりあえずgoogle cloud で初期3万円分使ったらいいさ。
それで多分飽きるから。 GCPで無料で使えるのはかなりショボいスペックだから機械学習ぶん回すのには向いてないよ
手元にノートPCでもあれば大抵そっちの方が高スペック >>50
TCP使えるなら最強だけどそれが無理だと 機械学習ってユーザーじゃ学習させられないから売り逃げできないのが難点だな >>55
そりゃユーザーのレベルと、教える方の力量次第だよ。 >>55
SI的な売り方では分析や画像認識が限界だろう。
データ収集ひとつとってもコアな業務知識が必要になるから提案のハードルも高い 工場の検品ぐらいならかなり有用だと思う
ただそれ以上になると一気にハードルが上がるね バグを産まない一番の方法はコードを書かないこと。っていう格言があったような。全消しはある意味正解なのか ハゲタカ学会横行だそうだ。
金さえ払えば海外発表論文になると。
そういえば情報処理学会、今は論文として
カウントしてもらえてるんかな？ >>68
妥当な判断でしょうね。
といっても、この辺りのことは審議会からの意見が通った結果と思う >>68
数年後には今の腐った法案みたいに枷になるんだろうな AIは万能では無いけどそこらの町医者より的確な判断を下せる可能性は非常に高い
にもかかわらず、AIの判断ミスが使う医者の責任なら、使わないという医者も出てくる >>71
責任を医者に求めるなら、医者はAIにも精通していないといけない
あのクソ忙しい医者が更に機械学習を学ぶとか、非現実的すぎる
命にかかわるような手術だと、提案を効くにしても使わないだろう。
歯医者や耳鼻科、皮膚科など、基本的に命にかかわらないような所は大幅に楽になるかも AI側に責任もたせたら、開発者が手を引いちゃうよ
責任取れるわけないし、説明できる手法に変えないと理由づけもできない。
進歩が止まるよ。 >>73
AIに精通の必要はないでしょう。AIからの結果を補助として自分で判断するだけ。
そこにAI知識がといったら、AIの意味自体がない。 >>74
選択肢を患者に任せればいい
ヤブ医者判断より世界の名医クラスのAIがいいわ >>74
患者への説明できないというAI最大の弱点 ＡＩはあくまでもパターン認識に基づくリコメンドをして、
それの医学的妥当性の判断は医者がすると考えれば何もおかしくはない。
まあ、町医者なんかだとパターン認識レベルしかできないヤブもいそうだが。 >>73>>75
その辺りが現実的か
何かちょっと勿体無い気もするけど お前ら知らんと思うけど命に関わる外科医はほとんどがサイコパスだよ
サイコパスは人体実験と最新技術が大好きだからAIも使う >>72
>>76
ん～～
あまりに的外れなこと言ってるとおもうぞ >>78
どの医者にも得意分野、不得意分野がある
パターン認識くらいしかできないAIでも、実用上、診断は人間ではかなわないレベルに来てる
それを使ったら医者の責任って言われてもね
患者ガチャだわな >>82
それは、話が違う方向になってるよ。
病気かどうかが医師の責任という話ではなく
それは判断材料の一つにつかうだけで、
治療方針などについて患者との間で決定していかないといけない
それについて、なにを判断材料に好かった場合でも医師に責任が
あるという話だから。 google翻訳みたいに使われるということか
誤訳があっても使う人の責任だ >>84
99%以上信頼のおける判別機をもつAIがレントゲンみて胸部に癌ありますと診断したとする
開胸したら正常でした
これは使った医師の責任だという
なんだかなぁってことだよ 診断は投薬や処置などの治療方針につながる。
投薬にはどんなものでも少なくともアレルギーの可能性があり、
単なる点滴でも針の穿刺など傷を付けるなど、医療は基本的に
加害行為になります。
加害行為となり得る医療行為が医師などに許されているのは、
その医療行為によるメリットとデメリットを判断するための
最低限の知識などが、国家試験・国家資格などを通して国に
より一定の基準が保証されていることによります。
そのため、診断を補助する機器に対しても薬機方など様々な
規制が有り、安易に提供できません。
その為、下記の様なソフトでも指摘を受ける場合があります。
（現在は再度公開しているみたいです）
「糖尿病リスク予測ソフト、公開翌日に厚労省「未承認の医療機器」指摘で中止に」
ttps://yomidr.yomiuri.co.jp/article/20181105-OYTET50009/
現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
遺伝子異常など特定の限定された診断基準に基づくだけでできる診断には有効ですが、
「息苦しい」などの複数の原因が考えられる内容の診断はできません。
「息苦しい」には肺が原因の場合もあれば、喉などの気道の狭窄、心機能の低下、
貧血、疲労、低酸素環境など様々な原因がありますが、これらの全てをパターンとして
学習させるのは無理で、診断の成績も報告の限りでは相当に悪く実用に耐えません。
恐らく現在のAI技術は、診断基準が明確な分野のみに特化して一部使用されることが
今のところ期待されています。 >>86
要は、そういう使われ方しないという話ですよ。
他の検査などをやったうえでしか行わない。
今のAIはそこまで進歩もしていないし、患者との対話もできない。 >>86
そんなもん医者でもあるんだろ。
AIの言いなりの医者なんて意味ないから責任があるのは当然。
分からなかったら他の医者と相談しろ。
そのための病院組織ってことだ。
至極真当では 医師の負担が軽くなって、かつ精度も数値としてきちんと提示できれば、需要はあるんじゃない
ただ医療に関することだから責任の所在をはっきりさせないと、それはね
AI診断で医療ミスが起きて訴訟になったら、やっぱAIベンダーにも責任は問われるかと 実際に治療を行うのは医者だよ
だから結果がどうなっても責任は医者にしかない
文献を元に治療したけど実は今回の患者は文献で考慮されてなかった例外で本当は真逆の対処をしなければならなかった、間違ったのは文献著者のせいだから責任とれ、なんてあり得ない AIが診療行為として認められ診療報酬が決められば実用化される、それだけの話 >>86
誤診なしで100%の診断ができるAIは存在しないから、AI診断を鵜呑みにして処置をするのはあり得ないよね
それで医療が成り立つなら人間の医者の存在意義がなくなる
AIが癌があると言うなら医者もレントゲンを目で見てその上で判断を下すべき だいたい、AIで出た結果自体をAI専門家でさえ、なぜそうなるか理由がわからないのが
今のAIだから、それで最終判断しそのまま処置なんてありえない。 自動運転の車と違って考える時間あるからツールの一つってことで、まあよろぴこ >>96
ニューラルネットワークだけ考えるとそうかもしれないが、決定木は既存のモデルから確率的に理由付けが可能だよね
定石によって解決可能な病気はコンピュータが医師となって医療行為のGO判断をできるようになると思うんだよね
そういう時代はまだ先ってのは分かるけど、薬の販売が段階的に規制緩和されていったところを見ると、徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？ >>98
話しの流れを見てもらえばわかるけど、ここでは決定木とは違う世界の
話を想定した。自動化に近いものの話になっているので、ちと違うので
それとは別ね。
決定木を用いた自動化は金融などでは長く行われているけどね。
どうもそういう話とは違いそうなので。 決定木なら解釈可能って言うけどニューラルネットも決定木と解釈可能度合いは変わらないよ >>100
それは、おそらく >>98 の方が言われていることとは、解釈という言葉自体
が異なっていると思うよ。 >>98
>徐々に適用範囲が広がっていくことを見据えて、法律は整備するもんじゃないの？
法律整備は、そのレベルと対象により違いますね。
先にルールがないと、どう扱っていいか進められないものがありますから。 ＡＩ診断が医師の責任になるとしたら、学習に使ったデータをユーザー個人が精査しないといけなくなるぞ >>103
なぜ、そういう発想するのかが不思議だが、
医師は、AIから出てきた判断の結果を1つの提案のような見方をするだけで
それが正しいかどうかは、別な検査をもって検証する。
たとえば、最初に血液検査をして陽性と出た。それを探るために血液検査機器を
調べたり、どんなアルゴリズムで血液検査を要請と出したのかなどを考えること
はない。それと同じですよ。検査で陽性と出たら、他の手段でそれが正しいか
どうかを調べる。 >>103
それAI使わず医者の頭脳単体で診断する場合はその医者がこれまの学習に使ったデータを精査するってことだぞ
そんなことできないから現実的にはペーパーテストとかで判断するしかない
AIの場合はテストデータに対する正答率などをチェックするのに相当するわけで学習データをチェックする必要などない >>103
医療現場ではvgg16のように出来合いのモデルを使うだけだと思うよ
説明責任とかあるだろうからCNN系ならGrad-CAMで患部のところを強調させて終わり
これらを実装した医療メーカーが使いやすいもの提供するので、医師はソフトウェアにレントゲン画像食わせるだけ 日本の現場では学習済みモデルの転用でビジネスするのがメインになりそうだけどどうなんでしょ
転用だけだと、適用範囲のところを喰らい尽くしたところでビジネスが頭打ちになって、どこかが新規のアルゴリズムを開発するのを手をこまねいて待ってるような状況になりそうで
それならば、米中みたいに基礎研究にリソース投じるのが得策のような気もする 手術前とか特に、最終的に微細なリスクでも徹底して患者に説明してリーガルリスクを下げるようにするから、そのためのプロセスを効率化してくれると有り難い >>87
読売新聞ってことは記事元は共同通信あたりだろうが、記者の勉強不足が酷いな >>111
まあ、専門じゃないでしょうから
とはいえ、記事のどの部分について言ってるの？ ＞現在のAIのレベルは特徴量を主体とする単なるパターンマッチングに過ぎず、
そもそも科学がそうだろうがよおぉぉぉ～～～～～ まあ、記事を読む対象が誰かによって見方が変わるでしょう。
一般の人のにはＡＩ自体がすごいことをやっていると思う人も
多いでしょうから、そんな人知を超えたものじゃないんだよ
ということを言いたいと思えば、いいんじゃないかな。 科学は
公理系からスタートするのか、
経験則・実績からスタートするのか
で二つに分けられます。
扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのかの区別ぐらいは明確に分けましょう >>120
天気予報はどっち？
公理の基礎方程式にしたがって非線形の流体計算だけど、データ同化しないと使えない
もしかして科学じゃない？ >>123
天気予報こそ計算機科学の代表例だと思うんだけど、科学じゃないと言われて草葉の陰で泣いてるはず 無理やり係数などを自然法則に当てはめるのは完全に経験則の側。 >>120
＞経験則・実績からスタートするのか
ということは、ニュートン力学とかは、こっちの方に当てはまりますね
>>120
＞扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのか
>>121
その扱っているものが「公理」なのか「実在するもの」かを、>>120 のこの文にてはっきり示していないので、>>120 だけではどちらともいえませんね >>114
医学は機序が不明な分野では「○○症候群」や膠原病の様に、確率論や
パターンマッチングの考え方が使用される領域もあるが、
基本的には解剖学・生理学・薬理学・分子生物学・病理学などの基礎医学、
更にその元となる物理学・化学・生物学などをベースとした理論や論理で
成り立っている。
決して「特徴量を主体とする単なるパターンマッチング」ではない。
ついでに「AI診断？」についていえば、機械がどんなに正確或いは不正確な
診断を提示したとしても、その採用・不採用を含めた診断の最終決定権は
法律上医師に属するため、医師の責任になる。
まぁ、医師・病院から開発メーカーにクレームがいくけどね。
更に臨床診断に関わる機器やプログラムは基本的に薬機法が適用されるため、
製造販売には厚生労働大臣の許可が必要。
診断までいかない「予測」や、無料での「公開」も法的にグレーであるから、
87の例のように厚労省から指摘を受けることがある。 >>129
前半イエス
後半何が言いたいのかよくわからん
一般論を言っただけに過ぎん >>128
無理矢理と言われましても、みんな観測から基礎方程式の係数決めてるでしょ？
科学の代表例って何だろう >>130
＞基本的には解剖学・生理学・薬理学・分子生物学・病理学などの基礎医学、
＞更にその元となる物理学・化学・生物学などをベースとした理論や論理で
＞成り立っている。
それはそのとおりなのですが、お手軽診断システムでは「英語のペーパー」という文字列的記述だけでなんとかしようとしている風に考えていました
その基礎医学（生理学、病理学等）の記述を計算機に落とし込むことすらめんどくさいのでやっていない、ときいています >>124
どう考えても、力学とか電磁気学とかからして、これにあてはまる気しかしないのですが… >>131
＞後半何が言いたいのかよくわからん
>>120 の真偽は >>120 の記述が不足しているという理由により、>>120 の内容だけでは判断できないかと ニュートン力学も電磁気学も一般相対性理論から見れば近似式。
あるいは量子力学からスタートせよ。 >>136『公理系』としっかり明示したはすだが‥。 >>392
一般相対性理論が真実かも分からんのに、なんで公理になるの？光速度一定の法則だって経験則かもしれないのに？ F=maからスタートすることとc=一定からスタートすることの違いがわからんと言っている >>138
＞『公理系』としっかり明示したはすだが‥。
>>120 を再度掲載してみます
＞科学は
＞公理系からスタートするのか、
＞経験則・実績からスタートするのか
＞で二つに分けられます。
ここまでは問題ないと思います。
＞扱っている事象が帰納的に導かれたものなのか、演繹的に導かれたものなのかの区別ぐらいは明確に分けましょう
ここで、この文のいうところの「扱っている事象」が「公理」なのか「経験則・実績」なのか、は、判別できないのではないでしょうか？
>>120 が指している分野が物理学だったとして、物理学は「公理系」を扱うものか、それとも「経験則・実績」を扱うものか、私は判断ができずにいます
>>120 が指している分野が数学だったとすると、数学では公理を扱うものなのか、それとも経験則・実績を扱うものなのか？たとえば数学上の公理を導くために思考するときは、じつは経験則・実績に対して思考しているのではないでしょうか？
>>120 のいうところの「扱っている事象」が「事象＝event」という言葉だけでは抽象側なのか具象側なのか判断がつきかねる、と考えました >>142
お前は文系か？
スタートの仮定を示せばよいと言っている。
>判断できないのではないでしょうか
数学的に演繹されたかどうかで判断したらよいと思います。 >>141
ニュートンは最初に『質量と加速度は力に比例する』と仮定し勝手に係数を決めた。だから経験則だと述べた >>143
＞スタートの仮定を示せばよい
その「スタートの仮定」が抽象側か具象側か、>>120 の文面・「事象」=event という語句から判断できるのでしょうか？
「事象」＝event という語句は、ほどよく抽象的かつ同時に具象的だと思います
>>143
＞数学的に演繹
演繹、とは普遍的な命題から特殊な命題を導くことですが、数学的な成果物を出力するとき、「定義」「定理」そして「証明」自体を出力する活動も含まれるのではないでしょうか？
そういったときには、それらは数学においてもきわめて帰納的な活動だと考えています 定理から定理を求めることを演繹的じゃないと言われると、もうID:zFHfz07h0には何も通じないと考えたほうが良さそう。 >>146
理解が足りなくて申し訳ありません
「定理から定理を求める」というのは、数学の本を読むときの話というのなら理解します。
でも数学ってそんなものだけですか？実は、何もない空っぽな空間から「定義」「定理」そして「証明」を、あたかも手品のように取り出すことも含まれるのではないでしょうか？ >>148
含まれない。
演繹法とは最初の仮定が一緒ならば、たとえ地球の裏側の人でも同じ道筋を辿れること。普遍性のある道筋。 >>150
では、その演繹法を生産する人の思考も同様に演繹的ですか？
たとえば、ハミルトンが
i^2 = j^2 = k^2 = ijk = -1
を1843年10月16日に発見したとき、その思考方法は演繹てきですか？それとも帰納的ですか？ >>134
ご指摘の通り、学習内容を限定しているため、一般用途としては
かなりいい加減なものがたくさんある。
ただこのいい加減なものでも役に立つ場合が有る。
例えば膨大な情報を学習させ、稀な疾患を特定するのには
有効な場合が有り、下記の記事のような事例が好例。
「AI、がん治療法助言 白血病のタイプ見抜く」
ttps://www.nikkei.com/article/DGXLZO05697850U6A800C1000000/
プログラム内部を確認していないため、推測でしかないが、
これはGoogleで複数キーワードで特定のHpを検索するのと
あまり変わらない可能性が考えられる。
その場合、このプログラムで明確な特徴がないがんの診断では、
人間の診断能力に及ばない可能性が高い。
また、類似物のマッチングによる認識技術も顔認証などで活用されているように
かなり有用になってきたため、下記の様な活用事例がある。
「東大発！AIの画像解析でガン発見率9割」
ttps://president.jp/articles/-/25195 前述の例はコンピュータの得意領域に限定された条件だから成績がいいだけで、
現在の公開されているAIの文献などを見る限りでは診断プログラムは人間の
一般的診断力にはほど遠い。
また診断には適切な診察が必要だが、人間ほど多種・多機能・高性能なセンサーの
開発にも時間がかかるため、人に置き換わるのは当分無理。
基本的に診断は自動運転技術の認識機能より複雑なため、実用性は推して知るべし
というところ。
より一般的に使える精度が高くて診断用途のものを作るのには、
医者をつくるのと同じで、物理学・化学・生物学に基づいた仮想世界に、
解剖・生理・薬理・病理・生化学などに基づいたモデル人間を作り、
それに内科学・外科学・小児科学・婦人科学などの知見から病態生理を当てはめ、
さらに日々の診療データで肉付けすることになると思う。
遺伝や感染症など集団の要素がある場合は、分析には複数モデルを作成することも必要。
このようにデータ量・計算量ともに膨大で今の技術ではとても作れないから、
限定された簡易版を作り、限定された範囲で補助的に活用されるのが現状。 何を前提にスタートしてるか、数学的に演繹されたものか、
その道程には、経験則や実験による実績が混じってないかで判断したらよい。
クォータリオンはハミルトンが定義した理論です。その公理系は私は知りませんが演繹的なものです。 >>155
経験則の他に、各医学を勉強して頑張ってマス。
ただ年齢的に限界を感じておりマス。 >>154
＞クォータリオン
○クォタニオン
＞クォタニオンはハミルトンが定義した理論です。その公理系は私は知りませんが演繹的なものです。
クォタニオンの定義は >>150
＞i^2 = j^2 = k^2 = ijk = -1
がすべてです。
＞その道程には、経験則や実験による実績が混じってないかで判断したらよい。
なるほど…少しわかってきました、たとえば
i^2 = j^2 ~ k^2 = ijk = ^1
を「発見」するときの思考内容を再現することはできず、そもそも数学者は「定義」「定理」を生み出したときの思考方法は明らかにしてくれないことが大半ですね
それは物理学とかとは大きな違いですね、たしかに 伸びてるからどうせコテ+αだと思ったら案の定コテ+αである
これがパターン認識よ 勝手に定義してそこからスタートしたら演繹で科学というとか自己矛盾だな
酔っ払いだろw
数式だけで閉じる世界に意味を与えるのも立派な科学だ
クォータニオンは便利な道具であって行列と変わらん
行列は科学だ言われてもポカーンだわ そういえば改正著作権法(機械学習に他人の著作物を無断使用できる)ってもうスタートしてたんだな
これ利用して面白いこと始める人いないかな
いよいよ施行された「改正著作権法」は、弁護士や学者にとってビジネスチャンスとなるかもしれない
http://www.itmedia.co.jp/news/articles/1901/22/news011.html どうでもいいポエムで草。
そういうのはツイッターでやってくれ。 公理と演繹のハイブリッドタイプも存在するというかむしろ普通なわけだが。 >>165
意外とどうでもはない。
会社で上司が経験則だけで持論噛ましてるとホントにうざい。 アートかサイエンスかは、演繹だなんだ～とかじゃなく
本来に戻ってかんがえた方が良いかもしれない。
議論自体がアートの世界になっているので 公理系と推論から導き出されるのしか科学じゃない、ってのは極端で、
科学の中でも形式科学というものは公理系と推論から導き出されるものだ、
だろう。
経験則からスタートしたものだからって劣るわけじゃない。
物理学は量子力学や一般相対論含め全部経験則でしょ。経験則になってないものは、むしろ「予測」でしかなく、
事実とはみなされない。最近まで重力波とかヒッグス粒子とかそうだったでしょ。
取り扱っている対象が現実世界な以上、どこまでいっても経験則(実験結果)に合わせて理論が修正されていく。 経験則が間違っているというなら
それが間違っているということを公理を使って証明を見せてくれよ >>171
形式科学以外の科学では、現実と一致しない間違った経験則かどうかは
実験で結果が一致しない条件があるかどうかでしか判断できないんじゃないかな。
公理なんて人間が勝手に決めたものなんだから、究極のところ実在性もないし
無矛盾性だって確かめられない。
証明でなんとかなる範囲というのはかなり限られた枠組みの中でしかないんじゃないかな。
https://ja.wikipedia.org/wiki/%E6%95%B0%E5%AD%A6%E3%81%AE%E5%93%B2%E5%AD%A6
数学の哲学 - Wikipedia
この辺が読み物としては面白いよ。 >>153
は、非SEなのかな？
単一のAIが全て網羅することが前提になってるのが違和感 >>178
理系の場合はwikiでも良くないか
政治やアイドル系は終わってるけど Wikipediaだからってレッテルを貼るのは、中身を吟味するだけの能力、知識がないってことの表れだな。
よく知らない分野を網羅的にざっと押さえるのにはかなり良いのだけど。だから読み物と書いたのにな。
詳しく知りたいことは調べなおすのが当然だろうし。 グローバルメルカトル図法に騙されたアホもいたけど、
5chぐらいなら基本ソースとして信用して良いだろう 実際、学生とおじさんが対等に話してる風になってるんじゃないのか >>184
それって、けっこう重要なところついているかもよ。
そもそも、アートに対してサイエンス。キリスト教概念。
人が作り出せるものがアートで、神じゃないと作り出せないものを
追い求めるのがサイエンス。
数学をつかって神の領域を理解しようと努力するときは数学はサイエンス。
それを語る時はアート。そう考えると哲学が文学部にあって数学が理学部に
有るのは基本理解できる。
経済は活動を創りだすのはアート、現象を探るのはサイエンス。となるんだろうな。
たとえば、人がどんなふうに移動するんだろうと研究するのはサイエンス、
こりゃ商売になるぜ、と考えたのがアート引越センター。 帰納と演繹の話をしたのに
いつの間にか経験則て言葉だけに噛みつく輩が多いな
経験則と『実績』に基づき次の手段を考えるのは一般的に大事な思考だよ。
ただ、帰納的な結果はローカルな事象になりがち。普遍性が乏しい。 たまたまよい結果が出ただけで、
結論を出してしまう輩が一定数存在するので注意が必要。 一方、演繹的な手順については、工程が全て正しかったとしても 、
一番最初の仮定が間違えているとすべてがおじゃん。
しかも理解してくれる人がいなければ広まることはない >>86
生検してから確定するだろうから
見逃しをAIで防止するような使い方じゃね？ >>87
息苦しい
だけだと人間の医者も特定できないだろう
だから問診とか検査してデータを増やして
原因特定する
息苦しい症状の時どの検査や質問をするかはAIではなく
データベースにしておけば解決出来るんじゃね
全てをAIで処理する必要はない >>190
物理学なんかはまさに帰納と演繹のわかりやすい組み合わせだよね。
経験(観測)からの帰納によって生まれた理論を演繹することで理論の適用範囲を拡張し、
拡張した理論による予測を観測によって確かめる。予測と観測結果が一致していなければ
そのような結果をたくさん集めて新たな理論を帰納で作る。それを演繹で拡張する。
の繰り返しだよね。 >>91
現在の検査方法を開発した人とか検査薬とか分析器とかのメーカーは完璧ではないのにAIだけ完璧を要求されるのは変じゃね？ >>120
アインシュタインが光の速さが速さの上限で光の速さは変わらない
という前提で相対論を考えたのは
演繹？帰納？
上記の前提を導き出したのは帰納法で
上記の前提から論理展開したのは演繹
だから両方じゃね？
鶏と卵で解釈の仕方次第 AIとかシステムで診断できるようになると
医療の質のバラツキを少なく出来る
地域による医療の差を少なく出来ると思う
すると各クリニックとかは何で差別化するんだろうな >>82
診断って言っても画像診断とかの一部だけだよね
現段階では >>137
量子論だって大統一理論に帰納される理論かもしれないんじゃね 光速一定は単に仮定であり、それを否定する手段がない。ここでは公理系の一つとしてカウントしてよいとおもう。本人も仮定と言っている。 ところで本題、
手段は多数あるが機械学習は、
帰納的か演繹的か
これまでの経緯を考えれば、帰納的と言えるように思われる。
ただし、個別の手法を細かくピックアップすると演繹的なアプローチだなあと考えさせられる部分も存在する。 >>203
1. 膨大なデータ → 現象を説明可能なモデル
2. モデル → 現象の予測
1のステップ(fit)は帰納的
2のステップ(predict)は演繹的
公理系とか持ち出すと宗教くさくて嫌だけど
1で作られたモデルが他のモデルから導出できなければ
モデルは公理ということになる
ディープラーニングを例に考えるとモデルはニューロンと活性化関数の集合
{ニューロン, 活性化関数}から演繹的にモデルが導出可能だから
ここでいうモデルは公理ではなく、ニューロンと活性化関数が公理ということになる 最後の一文はなんか伝えきれてないな
定義1 NAND回路を次の定義とする
0 NAND 0 → 1
0 NAND 1 → 1
1 NAND 0 → 1
1 NAND 1 → 0
定理1. いかなる論理回路もNAND回路の組み合わせで表現できる
この場合、定義1は公理
定義2. ニューラルネットワークを次の定義とする
y = f(Wx+C)
定理2. いかなる「りんごの画像」もニューラルネットワークで判別できる
定義2は公理 これだけレスが伸びていてアブダクションが1回も出てこない時点でお察し 帰納とか演繹に分類しても実現可能な事の集合が増えるわけではない
人間の思考活動を分類しても
思考活動そのものが変わるわけではない
何のために帰納とか演繹とかに分類するの？
目的は？
光速一定を帰納的に発想したか
光速一定が公理だと分類したか
その結果によって相対論が修正されるものではない 実験を経験則なんてチャチなものに分類するのがムカつく。 >>208
帰納と演繹のはざまには真実(公理)が埋まってるからだよ
小学生が教室でウンコ漏らしたとする
漏らした張本人は「周りの人くっさいだろうなぁ」と考える(演繹)
周りの生徒は匂いから「誰かウンコ漏らしだろ」と考える(帰納)
教室がクサイのは変わらないよ?
でも漏らした加害者と周りの被害者は区別する必要があるだろ? >>208
>>191に書いてる通り。
普遍性のない結果に対し、いちいち騒ぎ立てる輩が存在するため。 >>209
『実績』と言っておけばよい。
実績こそ一番評価されるべき部分。 >>209
自分は物理は大好きなんだが、
その二つはなにが違うの？
経験則にも精度はさまざまってだけだと思うんだが >>210
加害者と被害者を区別する必要がある
のは何の観点で？
科学の観点で加害者とか被害者とか関係あるの？ 加害者＝原因、被害者＝結果、の比喩なんだから科学の観点で論じるべき最大の論点でしょ 経験則だけでは、人によって異なる意見が出たり‥
少し条件を変えただけで再現不可能になったり‥
ということが起きるので普遍性のある演繹的なものも必要です。 >>220
それには反対ですね
実証って言ってしまうとそれだけで真実、あるいは理解した気になる人が増える 経験と実証は明確に区別されるものだぞ
というか科学とはなにかということを理解してない輩が多すぎるな
日本の科学教育がいかに誤っているか（というか科学教育自体ほとんどしていない）
がわかる ローカルな、狭い範囲の事象に対しての証明にしかなってないことが多いと言っているんだが‥ >>210
原因を推定するのは逆問題を解いているだけで帰納ではない
原因と結果の関係を知っている時に
例えばy=f(x)のようにxが原因の時にyの結果になる時に
yになるxを求めている
帰納は関係fを考えること で、fを求めることは機械学習での学習することに相当する
fを求めた後で因果関係のある2つの観測値yとxを特定している
f(x)の計算をする事機械学習で推論に当たる部分が演繹
演繹操作を繰り返してxを推定している
因果関係と演繹的や帰納は別の概念 匂いa=f(銀杏,教室)
匂いb=f(クサヤ,教室)
匂いc=f(うんこ,教室)
この関係を過去に帰納的に学習して知っているから
演繹的に逆問題を解いて匂いからうんこを推定出来る
秋に遠足に行った後とかの情報があれば銀杏が原因の可能性が高くなる データをもとに帰納的に関係fを学習するのだから
データつまり観測値が不足していたら関係fは適切でなくなるだろう
子供の頃の経験で方言や地域の習慣を日本全国で通用すると思っていても
大人になって他の地域の人と話してみると違う事に気付いたりする 身近なものに例えようとして逆に分かりにくくなる好例 >>235
あ、すごい！
ＡＩって利用場面では、それだね。 ぼくちゃんの嫌いなあいつはなんでも経験則で決めつける
だから経験則で決めるやつはみんな馬鹿なんだって言いたいんだろ 経験でケプラーの法則が見つかるのか、すげーなおまえ（大爆笑） 観測を元に理論立てて、理論から導かれる予測が実際の現象と相違があるのか、再現性があるのかを検証するのがサイエンスであって、経験則ではないよ。 経験って言葉に親でも殺されたのかっていう奴がいるな。
経験科学という言葉すらあるぐらいなのに。
まぁ単に誰かが反応する単語を適当に書くと反応が貰えるから嬉しいっていう荒らしなのかもしれんが。
あえて選んでるのか偶然なのかはわからんが、ケプラーの法則なんてむしろ経験則そのものだろ。 >>240
観測は経験のうちに入らないの？
観測から組み立てられ、幅広い条件で再現性があることを確認された法則、は、包含関係で言えば経験則に含まれるのじゃないの？
観測から法則を組み立てたり、観測方法を考えたりするプロセスがサイエンスだよね >>242
観測しただけで勘を頼りに予測するのは経験則。
理論立てて、理論から導かれる予測が実際の現象と相違があるのか、再現性があるのかを検証することが法則を導き出すということ。 >>238
ケプラーはガチ経験則でケプラーの法則見つけたんだよ。すごくね？ ま、どちらにしても、この議論そのものがサイエンスじゃない 哲厨が議論を台無しにしてしまったな。
本当にろくなことをしない。 >>247
キリスト教概念なんです
アートとサイエンス
おおざっぱに言えば、アートは人が作り出す（出せる）モノを対象とした世界
サイエンスは神のみが知る（作り出す）モノを対象とした世界
大学の文学部、理学部
このくくりは基本ここが発祥
そう考えると、日本の文学部という日本語の命名は失敗だったんじゃないかと思う。
文学部だと、どうしても小説などの文学を連想してしまうが、実はアート学部
であって、文学はその一つに過ぎない。 >>253
要は、ここでの議論はそういうことを
言い合っているだけのことという話 機械学習で演繹やら帰納やらうだうだ言ってる人は計算論的学習理論でも勉強すればいいの 現場にでて、何が必要とされているかを知ることの方が重要だと思う。
あらたに、何をやったらいいかのヒントがたくさんあると思うよ。
ここ見ていると、こんな手法あるんですけど、なにか利用できる場面
ないいでしょうか？というのが多い気がする。
逆でしょ 空論にリソース割けるぐらいだから学生さんなんだろう >>244
経験則をそう定義するなら含まれないだろうけれども。
「勘」はどのようなプロセスを意味するのか？
「勘」はその後の観測によって修正されていかないのか？
そして経験則の「法則」はどのような形式で記述されている必要があるのか？
というあたりが疑問。 >>264
人間の脳で情報処理される
入力も情報処理過程も明確ではないけど結果を得られる
って事じゃね
洞察力とかも全てが明確にはなっていない
ニューラルネットワークはブラックボックスだと言う
批判があるけど人間の脳はブラックボックスなのに
人間の情報処理は信用するとか
合理的ではない判断=情報処理もよく行われる >>264
勘というのは他者が再現できない論理的に説明がつかないものを指す。
経験則の法則って、何を言いたいのか全くわからない。
経験は観測であって、受動的であり何も考えていない状態。そこからなんで法則って言葉に飛ぶかね？ >>266
経験の定義をそうするのは適切ではない
プロジェクトに参加した経験とか
宇宙遊泳した経験とか
受動的とは限らない >>266
「経験則」という言葉は、その字義からして、経験から得られる法則のことを指しているだろう。
そこにおける「法則」はどのような形式で記述されている必要がありますか、という質問。 現代の宇宙論でもダークマターとかダークエネルギーとか持ち出してるからな
天動説の頃の惑星の逆行をプトレマイオスが補正したように
素粒子論も補正だらけで糞理論と言わざるを得ない デュアル画像処理エンジン搭載の「OLYMPUS OM-D E-M1X」
https://dc.watch.impress.co.jp/docs/news/1166034.html
>目玉となる新機能「インテリジェント被写体認識AF」
>は、コンティニュアスAFの被写体追尾に加わる被写
>体認識機能。AI技術の一種であるディープラーニング
>デクノロジーを開発に活用して、オリンパスが数万枚
>の写真から辞書を作って学習させた。
>これにより特定の被写体を検出し、
>その被写体にとって最適なポイントにピント
>を合わせ追尾する。 >>269
自らはなんの貢献もせずクソと評価するクソだな まとめ
生齧りの知識で物理の話をしたら突っ込まれて赤っ恥 >>268
マーフィーの法則はどうやって導き出しましたか？
って聞いてるってこと？ 認知バイアスが機械学習にもかかるんじゃないかって懸念してるから、経験則に拘ってんのか？ 経験則の定義というよりは
帰納の類推方法について定義してほしいな
経験則というから突っかかる輩がいる はいんりっひの法則
まーふぃーの法則
むーあの法則 で、ずっと屁理屈こねくり回して普遍性がないだの言ってる人はここ最近何を作ったの？
何も生み出さず文句言うだけの人より局所的にしか役立たない普遍性のないものを生み出している人の方がよっぽど有用 >>277
自分で分類できてんならそれで良いんじゃね？ Colabでxceptionを224x224でやるとメモリ不足で落ちる
150x150くらいまで落とせば回るけど精度低い
メモリ増やせないもんかな 金沢工大 AI科目開講
19年度、全部学生を対象
金沢工業大(野々市市扇
が丘)は、人工知能(AI)を駆使する技術や倫理
を学ぶ科目「A1基礎」を二〇一九年度に開講し、二
0年度から必修化する。同大によると、A1を学ぶ講
義が全学部生を対象に開かれるのは、全国の大学でも珍しいという。
https://i.imgur.com/377mt69.jpg
地元だけど、進んでるね なんかネコに小判のような気がするが・・・・・
そこの大学ってランクどのくらい？ しかしすごいブームだね。Excel
以外のPC用途が増えて嬉しいわ バカがAIという言葉だけで騙されるし、最低限のリテラシーを身につけるという意味では良いのではないの 一部の技術領域ではすでに基盤技術化してるんだから間違いじゃあない
人口ボリュームゾーンのおっさんたちは新技術学ぶ気力ないんだし若者の出番よ 金沢工大は昔から他行に先駆けていろいろやる学校みたい
もう何十年も前から、そういった面で有名だそうだ。
特に、ITに絡む分野ではそうなんだって。 いちいち報道しないだけでＡＩを概論的に講義してるのは他の大学でもやってると思う 情報系 偏差値 37.5～42.5 優秀な大学だな 学科も増えてるけど、足りてないのは統計や分析が出来る奴じゃないんだな 統計処理使う学問は機械学習概論の必修化はいいんじゃないかな もちろん機械学習で全てを解決するわけじゃないだろうけど、
そろそろ必須の知識にはなってきていると思う AIを実際に導入されたシステムはくそ高く設定されていること、実際にはそんなに流行ってないこと、万能でないことを世に知ってほしい。
特に役に立たない大学にいったせいで人生棒に降りたくないだろ？ >>278
不正して加工されたデータだと意味無いよね AIなんて人生のメインにおくべきものじゃないよ。
あくまでも道具だよ道具。
AIに比重おくなら>>120はよく頭に入れておくべきだよ 自演疑われた。わらわら
こて付け忘れたけど
>>ﾜｯﾁｮｲ 6eda-MylL＝ｽｯｯﾌﾟ Sd62-MylL＝ﾜｯﾁｮｲ 6bda-HVwkだよ >>120は知らなくてもいいな
一部の変人が人生を犠牲にして論じればいい
素数を知らなくても重要な定理を導くことができる
帰納と演繹の概念を知らなくても機械学習はできる
何が重要と思うかは人それぞれだが、AIやるなら帰納と演繹を覚えておけなどという奴は信用ならない >>308はあくまで経験則に基づく持論に過ぎない
客観的な反論を求めます >>296
偏差値37.5ってどうやったら取れるのか想像もつかない・・・・ >>314
うちの娘もっと悪いわ
テレビドラマとか嵐とか楽しそうに見てるけど何にも考えていない
勉強できないし頭悪い
かわいそうだけど >>315
PDT(光線力学的治療法）が画期的で、進行癌にも有用ということですね、癌撲滅も可能かもしれませんね >>314
他人と同じじゃいけない！
他人ができないことをやる！
たしかにそうなんだけど・・・ >>316
場合によると、娘が考えていることが
理解できないだけかも。
お父さんの、その世界のラーニング不足かもしれんよ >>316
馬鹿でも楽しそうにしてるなら、別に問題無し
帰納と演繹の概念を知らなくても人生には何ら影響を与えない。 >>324
pandas,numpy相当のものがないとデータ扱いにくいのと、C++実装の機械学習のライブラリ呼べるかでしょね >>326
ありがとうございます
無理そうですね、pythonにします pandas、先月使ってみてすごい便利って分かったけど、昨日使おうとしたらもう書きかた忘れてる >>324
たぶん、Ruby のC-binding を書く人が少ないのだろう
基本的に、XML とか、すべての言語で同じ、C のライブラリを使っているけど、
C-binding を書く人数による
NArray はあるから、数値計算の速度は、Octave にも匹敵するけど、
機械学習の周辺ライブラリ一式すべての、C-binding があるかどうか
例えば「お姉さん問題」で有名な、
北大の湊教授が作った、ZDD には、Ruby-binding もある 世界的なRuby 企業である、Cook Pad とか、
逆引きレシピ本の著者、マネーフォワードなどが、リソースを割いて、作るしかない！ >>329
学習の工程が人間とディープラーニングとでやはり違うのだろう
人間は入力に対して並列に異なる学習機が走っていてそれらを結合するのが上手い
人間のラーニングはディープではなくマルチと言うべきかもね >>327 >>326 >> 324
Juliaにしなさい。pythonは遅い。 自分はglue言語としてしか使わないからpython で間に合っちゃう(汗) 複雑に繋がりあって層状にはなってないんじゃ無いかな >>329
最近テレビでAI取り上げてたけど
津波で逃げる人を映した一枚の写真から
「ビーチで遊ぶ大人数名」
という判定結果が出たとか問題提起してた
番組は何だったか忘れた >>342
津波から人が逃げる場面なんて学習してないだろうから、学習した中で一番近いものが出力されたけなのに何が問題なんだろうな
人間だって津波を知らなければそう判定するかもしれない >>342
全然問題ないじゃん。
単に答え方問題であって。
「青地に描いた絵」とか「テーブルと人形」とか認識されたら全然使えないけど
「波」「砂浜」「人」が認識できてたんだろ？
すごいじゃん。 >>347
使い方の問題じゃないかな
例えばテレビで津波被害の画像に自動でキャプション入れたいとした場合に海岸で遊ぶみたいなキャプションは入って欲しくない
いわゆる不謹慎のようなTPOが判断できないってことを言いたいんじゃないかなぁ
写真だけなら顔判定して感情分析してってやり方はあるんだろうけどもね >>337
ライブラリが全然足らないから一から書ける人向けかなぁ
なぜかJuliaからPythonのライブラリを呼び出す事は出来るので困らないっちゃあ困らないが時期尚早だね
列指向なのとインデックスが1スタートなのでpythonコードを移植しようとすると色々ハマる まあpythonでいいよ
CとかJavaとかC#やってた身からすると
PerlとかPHPより読みやすいし書きやすい
PHPなんかどんどんpythonにリプレースされると思う Pytorchを使っているのですが、学習したモデルの可視化みたいなことって簡単には出来ないんですかね？
ここにこういう特徴があるならAと推定みたいなのをヒートマップの様に表示したいです https://github.com/utkuozbulak/pytorch-cnn-visualizations
こんなのがあったので使ってみようと思って
pretrained_model = models.vgg16(pretrained=True).features
のモデルの代わりに自分で学習させたモデルを使おうとして
pretrained_model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(pretrained_model.parameters(), lr=0.01, momentum=0.3)
pretrained_model.load_state_dict(torch.load(PATH))
でモデルを読み込もうとしたのですが、
TypeError: 'Net' object does not support indexing.
というエラーが出ます
どなたか分かりませんかね？ 「python typeerror 'net' object does not support indexing」で検索！ >>352
現在のAIの世界は大雑把に、作る人とヘビーユーザー、一般ユーザーの
垣根でいえば、作る人と一般ユーザはわかれているが、作る人とヘビーユーザーの
垣根ができていない。要はヘビーユーザー向けのちゃんとしたツールが存在して
いない。
だから言語の話に終始してしまう。
遠からず、この辺りは分かれてくることになると思う。
その時、作る人（これもレベル複数あるが）はPythonなどいろいろ使われるだろう。
ヘビーユーザーは、もっと目的志向のツールを使うことになるだろう。それがPythonで出来ているかもしれないが、実際は裏は関係ない。
今は利用環境という面では、発展途上というより、まだ始まったばかりで、
その面でまともなツールは、非常に少ない（あるいは無い）と言ってもいい状況が
今日現在。 AVから全裸画像抜き出そうと思ったら気が狂いそうなぐらいめんどくさい
棒立ちかそれに類する画像が大量にあるサイトってないかな・・・
もう後ろ向き画像やおっさんのケツ画像をひたすら削除する作業に疲れた・・・しにたい・・・ GUIで学習させるツールがちらほらあるけど、まだ実用には程遠いよね 理論知ってるよりデータの集め方の上手い人のが活用してる印象。
クローラで上手いこと画像集めてくるのに慣れてる人だったり。 >>360
無料のデータセットとか色々あるしね
エロは以外とむずかすぃ・・・ >>359
＞ 次のAIブームに期待しましょう
次のAIブームは100年後ですよ？
つまり脳の構造が全てわかったときです。 初心者で素朴な疑問なのですがsvmでrbfカーネルより線形カーネルの方が性能いいっていうパターンはありますか？ >>365
性能がいい=事象を正しく説明する
という意味なら線形な事象は線形カーネルのがいい
性能がいい=誤差が小さい
という意味なら残念ながらない 別の言い方で書くかな
性能がいい=予測誤差が小さい
なら、線形な現象は線形カーネルのがいい場合もある
性能がいい=フィッティング誤差が小さい
なら、残念ながらない
RBFカーネルは柔らかいのでカーブフィッティングしやすい >>368
神！グロ画像いっぱいと思ったら>>48が至高だったわありがとう！ >>365
線形カーネルだと線形判別しか出来ないのでは >>367
例えば回帰問題であれば訓練データに一致させるようなフィッティングはrbfカーネルが絶対に勝つ。けど
分類問題で線形な問題ならaccuracyが線形カーネルの場合の方がいいということもあるということですか？ >>373
回帰問題であっても分類問題であっても、訓練はRBFカーネルがaccuracyは高い
けれどもそれをテストデータに適用しても、RBFが勝つとは限らない 単に、背景にある関数が線形に近いなら線形カーネルの方が成績が良くなるってことだよな
無駄にカーネルの表現力が高いとノイズに影響されやすくなる
関係ないが、多項式カーネルは次元を高くするほどフィッティングの成績は良くなると思ってたんだが
高くしすぎると悪化することもあるのを見て驚いた
サポートベクトルや素性の数に比べて次元を高くしすぎると逆に制約になるってことかね フィッティングの成績が各点の二乗誤差の和とかなら多項式だと次数上げれば上げるほど誤差は減って、
データ点数以上の次数なら全ての点を通る曲線が作れるから誤差はゼロになるんじゃないか？ SVMはサポートベクターとの内積(=カーネル)をとってその一次合成でスコア出してるのは知ってる？
多項式で項数が増えてもそれぞれに自由に係数を指定できるわけではないから、
サポートベクターが都合の悪い配置だと次数の多さが制約になることはあるかも 話変わるんだけど
例えば5次元のデータでsvm学習しました。accuracy、A%でした。
そのデータのうちの3変数使って3次元のデータを作ってsvm学習しました。accuracy、B%でした。
AよりBの方が高くなっちゃうってケースが起きてるのですが、たぶんAとBは同じくらいになるのがsvmの性質上普通になると思うのですがなぜなのですかね。 ソフトマージンSVMは境界面近くのうまく分類できないサンプルを無視する
その数がそのまま学習データでaccuracy測ったときの残差となる
たぶん3次元で見たときの方が境界面近くのノイズが多かったんだろう >>381
すあません、もう少しわかりやすくお願いします
不勉強で申し訳ないのですが >>381 は想像なんであってるかわからんがw
SVMはなるべく二つのクラスの距離(マージン)を広く取れるような境界を選ぶ性質がある
ソフトSVMは多少誤差があってもマージンを広く取る方を優先する
5次元の場合、SVMは誤差が大きい代わりにマージンが広い境界を見つけることができたのではないかということ
5次元モデルの方が汎化性能は高いかもよ
誤差とマージンのバランスはパラメータCで調整できる >>383
訓練精度も汎化性能もどっちも3次元の方が良かったんですよね… まあマージンが広くても上手く行くとは限らないしね
Cを大きくしてみ、100倍とか
5次元の方が3次元より学習時の誤差は小さくなるはず
なんにせよ結果を信じるなら残りの2次元が余計だったって話になると思う >>375-379
曖昧ですまん。そう、SVMで学習に使ったデータをそのまま分類したときの精度の話だ。
多項式カーネルでdimension=2 → 5までは順調に精度が上がったんだ
でもそれ以上次元を上げても精度は98%のまま上がらなくなった
ぐっと上げたら100%になるかなと思ってdimension=100にしてみたら50%に下がったんで意外だったって話
オーバーフィッティングさせようと思ったのに逆の結果になってしまった >>388
データの量がパラメータの個数と比べて少ないからじゃね
連立方程式で方程式の個数が未知数の個数より少ない感じ >>375 で「サポートベクトルや素性の数に比べて次元を高くしすぎると逆に制約になる」と
書いてるからそれはわかってるんだろう
なんつーか、機械学習って仕組みをよくわかってないと陥る罠が多いよな >>391
すごいじゃん！
脱衣はDeep Dream状態だなww ほんまDeep Dreamやで・・・
特に顔がぐちゃぐちゃになるからオカズとして使うのは難易度高すぎる
4日も回したのにorz 過疎スレだからって無茶な遊びしてると官憲に捕まっても知らんぞ >>394
画像検索したらすぐに出てきた
【画像あり】アマゾンで10万円するラブドールを御覧ください・・・・
で検索して上から二番目。欲しい。 >>391
教師なしの分データを大量に用意するか姿勢やアングルを統一するかしないと難しいかも知れんな >>398
教師データとモデルとチューニングだね
どれがかけてもイマイチな結果になる >>399
裸と着衣を6000枚ずつ、正面のみ抜き出したんだ
解像度や色合いなども合わせないとダメなのかもしれないね
正直、あの作業を二階やる気力がない ふーん、進化するとモザイクを消すことも可能になりそうだな。
それ以前の標準的な画像に興味があるけど。 >>403
ビデオだったら、ほぼ１００％に近く除去可能じゃないかな。
学習に十分でしょう。
消したところで、学習したかったのは何かという問題はある。 昔々
VHSやBetaのビデオデッキが広まったのが
エロビデオのおかげだった 神保町がAIのメッカになる日も近いな
芳賀書店中心にして >>411
洗濯屋ケンちゃんも見た事無いやつが偉そうに…。 タミヤのモーターはミニ四駆の為に発達したと信じてるぜ～ 洗濯屋ケンちゃんは今見ると酷いレベルだゾ
現代人があれで抜くのはもう無理だろう 思いつきでいいから誰かネタくれー
機械学習のためにグラボ買ったけど、回してないともったいなく感じる >>419
おー！確かに学習素材を集めやすそうだ、ありがとう
ちょっとやってみるか 実際めんどい。
これだけやればこれだけ精度出るってのは基本わからんし、かなりやってみての世界だから。 >>421
本気でめんどくさいぞ
技術も知識も必要な上に、素人がやってもGAFAの後追いにしかならない
ゲームみたいに素人でも時間かければそれなりに評価されるとかって分野でもない
他に特技ややりたいことがあれば、絶対にそっちやったほうが良い 片手間に使ってるだけだけど、正直、技術追うのも面倒くさいわ
重要論文だけ日本語解説したのを半年に一回くらい誰か送ってくれ >>424 やはり身につまされて使う場面を作らないとやる気にならないな。
株の予想には使うなよ。 機械学習やりたいです！っていうのと、プログラミングやりたいです！ていうのちょっと似てる
どの分野のプログラミングやるかでだいぶ違うのと同じように、機械学習で何やるかでだいぶ違う >>417
ほんそれ
田所裕美子がギリギリセーフ
今はほんと恵まれてる
初撮るるちゃん最高 トレーディングの場合はむしろテキストマイニング重視してる。
まだ実験段階だけどｗ
もちろん変動自体も大切だけどこっちは未来予測より現状分析的なものがメインで
機械学習は不要な気がする。
両者連動させたいなと思っていろいろやってるよｗ 昨日のサイエンスZEROの
鬱病の薬探すのにML使うのって面白いな GAFAの後追いでいいから、エロ系作ればユニークにはなれそう。 ディープラーニングの今後について教えて下さい。
これには、2つの意見があって
あくまでも機械学習の一種に過ぎず
一時的なブームにすぎない。という立場。
もう一方は
特徴表現学習が出来るのだから
言語理解まで出来て、人間のように言語理解が出来るAIが誕生する可能性。
どちらの方が可能性高いのでしょうか？ >>439
今の技術じゃ前者だね
あくまでも一度に大量のデータを使って分類してるだけなので
人間のように応用までするには
全く違う設計の学習システムが必要になる
この辺はgoogleも課題にしてたはず >>439
東大受験で国語とかが比較的成績悪かったって結果が出ていたはす >>442
『AI vs 教科書が読めない子どもたち』ですね。
国語は言語理解が必要なので、現状のAIでは無理だと。
でも、今のAIは言語理解ができないことは最初から分かりきっていたことだと批判がある。
なんで、東ロボくんやったのかな。 分かりきっていたことでもベンチマークは必要でしょう 人間の知能は2階建てで、いまのディープラーニングブームは1階部分に相当する。
昔、第1次AIブームの時は1階部分をすっ飛ばして2階部分(記号論理学的なところ)ばかりやっていた。
だからブームが一段落したら、二つを結合させようという研究へ進むと思う。 >>422
>>423
>>430
誰かが作った学習モデルとか汎用的な学習モデルじゃ結局実運用には使えないんだよね？
これから機械学習やりたい！って奴多いけど挫折しそう ・金出して専門家に外注する
・専門家を直接雇う
・自分が専門家になる
このどれかでなければ実務では成功しない
一番ダメなのは専門知識無い人がお手軽AIツールとやらをポチポチやってモデル作れたぜ！というパターン >>439
あくまで一時的なブームだからその時できなかった奴は、そのまま忘れて
出来る奴はひたすら深度を深めて、ある日突然実用度に達して特定業種の
仕事を奪い取る。
翻訳者とか会議の文字起しとか、あるいは医師の診断とか。
＞言語理解まで出来て、人間のように言語理解が出来るAIが誕生する可能性。
こんな物のの可能性はない。 >>450
＞翻訳者とか
google 翻訳の結果をみるかぎり現状は悲惨だと思います、google 翻訳による wikipedia の記事の日本語は、母語話者として全く「共感」できませんね… 日本語は特殊なので・・・
アメリカ・ロシア間の翻訳は凄いらしいけどね >>450 あのさ、日本語を聞いて漢字の文章までかなり現実的に使える状態になってるのを知らないの？
そこまでできてるから、Siri でもAlexa でも日本人の言葉を理解してくれるんだよ。
もっとも複雑な文章を理解するにはもう少し時間がかかるだろうけど。 >>453
翻訳と言語理解は、かなり別の世界だと思うけど 言語理解AIとかまじSFの世界ですやん
AIを嫁にするやつ爆増しそう 別にプロの翻訳家に並ぶ必要はない
プロの仕事からの乖離が許容範囲内かどうか、コストとの兼ね合いでプロの仕事を奪うかどうかが決まる
プロの7割ぐらいのクオリティーしか提供できなくてもネットで広告収入で稼ぐ基本無料サービスなら一般には受け入れられるだろう ディープラーニングの大御所が書いた
『人工知能は人間を超えるか』という本では後者の立場を取っています。
今まで人工知能が出来なかったのは、記号と概念の結びつけが出来なかったから。と説明されています。
コンピュータがデータから特徴量を取り出し、それを使った概念を獲得した後に、そこに名前を与えれば、シンボルグラウンディング問題はそもそも発生しない。とある。 >>449
好意的に捉えるなら、世間がディープラーニングで出来る事出来ない事を理解してきたとも取れる
エンジニアにとっては仕事しやすくなるかも 自然言語処理の研究者は, Deep Learning をそれほど万能にとらえていない気がする >>458
世間がお前に仕事を発注し、金を払ってくれるのかアホ >>456
＞プロの仕事からの乖離が許容範囲内かどうか
>>451
機械翻訳の出力は、現時点では私には「悲惨」な日本語としか写りません、英文和訳の授業で「日本語として共感できない訳はするな」と言われたものですが… 共感できなくても理解さえ出来れば十分というケースなど山ほどあるが 共感ごときのために数十倍・数百倍の金と時間をかけることが許されるケースと許されないケースのどちらが多いか >>463
＞共感ごときのために数十倍・数百倍の金と時間をかけること
1000 倍でも 100万倍でも、いくら金と時間をかけても不可能でしょうね > コンピュータがデータから特徴量を取り出し、それを使った概念を獲得した後に、そこに名前を与えれば、シンボルグラウンディング問題はそもそも発生しない
これ松尾先生はよく言ってるけどコンピュータが獲得した「概念」が人間のコモンセンスな概念と同じものである保証がないと思うんだよな
人間とはまったく異なる理(ことわり)で動くAIが、人間が期待するような賢さを発揮するだろうか？ >>465
人間とは特徴量が違っててもかまわないと書いてたよ。 ディープラーニングの解説動画調べてたらこんな気になる動画を発見
https://youtu.be/dNZ-JqEq7x4
この人、何者だよw
顔はDQNっぽいけど、丁寧に説明している。
なんかDQNっぽい人がディープラーニングについて説明しているギャップに違和感w >>466
特徴量は違ってていいだろうけど、概念が違ったらダメだろ >>468
特徴と概念は違うのでは？
人間も、コンピューターも概念は同じになるのでは？
猫は猫だよ。
例えばロボットだと、人間には見えない可視光以外を検知して
別の特徴を掴む可能性はあるということで
それは、それでかまわないと。 >>465
人間だってひとりひとりある言葉なりに抱くイメージや概念が違うことはあるだろ >>439-443
理解の定義にもよるが、Word2vecはヒトの言語理解の概念に近いような気がする
というか、「AI vs 教科書が読めない子どもたち」の作者は、
AIもプログラムもよく解ってないから、専スレで話題にするような人ではない >>451
完璧ではない日本語翻訳でも、正しく意味をとるのに差し支えない程度の精度があれば多くのケースでは十分実用に足るだろう。意味の伝達だけでなく美しい自然な日本語が必要なら、そのときはそれが出来る翻訳者の仕事だろう。
カタコトの外国人が一生懸命に日本語で意図を伝えようとしている様は共感を感じると思う。相手によって、場面によって、どこまでのレベルを求めるかはケースバイケースのはず。
お前さんの｢共感｣という感覚には共感できないと個人的には思うよ。 映画の字幕や翻訳でも意見割れたりするから、人間だからできるってわけでも無いよね。 技術書とか実用書は意味さえつかめれば、まずはokだからね
80%の精度でも翻訳してくれるとだいぶ助かる
文学的な表現が求められる小説や映画の翻訳とはまた違うし、そこは人の出番だろうね >>469
>>470
同じ人間でも文化によって概念が異なるために相互理解が進まない例があるのに、特徴量や学習方法まで違ったら、習得される概念はもっと大きく異なる可能性があるのでは？ と言いたい。 >>474
大体の翻訳はもうできるんだけど、肝心なところで完全に逆の翻訳をしてくれる時がある
あれは本当に困る 概念の定義を与えないといけないが、ひとまず「もの・ことをどうカテゴライズするか」が概念だとしてみよう。
例えば英語で「私」はIしかないが日本語には「俺、私、わたくし、我輩…」と多数存在する。
どこぞのエスキモーの種族の言語には雪の状態を表す名詞が30以上あるとか。
そういう「何をどう区切るか」が概念なわけだ。
で、ロボットが(おおまかな)人間の間で共有されている概念とはまったく違った概念体系を習得してしまうと、それは人間からは理解できないし、もしかすると人間の役には立たないかもしれない。
それを避けるためには、赤子を育てるがごとく人間社会の中でちまちまと人間の手で育てていく必要があるのではないか…とね。 >>477
それを解決するために「教師ありデータ」という概念があるんだろ。 対象を見たり聞いたりセンシングして
それを目的に合わせて分類した結果が概念じゃね？
分類するときの判断材料が特徴
センシング、特徴、目的、概念が関係する
概念と目的が妥当なら
センシングと特徴は人間と違うものでも
問題ないんじゃ無いの？ 赤子からちまちま勢って総じて昨今のAI技術知らない無能だよな。 AVの動画のカットから女優の名前とか作品名を教えてくれるツールが欲しい
出来ればまんこから女優が判るとか
究極は女優からまんこが判るとか
あったらいいな >>482
スケベ博士
で検索
＞まんこから女優が判る
＞女優からまんこが判る
これはちょっと厳しそうだ 467
既に知ってる人が観て自分の知識で補完しながら判る(というより変なこと言ってるなーと確認)だけの糞動画
知らない人はこんなの観ても判らないだろうから役に立たない
しかも読んだことない本を他人に薦めるとか基地外レベル
不動産とか詐欺師要素満載 >>479
自分はそもそも >>457 からの流れで書いてるから、いまのディープラーニングブームがこのまま進んで、AGI(汎用人工知能)へ発展していく可能性はあるか? という話をしている。
その観点から言うと、人間が教師データをすぐに与えられるような問題はすでに解決されつつあるし、今回のブーム内で遠からず解決するでしょう。
でも、AGIに求められるのはアブダクション(仮説形成)で仮説を立ててそれを演繹的に適用していくようなことだから、特徴量が違ったら(センサーが違ったら)その過程で人間とはまったく違うものになっていったりしないのかな? と。 教師データを与えられないような問題とは何かというと、例えば、対話破綻検出チャレンジで、
人間とBotが雑談対話したログについて、Botの発言が「破綻していない、破綻している、どちらともいえない」で○×△のアノテートを付けた教師データを用意したわけだけど、
複数のアノテータ間で○×△がぜんぜん一致しない、みたいな。 このスレにTPU使える人ってどれぐらいいるの？
TPU使える人はレスして欲しい
俺？使えない。勉強中。 このスレでDQNて見るとDeep Q Networkかなって思っちゃう Deep Que Network、つまり超遅延ネットワークか >>486
ランダムとか分布に従って○×△を出力すればいいのでは？
分布を学習するくらいかな particular convolution をやろうとしてるけど、GPUよりTPUの方が遅くなってしまう。
バッチサイズの上手い上げ方が分からん。。。 >>443 >>442 >>439
東ロボは失敗したわけではない。
Google最新技術「BERT」と「東ロボ」との比較から見えてくるAIの課題
https://hbol.jp/179474 >>493
サイドバーに安倍総理と統一教会の関係とかあるのがなぁ
信憑性低すぎる >>494
ハーバービジネスっって、扶桑社系列でちょっとオカルト的な色彩と政治色があり
あの菅野完とか持ち上げたりというメディアですよ。
信用して読む雑誌じゃ～ない。ま、宝島みたいなものかな。
名前からハーバードビジネスに勘違いしそうだけど、まるきり関係ない。 >>495
それは左巻き洗脳にだまされてるよ。
統一教会は中東で人質になった人などに関係がある、西早稲田の
教会などとの関係が深い。
日本ではいわゆるリベラルグループに見せかけてる。 >>496
やっぱりそういうサイトだよね、ありがとう >>497
安倍の親父の岳父は岸信介だから洗脳も何も
ないじゃん。 kaggleは成績ランキング見れないんだな
見れるのは上位三人だけか。
外人じゃ仕事ふるの面倒くさいし、これじゃ仕事がくるわけないな kaggleのタイタニックが80%行かない
webで80超えたって行ってる人たちとそんなに変わったことしてないはずなんだけどな
100%がチートなのはすぐわかるけど、90%行くのも信じられない 未経験からAI人材になれる
Neural Network Console スターターパック19万8000円は買いですか？
http://www.itmedia.co.jp/news/spv/1902/04/news003.html それを使いこなせてもAI人材ではなくNeuralNetworkConsoleという内部的にディープラーニングを利用したソフトウェアのオペレーターにしかなれないだろ >>503
今はまだ時期早々って感じ
「工場の傷の検品」ぐらい超簡単な判別機ぐらいなら作れると思う
ただ、判別した結果を別のシステムにつなげるのはハードル高そう
>>504
日本人が使うと、エクセルがAIに変わるだけのような気がする
AIよりも手作業の方が早い、みたいな >>505
時期尚早かも知れないが今のDeep Learningは所詮はこんなもんだからいいんじゃない？
コンポーネント組み合わせているだけだしね
途中の出力結果をモニタリングできればTensorboardの代わりになる >>506
そうだねぇ
今は結果がでなくて良い、将来の投資と考えれば20万は全然アリだろうね
恐らくそういうのは主流になっていくから、良いスタートダッシュが出来ると思う
結果を求めて20万を投資するのは止めたほうが良い >>503
その金額だとGoogle colabを使った方が良い。 >>508
いやいや本１冊とGPU１つの方が全然いいだろ。
５万円で終わって１から１０まで全て自分でできる。
そのサービスが何をやっているかは動画見ればもう分ったろ？
しかも１９万円「から」って何だよｗ youtubeで
アメリカ VS 中国 "未来の覇権"
を検索。 >>509
要はこのサービスはpython使えない人用ってことでしょ
python使えればGPUで済むけど、
大企業になるほど企業の担当者がpythonから覚えるってのは時間的にも人件費的にもコストが高く付く >>511
大企業なら社内で研修とか外部に元々委託している研修とかあると思うけどな >>512
上場クラス・事務がメインの銀行なんかは絶対にやると思う
効果半端ないからな
小売とかは導入が遅そうだ >>514
Stack GANのStage-1だから低解像度なのでは？ >>511
論文読んでSEnet組むような場合にMATLAB/SIMLINKのようにGUIで線を伸ばせば実装されるくらいの出来であればpython使いでも有用かな
もしGUIで組んでpythonコードやC++コードが出力されるなら価値はグンと上がるけどどうかな
価格設定は高いように見えるけど、このレベルのソフトウェアはいくらでもあるし、お試しで導入するところはあるだろう dcganとかのGANSって誤差がどんな推移すればいいの？
調べてもみんな言うこと違っててわからん
やっぱり生成画像みて判断するしかない？ >>517
誤差推移っとかもう職人ワザ
極論
＞生成画像みて判断
これで何も問題なければ良い GANやってるのかな？
多分、generateする方よりも検出する方が強すぎる状態になってるってこと。
つまり失敗しとるってことだね。 >>521
ありがとう！
「奇跡の設定に成功してしまったのか！？」なんて考えていよ！失敗だよね、うん >>517
wasserstein ganは誤差が綺麗に収束して学習が上手く行ったか分かりやすいのでおすすめ >>518,519,523
やっぱり実際に画像みて判断するしかないか
あと気になってるのはたまに誤差が負の値になるんだけどありえないよね？
なんで負が出てくるんだろ 前に書き込んだモザイク消しを試そうとしてた者だけど、ぼかしよりはマシな感じなのができた。もっと学習させれば実用化までいけそう。 みんなKaggleとかSignateやってんの？
Signateは賞金安いのに権利全部よこせとか、優秀だけど安く雇える学生だけ探してるわとか、
訓練画像20枚な、とかで絶望しか感じないんだが >>527
「わいせつ物頒布罪」はあるが、このプログラム自体はわいせつでもなんでもない
しかし、モザイク付きの画像・動画とセットで配布した場合、
それは単に特殊な圧縮形式と看做されるかもしれない
どうなるかは其の時にならないと分からない 納得はできないが、重み付きのモデルデータ配布はグレーな気はする。
学習装置のみ配布だったらクリアだろうよね。 よく考えたらモザイクなんてpix2pixで簡単に実装できそうな気がしてきた >>528
たまにやるけど最適化競争より面白いモデルや新しいモデルを試してる感じ
良いスコアが出そうなら頑張るけど工数はそれなりにかかるんでね
それでもSIGNATEを日本の企業はもっと活用すべきだと思うけどね
同じ仕事を外部に発注したら賞金の10倍以上の予算使ってもコンテスト以上の物は絶対に出て来ない
コンテスト終わったらデータ全部消せとかプログラムの版権寄越せというなら上位以外にも賞金出さないとダメだと思うし、いろいろと改善の余地はあるんじゃないかな >>531
昔モザイクかけるFLMaskの作者が捕まってたよね
あんまりきわどいとこで目立つと何されるかわからん モザイク除去はcyclegan出て真っ先に試されてたな
やはりエロは技術を進める エロ系ってコーディングしてるうちにムラムラしてくるのが厄介だよね 好みの画像だけで学習させれば、微妙な画像を良い感じの画像に変換できるんだよな。
マジでAVやIVがモーションデータみたいに使われるのが普通になっていくかもしれん。 やっぱり今のディープラーニングはGANSが流行ってるのかな
やってる人多いね GANは正直収束させるのが激ムズだけど、出てくる画像とか見てると面白いんだよね。 深層学習ってなんでちゃんといい解求まるのか不思議
自分でコード書いて実行してちゃんと学習してるのみるともっと不思議
たまに盛大に失敗するけど、どういうときにちゃんと学習するのか経験と勘が必要だなって感じる >>536
そりゃーただの復元可能なマスクだからな
あんまり意味ない・・・
＞わいせつ図画公然陳列幇助 >>542
楽しいっちゃ楽しいんだけど、デカイ事やろうとすると2,3日かかるのが辛い
もっとテンポよくやりたいけど、精度が下がるんだよね tensorflowの公式サイトがIEやedgeだとレイアウトがうまく表示できないようになってて笑った
chrome以外のブラウザでは観るなってことか Microsoftは老害と成り果てたか
この前のアプデでレジストリいじってもCortana消せなくなったしよぉ 参考コード探してるんだけどKerasがなかなかなくて辛い
ライブラリシェアはtensorflow以下はどの程度なんだろ >>511
分析だけならデータ放り込めば良いだけのツールが有るし、
機械学習でモデルだけ作っても実装にはPGが必要なので、
Neural Network Consoleは中途半端
パラメータを自動で最適化してるらしいが、
同一の学習データに対して、他のライブラリの方が明らかに良い結果が出てた >549
知らずに言ってるのが良く分かるぞぉ～
大抵は両立している。kerasで学習中にpytorch、その逆、等 >>548
構造の自動最適化はちょっと羨ましい
自分で書くと面倒なんだよね
交換可能なモジュールのグループ化とかね
みんな自分用の最適化ツール作ってるのかな >>545
GoogleはChromiumに仕掛けしているようで、たとえばYoutube
なども稼働するOSの上で弄っているらしい。それはChromiumで吸収してい
ようで、たとえば各種のOSじょうに独自のブラウザ提供しYoutubeも支障なく
見られるようにするには、一つ一つ別途に弄るか、Chromiumをレンダリング
エンジンに使うかの選択が必要になるようだ、マイクロソフトは今後の方向と
して主要OSにさまざまなものを提供する方向にあるが、その際に開発負荷を
減らすためにレンダリングエンジンをChromiumに変更した。
とのことらしい。
これと同じようなことだとしたら、Vivaldiで動かしてみたら使えるかも
しれんよ。暇だったら試してみて。 ＞＞５４２
＞深層学習ってなんでちゃんといい解求まるのか不思議
解が求まっているっというわけでもないんだが
ま、求めているものに近いものが他より効率よく出力される
と言った方がいいのかな？
だから、深層学習も、自分で出した結果を見て
「真相はいかに？」と思ってんだと思うよ >>542
誤差曲面には局所解や鞍点が無数にある筈なのにSGDのような単純な方法で良い解に辿り着けるのは長い間謎だったけど最近になってこの辺が理論的に解明され始めてる バッチサイズを大きくすると学習効果が低いというのもよくわからん話だな。
これって人間でいえばドリルを一気にやってから答え合わせするよりもちょこちょこ
答え見て解答してった方が勉強効率が良いってことだよね？ >>558
バッチサイズの大きさと学習効果については相反する議論が展開されていて、バッチサイズが大きくても学習率を下げれば性能は変わらないとする論文がある
更新分は
(epsilon / batch_size) * (sum of grad)
なのでbatch_sizeを倍にしたら学習率を半分にするといい
勾配分だけがbatch_sizeの影響を受けるので、モデルおよびデータ次第ではどっちにも転ぶことになる 最近勉強し始めた超初心者だけど、なんとか学習モデル生成出来るとこまできた
(ほとんど参考サイトのコピペだけど…)
が、マシンスペックが全然足りなくて学習が進まない…
↓この参考サイトの著者は100epochsで12時間かかったらしいが、俺は7時間かけて2epochsだけ
http://app.m-cocolog.jp/t/typecast/603293/510034/88662045
「ちょっと自分でモデル作って味見してみようかな」っ人には着手しづらいなぁ >>560
cpuで動かしてない？
tensorflowがgpuで動いてるか試してみて
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
https://qiita.com/yt6t6t/items/5df4a83f3223c6a8c600 >>560
そこそこ良いGPUないと面白さは半減だねぇ
Google Colaboratryでもいいけど長い時間の学習は処理を分割させる必要があるし、画像系はデータが巨大になりがちだし、趣味でやるには少しハードル高いよね ColaboratryのGPU性能はGTX970ぐらいだったかな
結構微妙な性能な上に、制約が多いから買ったほうが良い
TPU使えるなら凄いんだけど、俺は無理だった ColaboravoryでTPU使うのにただ切り替えるだけじゃだめなんだよね
あれ使えればかなり楽になると思うし体験してみたいけどそれ用にコード変更しなくちゃいけないんでしょ >>564
一から書ける技量が無いと対応できない
githubに転がってるやつをちょっと変えれる程度じゃ無理
データも容量的に厳しいので、googleドライブにおいてそこからapiでひっぱってきて・・・とかなり面倒
その内ラッパーとか出来ると思うけどね >>565
そうか残念
拾ったCycleGANのコード動かそうとしたら重くなって落ちたからTPUでやってみたかったんだけどね
ところでcolaboratoryでコードの出力欄に四角いダメ顔マーク出てくるのはなんの意味なんだろうか
メモリ不足？ >>553
それ使ってる環境しだいだよ。胆くするブラウザ使ってるから。 >>563
嘘乙 Tesla K80 12GBだろ。GTX970の速度じゃない事くらい試せばすぐ分かる。 >>561
cpuでやってました！
gpu版になんとか設定したものの新たなエラーが出て四苦八苦中ですw >>562
5年くらい前に組んだPCでゲームはやらずマルチディスプレイが出来ればいいので、安物グラボ積んでます…
玄人志向GTX650で当時5000円ぐらいだったような
https://i.imgur.com/CaDWMha.jpg >>569
こないだ暇だったからmnistで計測してみたから間違いない
スペックも実測値も、ほぼGTX960～GTX970当たりの性能
K80のGPUが1/2になる事を考慮すると、スペック的にも大体合うはず >>572
それはすまない。GTX1060Tiよりも速かったので、俺の組み方が悪かったのだろうな。メモリが少なかったせいかもしれない。 mnistとかなんのベンチマークにもならんわ。imagenetくらい回してくれ。 GPUに辿り着く以前にラーニングの前処理で異様に時間がかかる
ひょっとしてcolaboratoryのCPU1コア？
データ読み込んで特徴量増やしてるだけなんだが・・・ >>575
zip解凍も結構時間かかってるよ。CPUやファイルアクセスは貧弱っぽい。 >>573
モデルによるかな
小さなモデルでバッチサイズ大きめな学習はK20速いけどモデルが大きくなると遅い >>568
ネタなのは分かるけど、共感できなくてどこがおもしろいのかわからない >>568
Correction
If it is written by Kyoto Common Lisp, it maybe AI. >>552
いや会社でIEとedgeでしかブラウザ使えないからchromeもvivaldiも使えなくて困ってるのよ
もちろん、家では普通にchromeで読めるんだけどな まず何から始めればいいの？
なんちゃって理系で高校で数ⅢCまではやったけど数学がとても苦手
とりあえず機械学習のための数学って本は買った 大して知らない人だが。
大して数学しらなくてもできるとはおもうが。
数学部分はライブラリに内蔵されてて、ブラックボックスでも操作はできるかと。
環境設定と動かし方では。 大事なのは「読む」力だ！～4万人の読解力テストで判明した問題を新井紀子・国立情報学研究所教授に聞く
https://news.yahoo.co.jp/byline/egawashoko/20180211-00081509/
論理的に考えろと言ってるだけｗ >>581
まず
・目的
を決める
mnist（チュートリアル）なら後述のグラボは無しでも良い
・予算の設定
mnist以降はグラボ必須
既にあるならそれを使えば良いが、無ければ買う必要がある
無いままやろうとすると人生が終わるゾ
・環境設定
ある意味恐らく一番の難関
windows、mac、linux、それぞれで設定の仕方が違う
とにかく最初は聞きまくり検索しまくりながら気合でやりきる >>586
2・3日前にテレビの報道特集みたいなやつでそれやってたわ
言葉の定義があいまいなまま中学校で教育してるのが問題らしい
教師のレベルが全国的に可笑しいんだろうな ディープラーニングには
CNNだのRNNだのLSTMだのオートエンコーダだのGANだの色んなアルゴリズムがありますけど
「よくこんなに色々と考えるよなあ」と感心しますよ！
考えた人、天才かよ！ あと、深層学習には画像や文章生成といった
一種の創作も出来るみたいですけど、質問。
ディープラーニングは4コマ漫画が描けますか？
例えば『コボちゃん』のデータを大量に学習させて
絵と台詞を自動生成させて、面白い4コマ漫画を自動で生み出せますか？ >>588
色々な観点があるけど、高校までの国語教育がひどい、読書感想文意味不明ｗ >>586
次の文を読みなさい。
アミラーゼという酵素はグルコースがつながってできたデンプンを分解するが、
同じグルコースからできていても、形が違うセルロースは分解できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから１つ選びなさい。
セルロースは（ ）と形が違う。
（1）デンプン (2)アミラーゼ （3）グルコース （４）酵素
1-4 どれ選んでも正解やな 前提知識がなくても正しく答えられるだろうか
次の文を読みなさい。
?アルパド・イロというバルギルはプレブルがつながってできたニヤ鎮をアラーモンするが、
同じプレブルからできていても、Ap4Aが違う?ダヤナラ・トレスはアラーモンできない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから１つ選びなさい。
?ダヤナラ・トレスは（ ）とAp4Aが違う。
（1）ニヤ鎮 (2)??ダヤナラ・トレス （3）プレブル （４）バルギル >>600
1
名詞に「?」等の記号が入ると読むのが辛い 田中というコックさんは思いやりがつながってできたシチューを調理するが、
同じ思いやりからできていても、色が違うタンポポは調理できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから１つ選びなさい。
タンポポは（ ）と色が違う。
（1）シチュー (2)田中 （3）思いやり （４）コックさん
作ってみた AIの立場だと簡単に解けるが
人間だと解けない問題もいっぱいあるな 「買い物にいって牛乳を1つ買ってきてちょうだい。卵があったら6つお願い！」 読解力とか論理的把握力を問うとか言ってるけど現実でこんな文章書いたり会話してたらちょっと頭おかしい？ってなるだろうな >>607
603の問題で言うとどれを選択しても色が違うは真になるんじゃないかな？ >>605
卵があったらの条件付きで
買う対象の分布を学習すれば解決するんじゃね？
卵なのか牛乳なのか >>608
「同じ思いやりからできていても」がそれ以降の文の対象を思いやりから出来てるものに制限する用法だから、
「（〇〇とは）色が違うタンポポ」の〇〇に田中や思いやりが来ることは無いんじゃないかな >>610
思いやりは思いやり1つから出来ているし
田中が思いやりから出来ているか出来ていないかはこの文章からだけでは特定できないんじゃね？ >>612
無意識の先入観で可能性を限定しすぎている >>613
選択肢から一つ選ぶんだからよりソフトマックスかけるなりしてより蓋然性の高いものを選べよ
この場合文中で100％思いやりから出来てるって確定してるシチューがあるのに他の選択肢選ぶのは人間としておかしいわ >>614
蓋然性が高いってどうやって数値化できるの？ シチューを黄色くしたらタンポポになるみたいに学習しそう >>618
その通りだと思うし、そもそも現在AIを使うときは
大きな枠組みがまず必要と思う。
そこではアプリオリな情報が必要となる。
制約があるからこそ最適化が成り立つところに似ている。
いかに周辺（仕事なら業務知識）が重要かってなところかな。 >>528
>Signateは賞金安いのに権利全部よこせとか、優秀だけど安く雇える学生だけ探してるわとか、
>訓練画像20枚な、とかで絶望しか感じないんだが
画像データ20枚ってのはファインチューニング用のコンペってこと？ NHKの方から来ましたって言われて
集金詐欺に引っかかりそう AIカーが来てる！ 自動運転でラジコンカーを走らせよう！
https://weekly.ascii.jp/elem/000/000/422/422742/
おもちゃの自動車がAI で動く時代。
これもRaspberry Pi とpython で学習して自動運転してる。 関係ない質問なんだけどみんなはDBとかネットワークとかフロントエンドとかの技術も持ってるの？
色々出来る人はすげーよ… >>624
DBなんてどうとでもなるぞ
joinが鬼門って程度だし、そもそも機械学習はDBほとんど使わない
セキュリティと速度求めだすと底なし沼だけどな
フロントとか更にどうでもいい
bootstrap辺りいれときゃそれっぽく見えるし、まぁ見えなくてもいい モザイク消しを試している者だけど、なかなか良い物ができた。
機械学習にあんまり詳しくない俺でもここまでの画像ができるんだから、実はみんな隠れてやってるだろ。
俺はこの重み付きのモデルを公開する事は決してないが、ググれば初学者でもすぐに作れるようになる物なので、時間の問題だと思っている。
マジで悪用厳禁だ。これは気軽に使えるようにしちゃいけない。 >>627
モザイク消すのはあんまり魅力感じないけど、強化学習みたいな感じで学習して気持ちよくマッサージしてくれるオナホを作りたいとかは考えてる 顔分類面白そうと思ってスポーツ選手の画像集めてみたところまでは良いけどopenCVの正面顔のカスケード分類器？使ってみたら400枚で4枚しか顔の識別してくれなくて驚いた
一枚一枚トリミングするわけにも行かないしどういうやり方が良いんだろう >>629
HMDと合わせて神名器作ったら天下取れそう >>631
一枚一枚トリミングする
「python 顔 抜き出し」
辺りで検索すれば、それなりなものが出てくると思うけど、アカンか >>631
そんなもんかもね
訓練データを自動収集したいなら動画がいいね
秒間30枚あるので1分でも頑張れる 動画いいよね
スクレイピングでネット画像収集するより手っ取り早い
ただ小数の動画だと偏りが生じるから、いい感じの塩梅が必要 >>624
組み込み、DB、ネットワーク、サーバ周りは出来るけどフロントエンドは無理だなぁ
最近のJavaScript事情に全然ついて行けてない
機械学習はそれなりにやれる方だと思うけど、確かにDBやサーバの知識はほとんど使ってない
スキルセットが違いすぎるから別物と考えた方が良いね >>631 です
>>633
>>634
その辺ひと通り検索して真似してみるんだけど処理の部分はopenCVで用意してる分類器使うからスクレイピングしてくる部分以外は大差ないように感じる…
記事で見かけるのはアイドルの写真が多いみたいだけど、グラビアとかも顔見せるのが仕事だから正面向いてるのが比較的多いのも良い点なのかもしれない(自分はスポーツ選手の画像でやって動きの中のものが多い)
あとはdetectMultiScaleのパラメータもminNeighborsとかminSizeとか指定出来るんだけど何も指定しない方が画像は多く検出してくれるからこの辺の設定も難しい上によく分からない…(検出出来るだけで顔以外のところがほとんど) >>633
>一枚一枚トリミングする
AI使ったらどうだ？
(--; 皆さんどんなグラボ積んでますか？
購入検討の参考にさせて頂きたく
私は今はGTX650という化石のようなグラボです…
趣味でMLを楽しむくらいなので下記が今のところ購入対象です。
GTX 1050ti
GTX 1060
GTX 1660(今月発売予定の1060後継機) >>639
参考にならないかもしれないけど一応
GTX 1080
RTX 2080Ti
業務ではP100x2 >>640
豪華で羨ましいですw
本格的にMLにハマったら上級機を買いたいです >>640
1080 と 2080Ti の差はどんなものですか？
今1080を使ってるけど、
2080Ti の 11GBメモリと TensorCore に惹かれる・・・ >>639
GTX1070
以前は750辺り使ってたけど、仕事前や就寝前に回し始める→帰ってきたら完成、
のサイクルが楽しかった
回してる間は勉強できるしな
今はすぐに終わってしまうから超大変 >>624
あたりめーだろ、AI以前、ITの基礎、飯の種だぞ >>628
確かに、たまに暇つぶしで
一攫千金山師の戯言を眺めに来ているだけだわｗ >>642
同じくTensorCoreにものすごい期待していたので、期待よりは低かったというのが正直なところ
ディープラーニングばかりでもないしね >>646
GANはあくまで学習方法の一つ
簡単に超精度があがるから利用者が多い みんなバックプロパゲーションの数式とか分かるの？
微分祭りで訳が分からない… CNNの上位互換なGANは無いの？
学習データが少なくても学習成功するようなの >>646
自動運転の研究で用いられている例
道路画像から特徴を抽出してセグメンテーションするネットワークを学習するときに
道路画像から抽出した特徴から道路画像が実画像かシミュレータ画像か判定するDiscriminator入れて、抽出器(Generator)をそのadversarial lossで学習すれば
実画像とシミュレータ画像の違いによらない本質的な特徴を抽出することができる
結果的にシミュレータでの学習をそのまま実世界で利用することができる >>651
なるほど。
気になるのは本物と見分けがつかない実在しない人の顔や動物のリアルな画像生成ですけど
凄い技術だけど、人や動物の場合は何の役に立つの？
同時に恐ろしさも感じます。
写真に証拠能力はなくなるのかな？ >>650
モデルの上位互換なアルゴリズムってどういう事？ アクセスするたびに架空の顔が出てくるサイト
https://thispersondoesnotexist.com/
>>652
AVの場合は女性の苦痛がなくなる >>647
そうなんですね・・・
ここは冷静になって、GCPあたりで TensorCore を試してから
考えることにします。 TPUはコードい自体をTPUに最適化すれば猛烈な速さを誇るんだが
いかんせんそこまではなかなか >>650
CNNとGANは比較できるレイヤーにない >>649
よくわかってないけど、勾配さえわかれば確率的勾配降下法で局所最適に引っかかるだろうけど
一応何かしら解はでるだろうなぁ程度の理解 >>649
微分の記号が連なっているのが分かりにくいって人はいるよね
はっきり言って難しいことは一つも言っていない
三次元で絵にするとアホみたいに簡単
数式でより汎用性高く記述すると本質と違うところで分からない人が発生する
アルファベットをロシア語アルファベットにしたら理解に時間がかかるようなもん >>652
ドラマとか映画の制作で使われるようになるよ、
俳優使わずにだれでも簡単に生成できるようになる GANの応用で幾つかのドラえもんの道具が現実化するな
映画の登場人物をしずちゃんやジャイアンに変える秘密道具があったはず >>666 オーメンナンバーだな
>ベッキーが生成された・・・
納得。混ざり合うとそうなるかも お、両親の顔画像から子供の顔を生成するアプリあればうれんじゃね！？
→あった
「子供の顔 AI」で検索検索ぅ・・・ >>656
gcpでもawsでもまずはクラウドでいくらか使ってみるのが一番良いと思う。
変な環境依存問題で悩まされることも少ないし、本格的なグラボ買うくらいの金額使う前に
だいたい飽きたりもういいやってなるから。 保存されたモデルを読み込むのにメッチャ時間がかかっちゃう
コマンドラインでの使用だったらinput関数で次々渡していけるのですが、モデル読み込み済みの別プロセスに引数わたして、標準出力を得るにはどうすればいいでしょうか フォルダを自動監視してファイル追加をトリガーにするのはどうだろう。邪道だと思うけど。 GANで生成された画像がホントにデータセットにない画像なのかって気になるよね
たまたまミッキーマウスが生成されて著作権侵害で訴えられたりもあり得るのかなって そもそも教師データとしての画像の著作権とか結構グレイだと思う。 >>675
送信とかしなければ著作権を侵害していないと思うけどな
人間が著作物を見て学習するのは問題ないし
著作権のうちのどの権利を侵害している？ >>676
この辺の話かな。このページだと大丈夫という結論だけれど。
ttps://www.itmedia.co.jp/news/articles/1710/10/news040.html >>677の法律のおかげで今年から日本国内で作業するなら勝手に著作物を使って学習データにしてOKとなった
対象は日本の著作物に限らないのでディズニーキャラを使ってもいい >>675
ちいたん★みたいに著作者自身が著作権侵害で訴えられるケースもあるようです 歌手が自分の歌を自分で歌うと著作権違反になるとか何とかあったような
そういや音楽以外の著作権もJASRAC管理なのか？ >>677の記事を見れば分かると思うけど「電子計算機による情報解析を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案（これにより創作した二次的著作物の記録を含む。）を行うことができる。」
と用途が限定されているので、ゆるキャラの画像を学習してゆるキャラメーカーを作るのはOKだけどゆるキャラの元データそのものの着ぐるみで活動するのはNG、
楽曲データを使って○○風の楽曲メーカーを作るのはOKだけど勝手に楽曲の元データを歌ったりするのはNGということ じゃあどんな著作物も重み1で固定したネットワーク通せば著作権フリーになるのか >>684
そういう事すると著作権自体が変わったり、裁判官が「どうみても一緒やろｗ」で一蹴されるからやめておくれ～ 常識的に考えてアウトなものは著作権法違反になるよ
https://storialaw.jp/blog/4936
＞例外的に但書が適用されるケースとして、たとえば「●●風キャラクター生成モデル用学習用データセット」と銘打って
＞特定の作家の全漫画を単にデジタル化しただけのデータセットを販売するようなケースが考えられます。
＞このケースは確かに学習済みモデル生成用の学習用データセットとして使おうと思えば使える
＞（ただし自分でラベル付などは行わなければなりませんが）データセットですので、本文２号「情報解析」には該当しますが、
＞このデータは、そのまま視聴して楽しむことも十分に可能です。とすると、但書に該当することになると思われます。 画像などの著作権について「人が」ではなく「個人が」というところを
気を付けないとね。音楽も個人が自分で口ずさむのはOK. >>680
楽曲の著作権者は作詞者と作曲家だし
権利を会社が買い取っているかもしれない
歌手は自分の歌だと認識違いをしていたんだろう >>682
記録媒体への記録
ってことだとネットからダウンロードして保存しただけで
該当しそう
なんか解釈が適切でないような気がする
送信可能にした人が複製権も許諾してもらってないと
おかしいと思うな アドバイスいただきたい初心者なんですが。
何からスタートさせればよいでしょうか。おもしろい実例などご紹介いただきたいです。
統計の基本はおさえてるつもりです。 あの～、pythonを使えば、簡単に動画から自分の顔を認識できるものなの？
勿論粗くても良いし、お遊び程度で良いんどけど。
実験材料としては、簡単に作れるから質問したんだけど。
動画から静止画に切り出すのはなんか有るでしょ。 opencvにそういうのあるからすぐできると思うけど
すぐが１日なのか１週間なのか１か月なのか１年なのかは人による >>696 有り難う。 棺桶に入る前までには結果を見れそうで安心した。 >>690
本気で学ぶつもりの人向けに本を3冊紹介しよう
1. Python機械データ学習プログラミング 達人データサイエンティストによる理論と実装
2. 詳解ディープラーニング TensorFlow・Kerasによる時系列データ処理
3. パターン認識と機械学習 上下巻
1は入門書として素晴らしい
scikit-learnの使い方をしっかり学べる
2はディープラーニングでGPU使って何かしたい場合にはオススメできる
3は機械学習の教科書的存在のPRMLの和訳
機械学習関係は日本語の良書が多くて正直驚いている
これがブームってヤツか >>690
tensorflowでもchainerでも良いのでMNISTデータセットで学習してみたら？
んでもって自分で手書きした数字の画像に対して推論かけてみるとか。
こんなんでとりあえずツールの使い方の手順は覚えると思う。 MNISTって何の工夫もないRandomForestでも98%くらい行くよね
CNNだと99%もすぐ超えるけど、深層学習を使うには物足りない気がする だよね
データセットも検証も現実的じゃないし
やっぱり初学で便利なのはKaggleのカーネル読みあさるのがおすすめ >>703
Kaggleのカーネルいいよね
EDAから始まって、前処理からコンテストに投稿するまでしっかりと書いてある 良い解説サイト見つけた。
ディープラーニングの株価予測で気を付けるべき3つの落とし穴
https://aizine.ai/ai-deep-0717/?amp=1 みなさん、いろいろご回答ありがとうございます。
まずは、irisのデータでいろいろやってみようとおもいます。
それでなれたら、ほかにも手を出していこうとおもいます。ありがとうございました。 2018.07.17の記事だった
多分2,3年前からあるよね 昔々のショートショートSF に数学者が競馬の馬券を当てる話があったな。 株価予測は自然言語の解析の方が重要
ネットの情報を見てどれだけポジティブ・ネガティブな情報が集まっているかで判断するってのを見たな
株価だけ見て次を予測とか普通に考えて無理だろ 株価は予想出来ん
法則が無いんだから
法則があれば誰かがそれを利用し、法則が消え去る >>714 予想できなくてもついていくことはできる。
今の大半はコンピュータ取引だから、瞬時に大変動する。 人手だと間に合わない。 取引と連動まではまだしてないけど、形態素分析やって感情辞書で数値化というのを試験的に
やってみてる。辞書は金融用に自分でカスタマイズが必要。結構面倒だ。
だが手段が目的になりつつあるほど楽しいよｗ >>714
効率的市場仮説
市場にすぐに反映されるから
予測した時には遅いっていう仮説があるな すごいデイトレーダーはチャートだけで売買してる人いるみたいよ
別に自然言語解析不要じゃないの? >>719 勿論ニュースとか、大きな統計情報の発表は予想に使いながら、どのマーケットのどんな銘柄が動くか予測して、その中でどれに投資するかはチャートを見ながらじゃないの ？
大きな流れを無視した投資は成り立たない。 株にAIが有効だとすれば、アンサンブル学習。
唯一無二のアルゴリズムは無く、毎日チューニングの繰り返し Colaboratoryで色々遊んでみているんだけど学習後にGPUメモリが開放されません。
del model とか del history とかやったあと
gc.collect() やってみたりしているのですが、
どのようにGPUメモリを解放すればいいのでしょうか？ 計算資源があればニュースが出た瞬間の分析でもリターンは出る
チャートの動きも同じ
上に出てる感情分析は部分的には有効
でもCNN Indexの強化版みたいな役割しか無い >>719
デイトレやスキャルのように取引間隔が短くなるほど判断材料がチャート寄りになる。
だけど利益効率は低くなる。スタイル次第だね。 経済指標というのは統計データにそこまで精度があるもんじゃないからね
統計改竄とか騒いでるけど今に始まったことじゃないし。
数年平均の変化率を取る程度でも意味があるかどうかギリギリ >>729
えぇ…
放ったかしにできないじゃん・・・ 統計基準の変更に伴ってなぜか下振れがないってのは
確率的に独立でないことを示していると思いますが。。 >>733
何と何が独立でない？
統計基準の変更って全数検査か抜取り調査かの違いじゃね？ 機械学習とかデータマイニングを勉強すれば
高卒でも関連職に就けますか？ 本人の向学心と心構え次第ですが、付けますよ。
手法を作る、あるいは、それを駆使するという方面ではなく
つねに分析を念頭にいれて業務を覚えていけば、
機械学習、データマイニングの技術者が何をすればいいかの指針
あるいはヒントをだすことができます。
現在（昔からですが）の一番の問題は、日本において産と学が遊離していたために
こういった研究者が何をやったらいいかの指針やヒントが、なかなかでなかった
ところにあると思っています。
だから、もし実業でヒントを出す側になるのは大変有用ですし、それは業務を
こういった技術川知識＋業務知識の両面を知らないとできないことですから。
金融機関などの分野によっては、もう20数年前から実用化されているものが
あるわけで、それはそういった人（内部にはいなかったが）からできたことです。 技術的に必要と感じたら、また大学で勉強することがいいと思います。
私の周辺にはそういった人がたくさんいます。
場合によると足りないのは、そういった人が少ないことかもしれない。
日本が、何十年もの間大学から、新しいことやヒントがまるきり生まれてこない
という時代は、そろそろ終わりにしないといけない。行き来が重要。 業務知識を付けてから、業務に機械学習を活かす方向ならありそうね。 仕事が茄子の選別なら、それを機械にやらせてみるとか たとえば、もう15年くらい前からATMでお金降ろしたり預金したりするとき
「あなたなら○○円までローンが可能です」みたいなのが
出る銀行あるけど、あれって適当にやっているとか
統計手法を使ってやっているとか思っているひとがいるんでない？ すくなくとも機械学習とは無縁な気がする。
単に年間取引量とか年数とか貯蓄額などなどでさくっとライン決めてるんじゃないかな。
自分は同じ銀行でも出る口座と出ない口座があるね。 これは日本の話
おそらく、機械学習やられている人でも、多くのひとが知らないんだと思う
その昔は、統計手法によるスコアリングあるいはニューラルネットを使った
ものが主流だったが、こういった利用には適しておらず、機械学習が
1990年過ぎに消費者金融業界から使われだした。
その後、クレジット業界、銀行と広まって行き、当初はATMに直結しては
いなかったが、約15年ほど前から、事前に属性と取引状況から判別して
リコメンドをするような仕組みが出てきた。
どうやっているかの詳細は言えないが、完全に機械学習手法が用いられていて
データが足りない部分は統計手法などのアンサンブルが行われている。
これについては日本の方が海外より進んでいる。 大学などでは、この時代にそういった研究はほぼされていないので、完全に
民間手動、さらにこういった実データは大学などに提供されることは
一切ないので、学業の世界では、そういったことが行われていることすら
知ら無い方がほぼ100%近いままで来たというのが現状。
その後だいぶ遅れて、大学でもそういったことを専門にやる研究室や
学部もできたが、こういったデータは手に入らないため、ネットで集まる
データやposデータなどを研究対象にするしかないために、大学などの研究はそちらに偏った
モノとして進んできて今がある。それはそれで研究課題があるのでいいのだが
あたかも日本において流通やネットがマイニングや機械学習の主流として進んできたと
大きな勘違いをされている方がたくさんいる。 >>745
1,2年前から銀行が機械学習の事業やるとかちょくちょく発表してるのはなんなん？ >>747
あれは、またこの話とまるきり別な流れと考えていいともう
それこそ、この掲示板での話題と同じようなような流れのことをやるんでしょう。
やられる方も、まるきり別。
おそらく行内でもまるきり別セクションで、人のつながりもなく流行にのる
システム部門だったり営業的部門だったりの仕事としてやるんじゃないのかな？
私がいま話した内容の場合は、システム部門だとかはまるきりタッチすることのない
せかいなので。 >>745
ニューラルネットが流行ってるのはここ数年
古くから使われてるのは多重回帰とかそんなんでしょ
日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う >>749
カードなどの、不正利用関連でのニューラルネット利用は80年代後半から実用化されて
ずっと使われてますし、主流です。
リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
理由から国内ではほとんど使われていない。
また株式投資などでは、同じ時期から野村や大和が研究して予測につかったり
して、結果は悪くないのですが、理由がつけられないので商売にならないので
やめました。商品作っても、顧客はなぜそれがいいのかの理由を知りたいんですよ
顧客も金融機関だから、預かっているお金でしょ。だから、失敗したときの
エクスキューズができない。ようはこの分野は当時ブラックボックスでは
商売にならなかったという背景がある。
結構みなさん、思った以上に、このあたりご存知ないみたいですね。 ちなみに、株式投資などは上記の理由から、機械学習などはすたれて、
統計理論によるものが主流として今まで来ている。
ただし、自己資金で個人投資家がニューラルネットつかって
15年以上前から儲けているひとは実際にいますし、ネットでもずっと
取引結果公開してましたよ。300万円で初めて、いまはゆうに億を超してます。
あくまで個人で本業ではないですけど。 ＞リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
＞理由から国内ではほとんど使われていない。
誤解するといけないので補足しておきます田、この分野でニューラルネットワークが
使われていないという話で別な機械学習手法が最も使われている分野です。
ちなみに、ニューラルネットワークは、今から30年以上前に大変流行ったのよ。
もちろん、今のように洗練されてはいないですが。 >>749
＞日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う
マーケティングの世界は大変遅くて、いまでもそれが主流ですよね
株式については85年あたりを境に大きく変化し、大手中堅証券関係や少し遅れて銀行
などが運用や商品開発に関して、数理手法中心に変化した。ここでは統計手法と最適化
手法が中心（当初研究していたニューラルネットはここで消えた）。
それに遅れること10年近くになってやと大学で専門的なコースができ始めた。
リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった（それまでは、店舗で顔を見ながら、人が
判断していたんですよ）。カード会社も同時期。遅れて銀行などなど・・・ >>753
>リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった（それまでは、店舗で顔を見ながら、人が
判断していたんですよ）
無人くんってそういう意味だったのか・・・ そうなんですよね。
ある大手消費者金融のトップは、今後店舗は無くなってゆく、さらに過当競争もある、
またグレーゾーン金利どうなるか（要はあの過払いにつながる話）など見据えました
よ。これは９５～６年の頃。
銀行は、まだのほほんとしてましたけどね。
リスクに関しては機械学習手法で1０年以上会社ごとに個別にモデルを作って
いて、その蓄積から15年くらい前に、いまのATMでのリコメンドが行われるように
なったという流れです。
その少し前ころにブレインパッドとか会社ができたと思うんですが、専門会社と
しては大変後発です。 銀行は三大業務が儲からないんで国内金融業者の真似をするってこと繰り返してるだけだね ずぶの素人がRapidminerをなんとなく色々弄って
データマイニングを触り始めたんだけど、
結局h2o Flowで直接やれば有料版買わなくても良いのかと思った
KNIMEとかwekaとか触ってる人居ます？
結局RStudioでちくちく頑張るのが最善なのかと思い始めてます データはあっても論文にしないから存在感もないし給料も上がらんてことなのね。 >>758
この分や、特に大学が軽視していたのは、なかなか論文として認めてもらえなかったからというのがおそらく現実だと思う。
今は変わってきた（と思う）ので、一生懸命になってきた あんな程度のことまで機械学習使ってるんだ。
なんか無駄なような気がするけど。 単に適当に係数調整した線形の計算式が1つあれば事足りそう >>761
まあ武富士は無縁だな。
そういうのは、消費者金融とか銀行じゃなく専門のコンサル企業が
やってんだよ。限られてるけどFEGとかMRIあるいはNRIとか。 地銀とかにコンサル企業がくっついてるけど、あれはそういう仕事してるとこなのか >>766
ただし外資（ボストンやマッキンゼーというコンサルや会計系のアクセンチュア
などなど）は、経営コンサルやITコンサルなんで、このあたりのことは
やってない。知識も別なんで。 >>735
俺も高卒
しかもアホ学校
プログラミング自体始めて1年くらいで機械学習や統計を勉強して今はディープラーニングの本やってるけど微分なんかやった事ないし分からん事は沢山あって苦しい部分もあるけど頑張ろうぜ 学歴や年齢（第2新卒以上）でハンデが有る場合は、
技術を磨くより英語を勉強して外資行くのが正解ルートなIT業界 外資のIT業界は修士以上しかとらないんじゃないの？ >>770
AIがらみはね。
質がね～いろいろあるんよ問題が。 ロスジェネ世代の物理修士のワイもワンちゃん狙ってるぜ。新卒の時はメーカー系SI位しか行く先がなくてな >>775 python を2月から始めたが、なんか機械学習が簡単にできそうだから面白そう。
俺みたいな爺さんに追い越されない様に頑張れよな。 たぶん人工知能分野に高卒や学士風情が潜り込める場所はない
せいぜい誰かの作ったライブラリやフレームワークを利用する程度 >>777 良いやんか、昔からドカタと言われてきたソフト業界なんだから、少しでも陽が当たれば御の字。
日本のソフト産業が悲惨すぎたんだけどな。
俺が半世紀くらい前に、ソフトを始めた時に下宿のおばさんが何をなさってるんですかと聞かれたから、ソフトウエアですと答えたら、
「ああ、ふとん屋さんですか」と言われた。 なかなか学のあるおばちゃんだと思ったよ。 人工知能と聞くと途端にうそくさくなるのは何故なのか
脳科学的な >>778
土方は土方のままだと思う
俺も大卒IT土方やって辞めたクチだが ライブラリ使わないとやってらんない。
ニューラルネットのライブラリを全部c++で書いてたけど得るものなかったよ。
低水準なところから自分で書いてれば理解が深まるわけでないからなこれ >>780 やめたのにここを覗いてるのは何故？ また、回復のチャンスがあると思って？
やる気さえあれば出来ると思うよ。 >>779
昔から言われてるのは、知能の定義が曖昧で人工知能の定義も曖昧になってるから
これが人工知能だとソフトを作っても「機械にできることは知能じゃない」と否定されてきた歴史がある
そのうち、機械学習も同じ運命を辿りそう >>781 そんなの当たり前だ。 人類が石器時代の道具を使って現代人以上に進化出来ると思う奴がおかしな奴。
利用出来るものは、積極的に使わないのはバカ。
入門当初の1～2ヶ月は進化の過程を知るために石器を使って見るのも良いだろうけど、そこまでにした方が良い。 分野によってはライブラリ使っててもしょうもないものもあんのよ
その技術の本質的な部分が抽象化されちゃってるとね
何をやりたいかで抽象化の程度をよく見極めないと >>786 それはニーズ、仕様、マーケットがわかっていないからだろ。
何を作るか解らないで闇雲に使える物を使ってもとんでもないものが出てくるだけ。
ソフトで一番難しいのは、ユーザー／マーケットが欲してるニーズを理解すること。
マーケット、ソフト、ハード全ての世の中の融合が理解できないと難しいと思うよ。 出来るだけ広い目で見ること。 EXCEL,VBAをpythonやRで駆逐してくれるだけでも有り難い CAE系の数値積分をVBAでやる人がたまに居て涙目 だってvbaでできるから・・・
この、vnaでやろうと思えばできるけど、Rだと数秒だよ
みたいな指針ってなんとかならんかな みんなはRもpythonも両方使えるの？
統計の勉強も兼ねてRやってみようかな >>769
高校の数Ⅲ＝微分積分、の教科書は役に立ちます
ちまたの微分積分＝解析学、の教科書は、どうでもいい実数論やεδ論法にページ数を割いていますが、これは我々には不要
となると、高校の数Ⅲ＝微積分の教科書は、微分方程式まで含んでいて実にバランスがいい
そういう視点で数学の教科書を選んでみてください
私としても、無駄に基礎論に勢力を使わない微積分の教科書を探しています、今読んでいるのは https://www.amazon.co.jp/dp/B000JA1WKI RやるくらいならMATLAB買った方がいいよ
特に学生なら格安で買える >>791
今勉強中でそこまで使いこなせてはいない
ただ、vbaがアホらしくなる処理が色々あるな、というのは分かる そう言えばoctaveはこのブームに乗ってないのね >>792
εδや実数論は、機械学習の基礎理論を理解するためには必須だけどね
そして、いまの高校数学には微分方程式は入っていない >>797
＞高校数学には微分方程式は入っていない
！？！これは驚いた！
微積分の一番おいしいところが入ってないなんて、文部省はいったいどうしちゃったんでしょうか？ 機械学習の基礎でεδも実数もいらない気がするが
微分方程式を解く必要があるとしても自力で解く必要もないだろ
たとえばどこで決定的にεδがいるんだ? >>799
>>797 では「基礎理論」と言っており、これは「入門」を指していない
Pythonのライブラリを使って機械学習させるだけなら、もちろんそこまでは必要ないよ
しかし、機械学習の手法を新たに開発しようと思ったら
数理統計学や多様体の知識が必要になるのだが、
そうなるとεδや実数論がわからない人にはまず無理
数理統計学だとルベーグ積分が必要になるしね 微分積分と線形代数は大事だねぇ
大学一年生のときにはそこまで大事だと思ってませんでしたすみません >>793
Matlabはとてもいい商品ではあるが個人の趣味には高すぎるよ
自動車産業とか行くなら損はないけど、機械学習と統計やるのならPython極めた方が有益
あとRとMatlabは得意分野が異なるので、統計の勉強するならRだけれども、じゃあ産業で使うかと言ったら研究者レベルでしか使わなくて、SPSSとかSASになる >>804
検索してみたけど誰もそんなこと言ってないぞ Matlabプライベートで買う人とかおるの？
いたとしても既に専門家な人だろう
Rは参考書はよく出てるよな numpyとかpandasはみんな自信ある？
あれやりたいなって思っても覚えれないし調べないと全然使えない
改めてちゃんと勉強した方が良いのかな >>810
ありがとう
DLの根幹は最小二乗法だけど、パラメータの最適化、モデルの構築を考えればもうそれだけじゃないね
深い関数ってのは要するにモデルの事だと思うけど、
deeplearningのdeepに引っ張られすぎな命名と思う
LSTM、RNN、GANとそれぞれ計算方法や特徴が違う、とそのまま言えばいいんじゃないかな
ただ、これらを総称するわかりやすい言葉はないね。モデルが違うとしか・・・
>>811
一通りAPIを読んで億ぐらいで良いと思う
いずれ本気で使うか、読む時が来る 例のディープラーニング協会の人だし一般人が分かった気になる説明（合っているとは言っていない）をしたいのだろうよ matlabは色々やりたいことが増えるとtoolboxどんどん買わないといけなくなって大変
コスト度外視すれば使い勝手は申し分ない matlab学生ならツールボックスいろいろセットで1万円で買える
データの前処理とかはこっちでやった方が楽なこと多い
モデルに前処理も組み込むなら別だけど >>791
R、Pythonなど使ってきたけど、自分はRをメインにしてる。
有料ソフトは家で試したりできないし、環境が変われば使えなくなる可能性があるから避けてる。せっかく勉強した内容や作ったツールが無駄になるのがこわい。 >>820
単に、その方が知りたいことと（彼の目的）と異なるだけでしょう。
どういうことやってる人なの？ 今日はpandasの勉強します
業務上JSやらVue.jsやらDBとかその他諸々勉強しなきゃいけないこと山積みだけど僕はpandasを勉強します
そんなこと無駄だぞって言わないでね 安倍政権の一つの政策として、どんどん、国が持っているデータを公開して、
利用してもらおうという流れになってるんで、その一貫でしょうね。
ちなみに、今回の統計データ問題も、その一環でデータを精査していた中で
どうも結果と整合性がとれていないという指摘がでて初めて表に出てきたもの。
その面では、安倍政権じゃなかったら、ずっとそのまま闇の中だった
可能性が高いんだよね。 ここの人は統計の基本的な知識は持ってるんだね
モデルを作るのには必要ないのかもしれないけどデータ分析するならやっぱり必要なんだろうな 必須です。
モデルを作る場合でも、必要なデータがすべて量があるとは限らない
その場合は、分布を仮定したモデルを組み込まないと満足な結果が
得られない。
本格的に取り組んでいる人は必ずやっているが、ここのほとんどの人は
やってないんだろなと思ってる。 >>827
前から出しとるわ。
本当に安倍関係はさらっと普通に嘘つくからな。本人と同じで。 ＞前から出しとるわ。
具体的に行ってみて。
うそでしょうけど。 >>826
だっっっっっっっっっっっっっっっさ！！！！
https://www.tellusxdp.com/ja/
もう一回言う
だっっっっっっっっっっっっっっっっっっっっっっっっっさ！！！ 統計的な知識っていうのは特に推定するところと分散の最適なクラスを抽象化するのに必要な知識ってことで合ってるかもしれないよな >>833
具体的に安倍政権以前に出てなかったソースと
安倍政権下で出てきたソースを出してみて。
そんなものはないのでこっちとしては指摘できることがない。 自分でしらないこと、分らないことを批判するのはだめだよ >>836
落合公園中心の写真だ
別に意味ない話だが コスト関数を変えたらディープラーニングじゃなくなるのか
知らなかった >>820
ジジイ、ジジイか？
それじゃお前は何だ？このガキが
俺は、お前さんがこの世に落っこって来る前から、バグつくってんだ >>829
素人過ぎて申し訳ないんですが統計解析したものをモデルに組み込むっていうのがよく分からないです
>>その場合は、分布を仮定したモデルを組み込まないと満足な結果が
この辺の話は元データを統計手法を用いて改良したものを入力っていうか訓練データにするってことですか？
初歩的な質問ですいません 使う手法により異なるけれど、訓練データにするのではなく（もともとないから）
主としては別途アンサンブル的な形になるでしょう。ディープラーニングなどでは
この形は難しいので、適用する対象にによって手法そのものを分ける必要があると
思う。ただし、そんなことやりたくないから、一発手法を求めているのはわかんだ
けど、実場面では一発手法は現時点では難しい。ただし、何もやっていなかった
ところでは、何やっても過去より楽になった、良くなったという見方をしてしまう
ことが多いみたいね。 >>826
＞人工衛星が撮影の画像 誰でも無料で利用可能に
＞https://www3.nhk.or.jp/news/html/20190221/k10011822701000.html
＞
＞色々面白い遊びに使えそうだけど良いのが思いつかない
これ画像データダウンロードはできないっぽいけど
Jupyter Notebookから画像ファイルとして
普通に扱えるのかな？ >847
全然扱えない
※1：1ヶ月稼働が無ければ、利用を停止させていただくことがあります。
※2：申込の混雑状況によりすぐにご提供できない場合があります。
※3：上記メニュー以外のご利用の仕方についてはご相談ください。
※4：商用利用については別途サービスアグリーメントが必要になります。お問い合わせください。 サイトを見たところ、さくらクラウド上に専用のアプリケーション環境が構築されてあって
ユーザーは、専用アプリを使って画像解析を行う。デベロッパーはさくらクラウドの
環境上で動作するJupyter Notebookを使って画像解析アプリを構築できるみたいな。
あと、これ以外にさくらクラウド上のサーバーにアクセスできるルート権限を付与する
使い方というのがあり、この場合には直接画像ファイルを触れるかも。ただし、ルート
権限サーバーについては要相談と書かれており、多分、初年度からさくらクラウドの
サーバーの実費費用は徴収されると思う。多分、ルート権限は経済産業省で具体的な
商用化の可能性があるかも審査される気がするから遊びではだめかと。
https://www.tellusxdp.com/ja/dev >>849
うーん・・・なんかこう、日本って一歩古いんだよなぁ
全部自由にさせて、そのノウハウを吸い上げるというやり方が全くない
ノウハウを吸い上げる能力が無いんだろうけど、あまりに残念すぎる >>850
自分がタダで使いたかっただけでしょ・・・ 地球観測衛星のデータは大別すると光学画像と合成開口レーダーデータに分けられる。
光学カメラ画像はJPEG2000形式が使われていて、データサイズが異常なほど巨大。
レーダーのデータは数値データファイルで、形式変換しないと見れない。多分、かなり
制約がありすぎて普通に提供しても商業利用的には普及しない可能性があるので、環境
を整えて提供することにしたのかと。普通、機械学習で画像データの自動分類を行うに
は256x256に縮小して、学習にかけるようなことを行うが、素のJPEG2000のデータを
縮小させると、細かいデータが欠落して意味をなさなくなる。かといって、縮小をかけない
で256x256の区画に分割するとデータ総量が多くなりすぎて本格的なGPUスパコン並み
の処理能力が必要となる。結果的、普及にはどれも問題があって、最終的にたどり着いた
のが、上の方法なのではないかと推測。あと、余談だけど、Googleがやってた国防総省
の衛星画像解析AIシステムの場合、教師データの作成を時給1ドルで外注に出してた。 >>851
タダというか、手軽に使いたかった
今出回ってるデータセットって基本無料だから、今更こんなめんどくさい事されても困るんだわ お手軽ならば
今後の地価変動をやってみたかった
道路とか鉄道とかの写真データから地価予測
でも使い物にならないならクソだな 須山さんはtwitterで見たんだけど
ベイズの人で
svmが許せないのかなと 単純に考えるとそうなんでしょうが、なぜそれではだめかという
本人のたる理由を知りたいですね。
というのは、その下で学ぼうとする学生にとって、その理由がはっきり
していないと、選択対象にすべきかどうかが判断が付かないので。 >>844
ここで言いたいことは、機械学習学習のモデリングのことではないかな
明らかに正規分布に従わない分布に、正規分布を仮定したモデリングをしても得られる結果は間違っている
同様にベイズ推定系の学習では、共役となる事前分布やハイパーパラメータを適切にえらばないと変な答えを出す
他にもコスト関数に尤度に加えてL1,L2の制約条件を加えたり、さらに追加でスパースネス項を追加したりする場合には、収束条件を満たすかどうかなどが重要で高度な数学の知識がいる
深層学習でKeras等で畳み込みやニューラルネットワークをレイヤとして並べ換えるだけなら統計も数学も要らないが、どういうときにどんな活性化関数を使うとか、どんな損失関数を使うかなどは統計の知識ががあった方が理解は早い >>854
衛星画像データは実際のところはエリアは広いが解像度は低い。Google Mapで
衛星画像と表示されてる高解像度画像は、実際は航空写真を使ってる。地球観測
衛星は極軌道を回っているため、同じ場所を撮影する頻度も月単位で、実際には
かなり制約が多い。このため、最近はベンチャー企業が数十機のマイクロ衛星を
打ち上げて、1時間間隔で同一スポットを撮影するといったサービスを開始してる。
この場合、リアルタイムに近い定点観測が可能になるため、交通量の測定とかも
可能になる。ただ、マイクロ衛星の光学機器の解像度は５メートル位とかなり荒い。
一方、Digital Globeの衛星画像とかは、解像度が30センチ前後もあり、軍事偵察
衛星並みの解像度をもってるが、撮影頻度に制約がありリアルタイムの定点観測
とかは無理。また、衛星画像の最大の難点は、曇りの日は地上の撮影ができないこと。
開口レーダーを使えば撮影可能だが、解像度は悪すぎて、地上の物体の精密観測
には使えない。最近の流行は、自動車にLidar乗っけて、地上から3Dデータの取得
を行い、その3Dデータに航空写真のデータをテクスチャーマッピングして、超高
精度地図を作るというやり方。この場合、自動車には光学カメラとWiFIアンテナも
搭載して、同時に住所表記とIPシグナルも記録して、ありとあらゆるデータを地図連動化
してる。 地図作りや、位置などの把握等につては、どなたでも考え着くことで
ず～っと、地図以外の利用についてのヒントを追い求めてきていると思う。
地下資源や農産物生育状況などへの利用などはあるが、もっともっと新たな
利用方法の発見を期待しているところがあるんじゃないだろうか。
少し、地図から離れて、新たな利用を考えてみようよ 質問が難しいかも
言われている医学を医者が行うと位置付けると、まず医者にならないと
いけないから、そりゃ大きな壁があるよね。
そう考えなかったとしたら、医者以外も医学の道はあるのでそうも言えない。
この場合、計算機科学も医学もどちらも学ぶことは自由。
医学は、分らないことが山ほどあるし、研究・調査するのに事欠かない。
その中には計算機科学の活躍の場もある。
ってことは、どうやって比べたらいいか、比べようがなさそう。 PCで書いたりスマホで書いたり、ずっとこのスレ見てるのか？ >>864
それ、どこのスレにも出没して似たような質問を繰り返すだけの構ってちゃんだから、まともに答えてもあなたの大切な時間を無駄にするだけだよ 雰囲気で keras を使っているが、
loss が nan になる理由が全くわからないぜ…
ちゃんと勉強しないとダメだな。 https://twitter.com/napman1/status/1099097584113614850
Kotaro Nakayama / 中山 浩太郎 @napman1
東大松尾研・iLect・東大先端人工知能寄付講座が共同で実施していたDeep Learning講座「DL4US」のコンテンツを無償公開しました。
のべ3,800名以上の方から応募を頂いておりました。
9:04 - 2019年2月23日
https://twitter.com/5chan_nel (5ch newer account) 強化学習の state-value の式について質問です。
スレチでしたらご指摘ください。
「Reinforcement Learning: An Introduction」のPDFを読んでいます。
http://incompleteideas.net/sutton/book/the-book-2nd.html
59ページ目にstate-valueが自己再帰の形で表せる事を示した式がありますが、
この式の2行目から3行目に式変形できる理由が分かりません。
角括弧の中の Rt+1 が r になるのは分かるのですが、
なぜ Gt+1 が Eπ[G+1 | St+1 = s'] になるのでしょうか。
この辺りのことを説明したwebページや書籍の紹介だけでも構いません。 RNNというのは過去の出力をその後の入力に使うという程度の意味しか持たないのでLSTMもその一種 AIに星新一のショートショートを書かせるプロジェクトがあります。
https://www.fun.ac.jp/~kimagure_ai/
仕組みは、人間が事前にストーリーを作って
AIが特定の部分の単語を穴埋めしていく感じだそうです。
全てAIが作ったわけではないし、こんなのは創作ではないと思うのですが。
疑問なんですが、なぜLSTMを使わないのでしょうか？ >>876
創作がどこからどこまでなんて誰にも決められないよ
AIがサイコロだとどうか、虫に効けばどうか、ファンの小学生なら、成人なら、じゃあ編集者なら
何がどうって、面白ければいいんだよ
実は今はちょっとずるい世代で、「AIが作ったものを読んでみたい」という欲求がたくさんある
だからAIがどんな物語を紡いでも、多数の人は面白いと感じるのだ AIの芸術に関しては、ヒューリスティクスという概念を覚えると良いと思う
恐らくこれから必要になる 芸術はマルチレイヤーコンテキストが重要なのだからそんなもん必要ない >>875
呼び方が違うだけで同じものだよ
RNNばかり有名になってるけど、FFN(Feed-Forward Network)というのもあって、RNNはIIRに対応し、FFNはFIRフィルタに対応する 呼び名に引っ張られない人が増えてほしいですね
とりあえず手法にラベリングして深く考えない人が多いですからこの業界 >>879
だね
というより、かかる時間は別として
ヒューリスティクスそのものだから 『ヒューリスティクス』なんて言葉より発見的探索とか言ったほうがわかりやすい 初歩的な質問ですいません
ある部品にゴミやケバがつくような工程で画像データを用いた異常検知が出来たらと考えています
当方機械学習やディープラーニングを始めてまだ日も浅く現在はCNNがどのようなものかを学習しています
概要を学んだ次のステップとしてどのようなものを学習すれば良いのか分からないのですが画像を用いた異常検知を行いたい場合はどのような手法やアプローチが一般的なのでしょうか？ >>890
画像データは正常と異常それぞれどのくらいある(集まりそう)なの？ >>891
すいません記載漏れていました
現状用意出来るのは正常画像が100枚、不良品が100枚です >>892
CNN系の二値分類で行けない？
100枚だと少ないので適当に水増しが必要だけど
回転させたり上下左右反転させたりごま塩ノイズ乗せたり >>894
ありがとうございます
CNNでの分類ですね
水増しに関しても調べてみます
画像サイズも大きいのでその辺もどう扱うのか調べてみます
また別工程にも展開する場合は異常の画像が無いので生成モデルに関しても調べてみます
>>895
ありがとうございます
オートエンコーダーは聞いた事があったのですがGANについても調べてみます 習うより慣れろみたいなことかと
結果が出せればいいなら試すほうが多分速い
内部は知らなくてもディープラーニング自体は既存ソフトでできる
まんべんなく学習しないとダメか >>892
枚数が少ないから、単純な画像処理で低次元の特徴を抽出する事を考えた方が良いかも 不良品の検出って
毎回同じサイズ、角度、輝度、サイズだから
回転させたり捩らせたり拡大したりしたら精度下がりそうよね >>900
基本的にはとにかくデータを数多く用意するのが良い とにかく増やせってのは乱暴すぎるなぁ
やっていい加工とやっちゃいけない加工がある kreasてマルチスレッドで学習済みモデルloadできないのかよ
弱ったなぁ >>900
>毎回同じ
それはデータによるから性質よく知ってないとね 同じようなことやってるのね。異物は分類精度80％越えるけど、キズは認識しなかったな。
keras でVGG16 FineTune/ 画像110枚 での結果です。 大量の不良品パターンか
大量の良品パターンだけでも
なんとかなるだろ 良品のみから不良品を見つけるのは必ずしもできるわけではない
不良品を不良品と判断するための特徴量が見えていない場合などがそれに当たる >>896 です
レス頂いた方ありがとうございます
>>905
自分も同じ手順を試してみたいと思います
もし良ければ参考にされた資料や記事などはありますでしょうか？
Kerasを使おうかと思うのですが始めて使用するので何から手をつけて良いか分からなくて… >>911
ありがとうございます
keras自体の導入は済ませております
説明が分かりにくくてすいません
ただどちらにせよGPUが無い環境なのでやるにしても制約が多そうですね… >>912
「keras 二値分類」で検索すれば色々出てくるよ
https://qiita.com/yakisobamilk/items/686d6ad5ae3285aec639
二値分類ぐらいならGTX750ぐらいでも行けるとおもう
google colaboratoryってクラウドの無料サービスもあるけど、色々とどうにも面倒くさい >>911
Colaboratory使えばなんとでもなるさ
二値分類を複数のモデルでやってみたことある
画像サイズを480にしてあげると
Xception だと で89%
Inception_resnet_v2 で86%
この2つのモデルから推測させて、
・両方NGならダメ
・片方NGなら要検証
・両方OKなら通過
ていう感じで悪くない感じにはなってる
というか問題は組込される側じゃね？
試しにinception_resnet_v2で分類させてみたんだけど、
学習済みモデルのロードだけでメモリ4.5G食う
RaspberryPiとかでどうやって運用するんだろう
でかいスワップ使ってSSDでも遅いだろうし・・・ >>913
ありがとうございます
短くまとまってるので是非参考にさせていただきます
kerasの関数や使い方も合わせて調べてみます
あと、すごく初歩的な質問なのですがリンク先のコードを軽くみたところ出力層が2クラス分類問題なのに1つになってるのが気になります
良品、不良品とふたつの出力層が必要ではないのでしょうか？ >>917
二値分類の問題は出力は一つでOK
例えば不良品にラベルを0、良品にラベルを1と付けたとする
活性化関数にSigmoidを使うと、入力した画像が0なのか1なのかを確率で返してくれる
0.5付近なら判別できていない
もし二つの出力でやりたいなら活性化関数にSoftmaxを使う
こちらは他クラス分類に使用する
良品レベルを5段階に分けて学習させるような場合に使う >>871
すみません、そのページを読んでみたのですが、まだ理解できません。
a に添字 b を下付きしたものを a_b と表すとして、
state-value function v_π(s) = E_π [G_t | S_t = s] を私は次のように式変形しました。
v_π(s) = E_π[R_(t+1) + γG_(t+1) | S_t = s]
v_π(s) = E_π[R_(t+1) | S_t = s] + E_π[γG_(t+1) | S_t = s]
私が分からないのは第2項の期待値の計算です。
E_π[γG_(t+1) | S_t = s] = Σ_a π(a|s) Σ_s'r p(sr', r|s, a) (γG_(t+1))
このように展開できると思うのですが違いますか？ chainerを使ってたけど
tensorflowを使ったみようと思ってインストールしてみたら、
変なエラーばかり出てなかなか動かなかったけど、
MINSTがやっと実行できた。
うれしい！ >>920
おめでとう
慣れるまで、環境構築ほんま大変だよな >>921
ありがとうございます！
動くまでいろいろと試行錯誤していました。
バージョンや環境に依存する部分も大きいのでしょうか？
僕が結局のところうまくいったのは以下のサイトの、
仮想環境を作ってからインストールするという手順です。
https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83
このサイトの下に書いてある、
＞ 「(keras_work) conda install jupyter」でインストールして、
＞ カーネルを再登録して
＞ 「(keras_work) ipython kernel install --user 、、、」、
＞ jupyter-notebookを立ち上げなおしたら、正常に動作しました。
というのも実行したら、動作しました。
ここではkeras_workという名前になってますが、まだkerasはインストールして
いないのですが、仮想環境を作らなければ動作しなかった
ということは、何か僕の環境が悪かったのだと思います。
まあ、とりあえずtensorflowが動くようになりましたので、
いろいろサンプルを探して動かしながら、使い方を学びたいと思います。 脳科学が明らかにする
「あなたの隣のサイコパス」
ありえないようなウソをつき、常人には考えられない不正を働いても、平然としている。
ウソが完全に暴かれ、衆目に晒されても、全く恥じるそぶりさえ見せず、堂々としている。
それどころか、「自分は不当に非難されている被害者」
「悲劇の渦中にあるヒロイン」であるかのように振る舞いさえする。
残虐な殺人や悪辣な詐欺事件をおかしたにもかかわらず、まったく反省の色を見せない。
そればかりか、自己の正当性を主張する手記などを世間に公表する。
外見は魅力的で社交的。トークやプレゼンテーションも立て板に水で、抜群に面白い。
だが、関わった人はみな騙され、不幸のどん底に突き落とされる。
性的に奔放であるため、色恋沙汰のトラブルも絶えない。
経歴を詐称する。過去に語った内容とまるで違うことを平気で主張する。
矛盾を指摘されても「断じてそんなことは言っていません」と涼しい顔で言い張る。
(略)
見過ごせないのは、この種の人間を擁護する人が少なくないことです。
(略)
時には「信者」であるかのような崇敬を示す人までいます。
そうした人たちは、きっと知らないのでしょう。
彼／彼女らが、高い確率で「サイコパス」だということを。
(脳科学者・中野信子さん)
AI的にはこういう子が育つ可能性はあるの？
●添とか●エモンとか百合子とかちょんとか >>908
人事採用で応募して来た人間が不良かどうか判定したい >>926
Amazonがそれやったけど女性差別するように学習して辞めたよね 機械学習はわからんうちは面白そうで飛びつくけど、しばらく勉強したら飽きた
進歩早いし専門家じゃないとついていけない世界ねこれ 既存ツール、ソフトを利用する立場なら専門家の議論についてかなくていい SVMを理解する為にlibSVMで作ってみたんだけど、
動作を確認する為に学習データとサンプルデータ（とパラメータ）が載ってるサイトって無いですか？ P言語しか使えないプログラマって
CPUがどうやって動いているか知らないですもん。
知らなくても仕事でちゃんとプログラム作ってますから、
データ分析も全部知る必要ないと思います。
知らないけどちゃんと使えてる・動かしている、
というのは世の中にいくらでもありますよね。 そろそろ、被写体を自動で認識して綺麗に切り抜いてくれる機能が
フォトショに実装されても良い頃なのに、AIを使ってるとは名ばかりの中途半端 現状、精度や柔軟性で人間超えるのはまだ難しい。
機能しているのは効率重視なタスク。 >>927
教師データに性別が入っていて、男性の方が採用率が高かったという
やるだけ無駄な結果だったんだっけ？ >>938
あまりにもフィットしすぎていて、自身の経験上では予測対象のデータを学習に読み込んでいるレベルだ
本当だとしたら凄いな >>938
ガチ勢は楽しそうだけれど
実際大手証券はもっとガチ勢なんだろうなと思うとやって競馬、本当にやるなら競輪競艇くらいのほうが夢がありそうだよね ていうかpythonはいつまでGILに縛られてるんだよ
GILなんとかしないと実際問題まともなプログラミング言語と言えない
numpyが優秀なだけで他はぱっとしない >>938
これはよくある「前日に近い値を出力しているだけ」では？ 数値データの変動だけからの予測は限度がありそうだな
社会情勢やニュースも考慮できたら精度が上がりそう 株価だけだと
テクニカル分析を信じる人の割合+それに乗っかる人の割合
くらいでしか当たらないからね >>868
重み更新を行わないステップがあると、lossとかのmetricsが全部nanになる
強化学習でフレームスキップをした時によくハマってた
そうじゃなかったら、loss functionの使い方を根本的に間違えてるとか？ >>938
須山敦志 Suyama Atsushi? @sammy_suyama
不確実性を無視して予測を「精度良く当てにいく」というのはあまり有用じゃないです。例えば株価の上昇をピンポイントで当てにいくよりも、「暴落しないこと」が言えた方がずっと有用。
https://twitter.com/sammy_suyama/status/1090399628841803778
https://twitter.com/5chan_nel (5ch newer account) >>947
ポートフォリオ理論、30年以上前のクォンツの時代から、
本来はヘッジのために考えられ、その有効性が盛んに叫ばれても
みなさん運用（儲け）側にしか走らなかった。
分ってはいるが、そうやって使ってくれないという悩み。
焼き直しにすぎないのですが、価値が無いわけじゃないんだよな。 >>938
国内でも機械学習を用いて、自己資金で運用というのが
15年前から3年近く前まで、運用実績をWebサイトでずっと公開されて方がいた。
実際に相当に資産を増やされていたが、本業ではないので株についてのアルゴリズム
の見直しは本格的にされていなかったので、現在（２年か３年前から）は、為替に
主力を移して良いパフォーマンスをだされてますよ。
昔から興味のある方々にとっては有名なサイトでした。サイトは閉じられましたが
現在もPC７台使って自動運用中です。
ちなみに、リアルタイム取引ではないです。 ヘッジに使わていないとかどこの世界の人なのか
ヘッジャーとスペキュレーターとアービトラージャーは業務が別なだけ 米証券会社大手ゴールドマン・サックスには500名の
トレーダーが在籍していたが、AIトレードの普及で
今ではAIエンジニア3名に置き換わってしまったのは
有名な話ですよね。
先日、恩師によばれて大学のゼミ生たちに
プログラミングを教えに行ったら、
全員が機械学習で株価を予想しててマジで笑いましたｗ >>951
どんなプログラミングを教えるんだ？
言語は？
機械学習とは具体的にどんな？ >>948
みんながそれ使うとゼロサムになるって証明されちゃったとか？ >>947
暴落しない事を当てるなんて不可能だろ
エンジニア風情は何でこうも市場の効率性に無知で自信過剰なんだ
>>951
置き換わってるのは内外問わず「執行」の部分
実際の投資戦略では線形回帰分析が主流どころかほぼ全て >>952
Pythonで基礎的なアルゴリズムの実装を教えに行きました。
まあ、初心者向きですね。
学生連中が株価予測に使ってるのは、
主にSVR、ランダムフォレスト、ディープラーニング
などですけど、線形のSEMを使ってる学生もいました。 >>952
あなたはどんな言語でどういう方法で
予測をやってるんですか？ >>955
基礎的なアルゴリズムとはどんな？
少なくとも学生が株価予想に使ってるアルゴリズムよりは高度なんだよな？ >>955
学生の株価予想はどれくらいの確率であたるの？
学生のほうがプロと比べて確率低いの？ >>958
全く違います。
基礎を教えて行っただけです。
で、基礎を教えに行ってみて
学生と話をしたら
株価の予想にのめりこんでる奴らばかりだった、
という話です。
それを全部説明すると話が長くなるので
なにをどのように教えたのかははしょっただけです。
株価の予想をやってないなら
聞かないでくださいよ。
馬鹿なんですか？ >>958
質問ばかりで何も役に立つ話がないので
聞きますが、どういう機械学習をどういう会社で何年ぐらい
やってるんですか？
細かく説明してください。
まさかただの馬鹿院生ですか？ >>961
自分の思い込みを前提に質問するのはやめような
まずは機械学習やっていますか？ときくのが当たり前だろ >>962
ここはにわかしかいないと思う
と言ってる俺も基礎知識しか無いし、
最近はgithubから落としてきてぐるぐる回してるだけだ
とてもじゃないけど追いつけない >>963
その前提は止めて欲しい
確かにレベルは低いけど、機械学習をやってない奴がいる前提はさすがに悲しすぎる A株取引はAIがやるわけだからやるひつようないだろ
個人で作るにしても大企業の天才が作ったソフトに勝てるわけないわけだし AIのソフトって売ってるんじゃないの？
それを買えば作るより簡単で正確だとおもうんだけど そもそも株取引は証券会社と個人投資家で得られる情報の速度に違いがあるから短期勝負じゃ勝てない >>970
今はどんどん新しい手法が出てきては消えているから、
売ってる物は数世代前の物だよ
>>971
応答速度でも証券会社と個人は比較にならないんだ
個人で短期勝負って それ以外に、個人では手数料の問題が大きんですよ。
株にしても為替にしても。 >>950
業務分担の話ではなく、多くの機関投資家の興味が儲けに偏っているということ。
業務的に両面あるのは当たり前の話。 >>977
実際に取引している人だと、必ずその問題が前面に出てくる 機械学習だのデータマイニングだのは所詮、純粋数学ができなかった落ちこぼれがやる分野でしかない。
もっと言うと、計算機科学自体が、純粋数学ができなかった落ちこぼれのやる分野だなｗ
真の天才は純粋数学、そしてその中で最も難しいと言われている数論幾何学を勉強する。
俺は物心ついた時から平均を遥かに下回るぐらいの超絶ド底辺クラスの頭の悪さだったけど、
なんとかして頑張って猛烈に勉強しまくって東京大学理学部数学科に入り、
そして、数論幾何学を勉強し、優越感に浸りたい。
ちなみに高校も超絶ド底辺高校出身です。 >>979
いいんじゃない、頑張って！
一つだけ言えば、人を気にしないで生きてください。 http://www.kurims.kyoto-u.ac.jp/~motizuki/papers-japanese.html
超絶天才数学者、望月新一氏の論文。
これはヤバイな・・・・。 思索というか妄想していて疑問に思ったことがあるのですが、
無限大の破壊力を誇る超強力な武器があったとして、
無限大の空間に対してその武器を発動したら、どうなるのでしょうか？
無限大と無限大のぶつかり合いですが、結果はどうなりますか？ >>988
煽るならせめてそれぐらいの知識は持ってないと >>988
無限と無限を比較するなら濃度の大小を明らかにしないと >>990
じゃあ、無限の濃度が同じだとしたら結果はどうなりますか？ 無限大 + 無限大 = 無限大
無限大 - 無限大 = 不可能 >>992
不可能だと、具体的にどんな感じになるのでしょうか？ >>994 予想がつかない、宇宙の破滅かな？
無の世界が訪れるのか、新たな宇宙が作られるのかは、その時の環境次第では。 >>996
濃度が同じなのに宇宙が破滅して無の世界が訪れるの？
それじゃあ武器が勝ったってことになるじゃん。 >>997 武器というのは普通はプラスに作用するのが普通だよな。 あと、ゴールドマンサックスのような投資銀行では、普通、確率予想によりリスク計算を厳格に
行なっているので不確実性には投資しない。投資が実行となるのは100%近い、収益性が予測さ
れる場合のみ。この場合、100%の収益性が保証されるプログラムトレーディングとは、
high-frequency tradingという手法をいう。HFTでもっとも一般的な手法は、市場に影響を与える
ニュースをマイクロセカンドの単位で早く入手して、その確実な情報に基づき、他者に先駆けて
トレードを実行してしまうというものとなる。Bloombergは、顧客に対して専用回線で、オープン
アクセスの自社ニュースサイトよりもコンマ数秒の単位で情報を先出しすることをやっており、
HFTを実装している業者は、こうしたニュースソースを利用して、例えば雇用統計の中身がが市
場予想と大きく異なる場合には、予想と反対のトレードを自動実行して利益を出すようなことを
やっている。例えば日本市場の場合、日経平均は、日経新聞社が5秒間隔で更新している。この場合、
東証の直結回線から取引データ利用して日経平均をリアルタイムで算出することができれば、
最大５秒先の未来の日経平均の情報を入手できることとなり、５秒先の未来の日経平均の変化率が
大きな場合は、大きな利益を得られることとなる。ゴールドマンでやってることはこういうこと。 このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 46日 10時間 43分 55秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
