【統計分析】機械学習・データマイニング32

2022/08/01(月) 01:56:45.77

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2022/08/09(火) 13:44:42.47

>>115
普通に画像認識システムには画像渡すだろ？
何言ってるんだ？

2022/08/09(火) 13:54:56.59

>>116
前処理で数値化するでしょ

2022/08/09(火) 14:33:09.94

>>116
画像認識システムに渡した画像はそのシステムが具体的にどんなものであってもまずRBG(+α)の3～4個の数値に変換されるだけ

2022/08/09(火) 16:03:57.25

>>117
そういうことができない奴らが頑張ってやってるんだから最初から最後まで画像だぞ

2022/08/09(火) 16:05:54.65

>>118
当たり前だろｗ
画像が数値データじゃないなんて言うやつがアホ
画像しか扱えないやつもアホだが自分で判断アルゴ組めないんだから任せるしかない

2022/08/09(火) 16:25:51.37

分足の株価をチャート化して、パターン認識で逆三尊が出た！全力買いだ！ってやってるのかw
それなら普通に時系列モデル食わせるほうがよっぽど簡単だろ？w

2022/08/09(火) 16:30:31.45

仮にGoogleとかが作った汎用認識アルゴリズムに適当にデータ入れればある程度判断できるようになるとして
株価予測のための汎用アルゴリズムとして画像入力のものを選ぶというのがアホすぎて

2022/08/09(火) 16:38:59.26

いやいや、今まで正当な方法だと思われてなかったら顧みられなかっただけでなんかしら新しい結果が得られる可能性もあるだろ

2022/08/09(火) 16:44:12.74

そんなレベルでも売買botは作れるってのが納得いかないw
パターンマッチ用のチャート画像を100万円で売ります、お買い得ですよっていう詐欺かな？

2022/08/09(火) 17:05:06.48

>>123
値動きの数値データからは見えない範囲の空白部分が解釈や影響を与える可能性はありそうですね。

同じ事象の学習データでも数値データとグラフ画像を使うのでは生成されるモデルは何かしらの相違点が生じるでしょうし。

2022/08/09(火) 17:42:36.24

グラフの空白部分には何もプロットされていないんだから情報量ゼロなのに画像を元にした機械学習モデルには入力せざるを得ないだけ
仮に空白部分の影響で意味ありげな結果が出たとしてそんなものをありがたがるのはオカルト

2022/08/09(火) 18:47:32.42

>>126
空白部分の情報がゼロであるというのが典型的な思い込みですね。

例えばグラフで分断された上下の空白の面積ですとか、複数グラフの交点が描く領域の形状などは数値データからも理論上は算出できますが、モデルが特徴量として発見し獲得する難易度やコストは大きく変わるでしょうね。

2022/08/09(火) 18:58:35.24

必死になってて草
しかし残念ながらポロリはするつもりないからまあ精々生産性のない罵詈雑言に精を出してくれ
今はまだ月次3桁万円のA級雑魚botterだけど今年中に必ず俺はS級botterになる

2022/08/09(火) 19:01:42.84

S級botter達成したらいよいよゲームプレイヤー系botに着手する
特にまだ競争が少ないブルーオーシャン、シューター系botや
BCGのTCGbotは既に作ってて稼働させてるけど小遣い程度のトークンは稼いでくれてるから割と美味い

2022/08/09(火) 19:03:12.18

月数百万儲かってるのか。
凄いな。
働くより儲かるじゃん。

2022/08/09(火) 19:11:10.07

>>130
結果だけ見ればそうだけどここに辿り着くまでに割と血を吐く思いはしてきた
稼げるモデルを作り上げるまでは種銭少数で実験してきてるから損失は微々たるものやけど、お金以上に精神を削れた感はある
だからこの結実は本当に嬉しくてしょうがない

2022/08/09(火) 19:14:02.22

>>127
わいの着眼点とは違うけど、あなたはあなたで結構センスありそうな気がする
もし気が向いたら参戦をオヌヌメします結構知的で面白い世界が広がってますよ
Twitter見れば分かるけど日本だけでも強強な人が沢山いますし刺激的です

2022/08/09(火) 19:17:39.53

別に自分に害があるわけじゃないんだから、そうやりたいという人のやることを否定することはないでしょう
たとえ愚かなことをやっていても、それで本人が満足しているのなら、誰かが迷惑してるわけでもないんだし、別にいいでしょう
今回のケースが愚かだという話ではなくて、たとえそうであってもという話

2022/08/09(火) 19:28:26.91

>>127
＞グラフで分断された上下の空白の面積
＞複数グラフの交点が描く領域の形状

どう考えても数値のままやった方が高精度かつ高速としか思えない

2022/08/09(火) 19:39:07.27

でもプログラム書けなきゃ意味ないでしょ
チャートでしかプログラム書けないんならそうするしかないよ

2022/08/09(火) 19:40:18.11

ホタテのジョナサン。

2022/08/09(火) 19:53:01.67

>>134
問題点は個々の計算可能性ではなく、アルゴリズムが有限のコストで特徴を獲得できるかどうかですね。

他の人も言及してますが、画像形式で与えることである種の前処理を行なっていると捉えることができ、同じ学習コストを掛けた場合の到達点は明らかに異なりますし。

投資自体が多数のプレイヤーの意思決定に依る動的なゲームと考えると、大多数のプレイヤーが参照している情報形式を前処理として取り込むというのは至極まっとうなアプローチでもありますね。

2022/08/09(火) 19:55:16.60

時系列のデータという概念がわからないと、そのことは理解できないよ。

2022/08/09(火) 19:58:13.62

条件付き確率場ってことですかね。

2022/08/09(火) 20:31:42.77

やっぱこの人ID:Mm+QGPzv0 センスあるわ

2022/08/09(火) 20:38:01.49

まあたしかに詳細でデータ量が多ければいいってもんじゃないよな
簡素化されたチャートデータのほうが軽くて有効ということもあるかもしれない

2022/08/09(火) 20:39:04.71

アルアルネーヨの代表例。

2022/08/09(火) 20:44:32.50

>>134
何回言わせんだよｗ
それができないから画像でやってるんだっての
で、分かってないやつはそこまで。それでもまあ儲かる
俺ら的にはその先が重要なんだが、値動きでの判断とそれを画像にしたときとを比較して画像のほうが効率が悪いってのは値動き解析と同じ判断をさせるときの話であって、間違っちゃいない。当たり前だな
で、別に同じ判断をする必要は無くて、何を判断させるかで競い合ってるってのが現状というか趨勢は固まってきてる

2022/08/09(火) 21:09:49.94

>>127
実際に、空白には、どんな重要な情報があるの?
空白部分の情報が、役立った証拠は?

2022/08/09(火) 21:37:04.34

数値データでできないのにグラフ化すればできるという発想が微笑ましい
どちらも情報量は同じなんだからやれることは変わらない
パターン認識というワードに引っ張られすぎて「パターン＝画像」と思い込んじゃったんだろう

2022/08/09(火) 21:42:29.01

時系列データあんま詳しくないんだけど
例えば株取引で窓開けみたいな動きが起きたときに時系列データだけだと分析出来ないけど画像にしたら視覚的情報として分析出来るみたいなことってあるの？

2022/08/09(火) 22:19:24.38

>>144
グラフ本体と空白部分に重要度の差があるという前提を一度捨てたほうが良いですね。

例えば空白部分だけ取り出したとしてもその輪郭から元のグラフの線は復元できますよね？
当然逆もまた然りで、グラフ本体と空白は等価の情報を持つ場合もあるわけです。
これはチャート画像とグラフの値データにも言えることです。

互いに変換できる情報が存在するとき、目的とする情報を取り出すのに変換を挟むのは当然コストがかかります。

機械学習においてはこのような変換を学習で見つけるのは非常にコストが高く付きますので、これを大幅に軽減する意味でもデータの選択や前処理を行っているわけです。

極端な話、グラフの数値データからの変換で理論上は取り出せても学習ではまず到達しえない次元の特徴量を、チャート画像からならば容易に取り出せる可能性があるという話です。

2022/08/09(火) 22:33:25.01

それあなたの感想ですよね(画像略
情報が等価なのなら、やっぱり空白いらないよね
自分で結論出してるじゃん

2022/08/09(火) 22:40:25.76

それに、もう一つ。
チャート画像には有効な特徴量が含まれるという前提を一度捨てたほうが良いですね。
今迄のあなたのレスを読んでも、何故、画像を経由すると、良い特徴量が得られるのかという問いに、答えられていない。

2022/08/09(火) 22:56:31.88

>>149
私はチャート画像から良い特徴量が得られるとは一度も言ってないので合ってますよ。

2022/08/09(火) 23:12:11.66

人間にとって数字の羅列よりグラフの方が先が予測しやすそうに見える→コンピューターにもグラフを与えた方が予測しやすい、
みたいな素人がやりがちな典型的な間違いを犯してるんだと思う
機械学習とかやる前にコンピューターの仕組みとかコンピュータサイエンスの基礎とか統計学とかを復習した方がいいのでは？

2022/08/09(火) 23:49:45.63

実際良い結果が出てるならそれでいいじゃん
ほっとけよ

2022/08/09(火) 23:50:35.22

蟹工船の題材になった船はマルハニチロの博愛丸なんですよ。
政府と組んで悪いことをすれば儲かるってことです。

2022/08/10(水) 04:03:47.03

チャートだとローソク足の太さとか値上がり角度とかの情報があるけど、数値だとそれがないからな

2022/08/10(水) 07:26:11.98

そもそも株価ってのは人間の心理が多分に影響している
投資家がチャートを見ながらやってるから数値データではなくチャートを読み込ませることに意味がある可能性はある

2022/08/10(水) 09:02:51.91

そもそも、売り買いの判断のためのチャートのパターンが分かってるなら機械学習を使う必要ないような気がするんがなぁ。

2022/08/10(水) 09:10:06.66

今はコンピュータによる超高速売買が主流らしいｗ

2022/08/10(水) 09:17:03.96

>>156
取引がめんどくさい人とか

2022/08/10(水) 09:34:43.12

>>158
売り買いのBOTを使うのは分かる。機械学習は要らないんじゃない？

2022/08/10(水) 09:42:07.05

>>159
まあ、アルゴでも問題ないわな

2022/08/10(水) 09:47:48.14

チャートの値、ローソク足の数値化した値、移動平均
こんなのがずらっと並んだデータセット作って
それで売買タイミングを調べさせるか

独身中年ならその儲けだと5～6年でfireか

2022/08/10(水) 09:47:58.66

>>156
損切の判断が難しいらいしよ

2022/08/10(水) 12:10:16.54

買ったときより高くなったら売れば良い

2022/08/10(水) 13:16:38.78

上がったら買い、下がったら売りを自分でやるのが相場の醍醐味なのにな

2022/08/10(水) 20:57:34.93

RNNの時刻t-1での出力の勾配って時刻tでのΔとVの行列積で求まるんですよね、それは分かります。
一方RNNの誤差関数は各時刻の総和であり、時刻t-1の出力勾配って時刻t-1の誤差関数の偏微分からも求まるけれどこれを使えないのは何故でしょうか？

2022/08/11(木) 09:41:18.45

計算速度じゃないの

2022/08/11(木) 10:03:01.71

アップルが文章や画像から3次元シーンの映像を生成する技術を発表
https://www.moguravr.com/apple-gaudi/
3Dも来たか

2022/08/11(木) 10:38:15.76

そのうち防犯カメラや写真の信憑性が問われることになるな
いくらでも捏造できる世の中になる

2022/08/11(木) 11:11:34.12

サイバーセキュリティ周りは詳しくないから知らんけどそのための電子透かし？やタイムスタンプなのでは？
いや本当に適当に言葉並べただけだけど簡単に偽造できない様な仕組みがあったはずよね

2022/08/11(木) 11:36:10.45

そうなんか
それならいいんだが
それすらもAIで偽造できる時代は遠くなさそうな気が

2022/08/11(木) 11:37:05.84

そういえば攻殻機動隊が映像メディアの証拠能力が失われた世界とかでしたね。

2022/08/11(木) 11:42:41.65

さすがにメタ情報改竄は犯罪だからそういったAIサービスは提供出来ないと思う
今でもエロやロリやグロは規制されてるし、改竄はクラック技術だからまた別の話かと
犯罪者がクラックにAIを使うことはあるだろうけど

2022/08/11(木) 12:02:46.43

>>168
今でもフェイク画像技術はすごいよ

2022/08/11(木) 13:02:23.83

>>172
当然犯罪レベルの話だよ
違法AI買ったヤクザに嵌められるとかならありうるでしょ
それを警察がちゃんと見破れるのか

2022/08/11(木) 13:10:33.53

>>174
基本的にクラックは突破するためだから、その後の検証レベルでは専門家が普通に立証するのでは
そのための仕組みだし突破するってことは必ず痕跡を残すことにもなるわけで、何なら検証する側もAIを導入してるわけでさ

2022/08/11(木) 17:27:57.99

>>174
総裁の指示で警察が嵌めるほうがありそうじゃない？
そして、日本国総裁に命令してるのが、統一教会の七精霊ってことも。

2022/08/11(木) 17:35:22.54

ディープフェイクは本物と区別できません、杉下

2022/08/11(木) 19:41:14.01

>>176
警察でっち上げはたしかにあるかもな
もみ消しとかやってるみたいだし

2022/08/11(木) 19:56:27.68

捏造にAIなんて不安定・不確実なものをわざわざ使うメリットないでしょ
AIの利点は自動で大量にそこそこのクオリティを確保することであって、一点物で金と時間費やせるなら手作業の方が高品質

2022/08/11(木) 20:00:58.98

NVIDIA Japan @NVIDIAJapan (2022/08/11 09:27:01)
つい先程 #SIGGRAPH2022 にて、本物そっくりのバーチャルアシスタントやデジタルヒューマンを容易に作成し、カスタマイズできるようにするためのクラウドネイティブな AI モデルとサービスを統合した「NVIDIA Omniverse Avatar Cloud Engine (ACE)」を発表しました。https://nvda.ws/3QD29zc
https://ohayua.cyou/twimg/FZ1vxt0XkAEdz3o.jpg
https://ohayua.cyou/tweet/1557523950166491136/NVIDIAJapan

2022/08/11(木) 20:51:34.24

>>179
あっという間にAIのほうが自動で大量に高品質になっちゃうよ
今の常識だけでものを考えないほうがいい

2022/08/11(木) 21:07:00.11

>>179
手作業の方が高品質なのは現在の常識でしかないのでなんとも。

現在ですらその道のプロたちはアルゴリズムの支援を当たり前のように受けているわけですし。

2022/08/11(木) 21:11:36.64

森羅万象を生成し得る可能性を持ったAIエンジニアこそが真のクリエイターなのかもな
少なくとも森羅万象を創造できるクリエイターはクリエイティブ連鎖の頂点であることは間違いない

2022/08/11(木) 23:59:54.03

AIと呼ばれるものを数式レベルで理解できない人に限って過大な評価をするよね

2022/08/12(金) 01:20:48.60

>>184
すべて理解したうえで投資詐欺のためにAIの凄さを吹聴してる人も多いのでは？

2022/08/12(金) 03:02:07.79

それは前のブームの時から変わらない

2022/08/12(金) 09:14:18.88

ニューラルネットの能力をここまで予測できた人なんて40年前には数えるくらいしかいないのでは？その人らは当時nnを過大評価してるといわれてたと思う

2022/08/12(金) 09:26:00.68

昔も計算機パワーの増加のおかげとは思っていた

2022/08/12(金) 09:51:14.25

ニューラルネットなんて大昔から理論は大して変わっていないしコンピューターのスペック不足がボトルネックというのはその頃から周知の事実でしょ
ニューラルネットの数式が理解できていれば大量の計算資源さえ投入すればどうにかなるのは容易に予測できる

2022/08/12(金) 10:35:39.27

一部の分野ではもうデータ量とそれを処理可能なハードウェアの勝負になりつつあるしな

2022/08/12(金) 11:05:28.44

勾配消失や誤差逆伝播法の開発を知らんのか？
マシンパワーだけの問題じゃないぞ

2022/08/12(金) 11:57:36.40

>>189
アルゴリズムはいろいろ開発されている

2022/08/12(金) 13:07:43.53

>>191
そういうこと
ニワカが大杉

2022/08/12(金) 13:16:31.98

この流れで勾配消失の解消と誤差逆伝搬処理を出すとか筋が悪すぎる
多分それらの理論も理解していないだろう

2022/08/12(金) 13:35:31.66

人間の脳細胞の数にも複雑さにも遠く及ばないのに
できたことが結構すごすぎ

2022/08/12(金) 14:12:00.53

>>194
じゃあ何か替わりに挙げてみてよ

2022/08/12(金) 15:59:21.64

今ではデータ数が数十億枚とかだろ？
データ収集もこの規模の学習ができるハードも普通の企業じゃ用意できん

2022/08/12(金) 17:00:00.83

画像系でホントにai活用してるとこあんの？

2022/08/13(土) 02:33:02.29

複数の音が混ざってるmp3ファイルがあって、時間指定をしてその間にだけ含まれる成分を抽出するAIを作りたいです
時間指定は手動でできるとして、どんなネットワークみたいなものを使えばいいでしょうか？
ざっくりとした手順でいいのでやり方の方針を教えてください

2022/08/13(土) 02:47:11.36

matlabとwavelet toolbox 購入

2022/08/13(土) 09:02:39.86

>>199
機械学習を使うメリットがあまり感じられませんが、通常のアルゴリズムでは駄目な理由がなにかあるのですかね？

2022/08/13(土) 09:14:23.98

>>201
AIならできるかなと思っただけです
アルゴリズムでもできるんですね
よかったらやり方を教えていただけませんか

2022/08/13(土) 09:31:09.15

>>202
取り出す成分が何を指しているか曖昧ですが、とりあえずフーリエ変換などで調べるとよいかと。

音声認識系の分野はまた特殊ですので、専門性の高いメディアに当たる必要がありますね。
当然近年では機械学習を用いた手法も多数ありますが、音声を扱う上で古典的なアルゴリズムによる処理は避けられません。

2022/08/13(土) 10:00:17.30

たとえば音楽ファイルがあって、楽器ごとの音声成分を分離するみたいな感じです
周波数が一定ではないので、AIのほうが向いているかなと思ったのですが

2022/08/13(土) 11:43:15.83

音源が三つであれば三つの音を取り出すってこと？

2022/08/13(土) 12:00:26.07

バイオリンとヴィオラをうまく分けられるかという話ならAIかもね

2022/08/13(土) 12:54:42.61

AIだとどんな手順で作ればいいんでしょうか？

2022/08/13(土) 15:01:08.18

ピーターと狼　を学習させる

2022/08/13(土) 16:25:35.64

>>207
ただで教示することはないんじゃね？
ある程度自分で考えましたか？

2022/08/13(土) 16:55:01.63

教える気ないなら黙ってりゃいいのに
性格悪いな

2022/08/13(土) 16:59:53.11

他人を無償で利用することしか考えない奴の方がよっぽど性格悪いぞ

2022/08/13(土) 17:30:10.60

>>209
LSTMとか使うのかなとは考えましたよ
あとは各成分が入っている時間帯をone-hot表現で与えるとか

2022/08/13(土) 17:51:57.74

蠱毒の壺には何を放り込むつもり？

2022/08/13(土) 18:30:27.97

そもそも機械学習の機能である必要があるのかと

2022/08/13(土) 19:07:18.49

金角、銀角！