【統計分析】機械学習・データマイニング31

■ このスレッドは過去ログ倉庫に格納されています
2021/09/26(日) 01:32:46.82ID:fnXwjiVa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2021/10/09(土) 17:55:12.92ID:R9jtZdzp0
>>47
やはり現状では人間の手が必要ですよね。

特定の概念に特化したモデルを予め作成し転用することは可能でしょうか？

例えば画像情報から大きさを判別するモデルを作成し、この大きさ判別モデルをモジュールとして別のモデルに組み込んで使うという形です。
2021/10/11(月) 02:41:21.29ID:W1oEq6hAd
概念って何？
2021/10/11(月) 02:42:37.37ID:W1oEq6hAd
定義を述べてください
2021/10/11(月) 11:48:03.15ID:5HHAjiD3M
人間の定義なんてものは主観的で
規則ベースの方式は所詮おれがかんがえたさいきょうのモデル、でしかなく
汎用性は無く例外に弱く使い物にならないのは散々見せられてきた
2021/10/11(月) 12:29:27.13ID:DIodBuTLr
その辺は言語モデルと画像認識と分類クラス名がリンクされたモデルというのを
作らないと難しいか
2021/10/11(月) 17:21:06.15ID:5HHAjiD3M
そのあたりをグチャッとやってるのがdall-e
2021/10/11(月) 23:03:29.37ID:iNvGL8qd0
>>53
記事を見つけて読んでみましたが面白いですね。
ttps://ainow.ai/2021/04/26/253364/

時間や場所の概念を獲得した(テキストに正しく反応できた)だとか、当初の目的以外の用途に使えたというのは実に興味深いです。

120億パラメータというのがこれまた凄まじいですが、特定の概念に関する部分だけ抽出出来たら宝探しみたいで楽しいでしょうね。
2021/10/12(火) 21:36:26.65ID:llg6th+00
入門書読んでる途中で練習がてらUCIからEnergy efficiencyってデータセットひっぱてきたんだけど
すごく素直なデータセットだな。欠損値ないし、ただ単に重回帰分析しただけで決定係数が0.9越えてた
ここまで素直だとなにか罠があるんじゃないかと不安になる。諸先輩方はどう思います？
2021/10/12(火) 21:55:01.31ID:G8QNgj6p0
>>55
過学習してるだけ
2021/10/13(水) 00:10:46.35ID:JsCrEKeM0
>>56
その可能性を考えて、訓練データとテストデータ両方の
決定係数を見てるんですけどそんな差がないんですよね。
データ分ける時にシード固定せずに40回ほど試したんですけど
決定係数の差は、大きくても0.043、もとのデータも768件あるんで
過学習なんでしょうか？
58デフォルトの名無しさん (ｱｳｱｳｳｰ Sab7-Awko [106.161.246.212])
垢版 |
2021/10/13(水) 05:53:18.70ID:5xUxuv4Ba
>>57
ちゃんとクロスバリデーションすべきだなとか思ったけど
59デフォルトの名無しさん (ｱｳｱｳｳｰ Sab7-Awko [106.161.246.212])
垢版 |
2021/10/13(水) 06:07:06.10ID:5xUxuv4Ba
ごめん途中で書き込んじゃった

自明な予測との比較はどうなんだろとか思ったけどよく読むと予測精度じゃなくて決定係数の話ですね。
決定係数って学習データへの当てはまりの指標じゃなかったかな。学習データの分散のどの程度を説明できてるかですね確か。
訓練とテストに分割する意味がよく分からないなと思いました。
2021/10/13(水) 21:21:29.85ID:NE9hYB7Y0
>>57
とりあえずテスト誤差と訓練誤差調べてみたら？
2021/10/13(水) 21:58:48.95ID:JsCrEKeM0
先輩方ありがとうございます。次にやることが見えてきました。

追伸、IP出るスレは苦手なのでこれにて失礼します。スレ汚し失礼しました。
2021/10/14(木) 01:06:13.63ID:YnY723dO0
>>61
IP出たらまずいことでもあるんか？
63デフォルトの名無しさん (ｱｳｱｳｳｰ Sab7-Awko [106.161.248.235])
垢版 |
2021/10/14(木) 01:34:54.45ID:oiazgOwIa
>>61
勉強が足りてないですが自覚したなら努力を継続できるでしょう。
頑張って
64デフォルトの名無しさん (ﾜｯﾁｮｲ 9f55-twAR [59.147.205.222])
垢版 |
2021/10/15(金) 11:35:14.97ID:n9WPu0Ca0
新しい資本主義会議メンバーに松尾豊さんが選ばれましたね。
65デフォルトの名無しさん (ﾜｯﾁｮｲ 9f55-twAR [59.147.205.222])
垢版 |
2021/10/15(金) 11:41:30.88ID:n9WPu0Ca0
松尾豊さんのことをAIの第1人者と紹介していましたが、本当ですか？
2021/10/15(金) 12:41:50.92ID:RXO4bJUV0
最も〇〇なものの一つの表現と同程度に捉えておくと良いかと思います。

現在のAIブームの初期から積極的に活動されてたことは確かですし、語れる研究者は貴重な存在ですよね。
2021/10/15(金) 13:11:36.46ID:6tKAdTHp0
>>65
判断基準は論文を書いてるかどうか
68デフォルトの名無しさん (ﾜｯﾁｮｲ 9f55-twAR [59.147.205.222])
垢版 |
2021/10/15(金) 14:44:03.12ID:n9WPu0Ca0
松尾豊さんは、論文を書いていますか？
2021/10/15(金) 15:26:26.65ID:3/epFyTw0
研究者として第一線で発表してるかといわれたら違う
ai研究の顔、広報としての役割が強い
2021/10/15(金) 16:16:51.08ID:/Buyr3BY0
書いてます
71デフォルトの名無しさん (ﾜｯﾁｮｲ ff10-T3Zk [153.243.53.4])
垢版 |
2021/10/15(金) 21:08:40.11ID:WRM45+d50
大学教授は学生に書かせて添削するのが仕事でしょ
2021/10/15(金) 21:11:12.81ID:3JPgOKCi0
どのくらいの頻度で書いているかとかその内容とかも考慮した方が良いような
2021/10/15(金) 21:12:21.67ID:3JPgOKCi0
物理学とか医学でノーベル賞取ってる人はいるけど
この分野でノーベル賞的なものを取れる人はいるのか？
2021/10/15(金) 21:20:11.26ID:cEFPPhAj0
は？
75デフォルトの名無しさん (ﾜｯﾁｮｲ 775f-Kp2r [106.73.78.34])
垢版 |
2021/10/15(金) 21:28:31.52ID:NWwEDSp30
>>73
日本語で書いてくれ
2021/10/15(金) 21:57:46.92ID:3JPgOKCi0
>>75
具体的にどこの意味が理解できない？
2021/10/15(金) 22:00:03.52ID:3JPgOKCi0
ノーベル賞を知らないとか？
2021/10/15(金) 22:01:26.83ID:6tKAdTHp0
最初に多層ニューラルネットワークを考えた人は正直ノーベル賞レベルだと思う
ようやく花ひらいたけど基本は当初と何も変わってないし
2021/10/15(金) 22:08:34.90ID:cEFPPhAj0
ノーベル何賞になるんだよ

新設しないと該当する賞がねーだろ
2021/10/15(金) 22:10:54.30ID:3JPgOKCi0
>>79
だからノーベル賞的なものと書いた
数学だとそれはフィールズ賞らしいけどな
2021/10/15(金) 22:13:46.30ID:LGAK96770
チューリング賞
2021/10/15(金) 22:17:19.03ID:6tKAdTHp0
ニューラルネットワークって物理の文脈で捉えることも可能だからゴリ押せば問題ない
2021/10/15(金) 22:20:07.48ID:3JPgOKCi0
シャノン賞ってのもあるらしい

https://www.tus.ac.jp/quiz/q21_30/a26.html
2021/10/15(金) 22:25:50.03ID:3/epFyTw0
>>73
甘利センセあたり？
2021/10/15(金) 22:25:58.98ID:RXO4bJUV0
ノーベル賞の認知度の高さが一般人の科学への認識を歪めてる感はありますね。
2021/10/16(土) 10:54:08.18ID:eoOYY+/F0
>>85
科学とは何？
2021/10/16(土) 21:09:36.43ID:vis5a6TM0
数学以外の何か。
2021/10/16(土) 21:10:57.83ID:eoOYY+/F0
なんじゃい、そりゃｗ
2021/10/17(日) 02:04:54.29ID:dwWNcKeu0
Alpfafold2を話題にしないのはなぜ
2021/10/17(日) 13:38:23.60ID:MVxO4NJf0
良くわかんない
2021/10/17(日) 16:01:57.87ID:6H8VCRJG0
知らないから
92デフォルトの名無しさん (ﾌﾞｰｲﾓ MMfb-GVjw [210.138.179.7])
垢版 |
2021/10/17(日) 17:37:38.26ID:kbVq19blM
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
93デフォルトの名無しさん (ﾜｯﾁｮｲ 775f-Kp2r [106.73.78.34])
垢版 |
2021/10/18(月) 15:52:55.77ID:EmDGqAJL0
情報系じゃなくて実験系の出身だから論文読むのも大変だわ
機械学習が必要になってPytorchやTensorFlow使ってるんだけど、
自分がやってることと言えば論文軽く読んでGitHubからコード落として、ネットワークを目的に応じて修正し自分のデータに適用してるだけ
詳細なアルゴリズムはよく理解できてないことも多い
全く新しいモデルを提案する人達はすごいなと感じます
2021/10/18(月) 16:00:54.53ID:nRAR4WNG0
>>93
同分野でも原理か応用かでやってることは全く違いますからね。

原理を知っておいて損はありませんが、応用で一番大事なのは対象となる事象の理解なんて言われるくらいですし。

パソコンを使って何かを創る人とパソコンの仕組みを研究してる人って感じですね。

特定分野の一技術がこれだけ広く利用されている現状はなにげにすごいことです。
2021/10/18(月) 16:34:14.02ID:iaabsSMNM
K-meansするとき、標準化や正規化って必須なの？
特徴によってスケールが違うんだけど。。。
96デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-mxW8 [49.106.193.217])
垢版 |
2021/10/18(月) 17:04:01.15ID:r9t2S6+pF
特徴によってスケールが違うから正規化するんだろ
2021/10/18(月) 17:08:36.65ID:gFAoZccR0
偏差5σにあうようにデータを修正するのかｗ
2021/10/18(月) 18:01:46.73ID:iaabsSMNM
データを歪めてるわけで良くないのかなって
2021/10/18(月) 18:32:58.29ID:nRAR4WNG0
>>98
データを歪めてるというよりも、異る値を公平に比較するために揃えてる感じですね。

正規化は単体のデータではなくデータの集合に対して行いますので、単体の値が変化しても集合内のデータ間の関係(例えば距離の比)は保たれます。

手法が見ているのがこの生の値なのか関係なのかが問題で、生の値をそのまま使う場面はかなり稀だと思います。
2021/10/18(月) 19:13:34.77ID:6OwI1/lnM
>>99
なるほど
サンクス
101デフォルトの名無しさん (ﾜｯﾁｮｲ ff10-T3Zk [153.243.53.4])
垢版 |
2021/10/18(月) 20:49:50.55ID:+g2qbZCh0
>>95
例えば身体測定のデータが身長km体重gで入ってたらどうなると思う？
2021/10/18(月) 21:09:15.04ID:q3S383yy0
どうなるの？
103デフォルトの名無しさん (ﾜｯﾁｮｲ f701-Avck [122.255.141.199])
垢版 |
2021/10/18(月) 21:19:05.98ID:kGOStHwx0
ＮＦＴゲーム、ブロックチェーンゲームに今すぐ参入しなさい
これからこの市場は100倍になる
２年もしたら先行者利益が失われてブルーオーシャンからレッドオーシャンになるだろう
2021/10/19(火) 10:33:12.65ID:QjVXcNsI0
こんなとこで宣伝しなきゃならんほどアブナイのか...
105デフォルトの名無しさん (ﾜｯﾁｮｲ 972c-HlaU [220.98.149.194])
垢版 |
2021/10/21(木) 19:37:27.13ID:tf/8/Cq00
機械学習やDeepLearningにおいて、線形代数ってどのレベルまで勉強したらいい？
行列の計算方法がわかるくらいじゃ不十分？
2021/10/21(木) 20:17:54.37ID:6kBcoHDzM
>>105
ベクトル値関数のベクトル、行列でのフレェシェ微分を計算できるぐらいは必要。
2021/10/21(木) 20:19:17.89ID:9Fk3uDYd0
>>105
要らない
2021/10/21(木) 21:07:59.43ID:glQ/3PQO0
ケイリー・ハミルトンくらいは理解しとけ
109デフォルトの名無しさん (ｱｳｱｳｳｰ Sa11-pm4H [106.181.205.98])
垢版 |
2021/10/22(金) 00:39:22.28ID:bIdSm1HRa
固有値固有ベクトル基底変換
2021/10/22(金) 00:52:21.99ID:nvi3nf2X0
テンソルの演算と多変数関数の連鎖率とミニバッチ勾配降下法だけで全て対応可能だよね
ややこしい微分方程式の解を求めるための重積分の計算とかとか
ラグランジュの未定乗数法もいらないから数学的には相当楽勝
おそらく機械学習の分野の中でも1番シンプル
この分野を難しく解説してる本もあるけど
想像以上にめちゃくちゃシンプルだよ
大学で物理や数学やってた人からするとめちゃ簡単に感じる
この簡単な仕組みで世界を変えたのは本当に凄いとしか言いようがない
2021/10/22(金) 05:42:14.16ID:oRncHvvV0
日本人のai本は必ず数式展開がある印象
2021/10/25(月) 09:59:55.92ID:Es9Xs3ydd
数学の行列もいじれない人は既存のソフトウェアで十分。
2021/10/25(月) 10:21:03.07ID:JcYDEjCXM
要らないよね
2021/10/25(月) 11:31:53.12ID:Es9Xs3ydd
人材としてね
2021/10/25(月) 16:40:33.32ID:r9nr43fs0
ツール化が進んだので結果的に数式はいらなくなっている
新しい分野に適応するのはほぼ不可能だろうな
先行事例があるものだけがうまく行く可能性がある
それでも条件が違うとうまく行かないだろうが
2021/10/25(月) 17:57:52.78ID:v1dvy9kxM
今のAIってかなり雑な処理してるように思えるんだけど
生体もそんな感じだから良いのだろうか

こんな雑にやってたらじきに頭打ち来るよね？
gpt3やらtransformerベースのcv見てるとそう思う
117デフォルトの名無しさん (ﾌﾞｰｲﾓ MM8b-En1y [163.49.213.88])
垢版 |
2021/10/25(月) 21:44:10.30ID:i1JdqDPjM
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
118デフォルトの名無しさん (ﾜｯﾁｮｲ e355-8Piu [59.147.205.222])
垢版 |
2021/10/26(火) 18:45:50.36ID:CwYCZWUI0
クジラ飛行机の『PythonによるAI・機械学習・深層学習アプリのつくり方』という本を読んでいるのですが、はがきの郵便番号の枠の抽出処理が
原始的すぎるので驚いています。

抽出領域のサイズを大きすぎたり小さすぎたりしないようにしていたり、抽出した輪郭同士が近すぎるのは駄目とか細かなルールを
コーディングしています。

機械学習って、あまり楽しいもんじゃないですね。
2021/10/26(火) 18:47:04.79ID:VLpeRxZh0
>>118
それは例だろ。。。
120デフォルトの名無しさん (ﾜｯﾁｮｲ e355-8Piu [59.147.205.222])
垢版 |
2021/10/26(火) 18:47:18.21ID:CwYCZWUI0
本当に必要に迫られている人とか仕事でやっている人なら、一生懸命やるかもしれませんが、そうでない人のモチベーションってなんですか？

苦行でしかないような気がします。
2021/10/26(火) 18:59:31.24ID:VLpeRxZh0
>>120
そうなんだ。。。
2021/10/26(火) 19:03:21.27ID:am0io4VuM
それは機械学習ではなくて前処理だ
前処理は苦行であるが必要なのだ

ちなみ、本を読んでないからなんとも言えないところがあるけど、おそらくもっとスマートに抽出する方法はある。
機械学習のエキスパートだからといって
画像処理のエキスパートとは限らない

あとソフト屋さんはソフトでなんとか
しようとするけど、照明とかカメラとか
ハードを工夫することも大事
123デフォルトの名無しさん (ﾜｯﾁｮｲ e355-8Piu [59.147.205.222])
垢版 |
2021/10/26(火) 19:24:43.93ID:CwYCZWUI0
>>122
深層学習でも面倒な「前処理」をするんですか？
2021/10/26(火) 19:28:58.21ID:VLpeRxZh0
>>123
はい
2021/10/26(火) 21:06:37.66ID:SaTYusrr0
>>118
それは古い手法
今時の物体認識はそれを自動でやる
2021/10/27(水) 07:36:24.69ID:Zj1idbQoM
>>118
つ RCNN
2021/10/27(水) 09:19:29.32ID:SjrWgu8IM
クジラ某、とか良く分からん奴の本なんか当てにすんな
2021/10/27(水) 09:32:15.79ID:sx0a4lD1r
ひまわりやなでしこを開発した人か
マレーシアの東海岸に住んでるんだっけ
129デフォルトの名無しさん (ﾜｯﾁｮｲ e3ad-En1y [125.12.149.140])
垢版 |
2021/10/27(水) 14:14:07.93ID:SL+cB4sA0
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
2021/10/27(水) 14:38:54.35ID:bPtNWsqJM
ホテル、民泊などの料金はダイナミックプライシングになっていると聞きます。何ヶ月か前に予約すると安くて、当日はビジネスユースで高い？固定の価格の人もいる?

売上を最大化するプライシングを予測する場合、説明変数、目的変数はどのように設定するものでしょうか。

以前にsignateでコンペがあったのですが、目的変数が部屋の価格？になっていて予約日やその時点での空き部屋数などの考慮はしていなかったと思います。
これにちょっと違和感を感じていました。
2021/10/27(水) 17:52:27.56ID:XWcghAvc0
>>124-128

ありがとうございました。

>>127
OpenCVの使い方とかが分からなかったのですが、サンプルファイルを動かしてみるとこんなことができるんだというきっかけにはなる本だと思います。

自分のパソコンに保存してある数学の講義動画のmp4ファイルを使って、サンプルプログラムを動かしてみたら、動いている人物＝講師が
緑色の枠線でときどき囲まれていて楽しかったです。
2021/10/27(水) 18:07:46.67ID:Zj1idbQoM
>>131
YOLOかVinoの領分だね
2021/10/27(水) 18:42:56.03ID:B2mKsDkoM
transformer系の論文、ネタ切れの感ない？
蒸留やモデル圧縮した話ばかりに思える
2021/10/28(木) 04:06:54.00ID:D6UBU40jd
https://youtu.be/rxKghrZU5w8

パランティア
大量の情報を瞬時に統合、分析できる高速データマイニングシステム

法人向け、製品の活用例：軍事
2021/10/28(木) 13:53:31.55ID:fckDLSZN0
https://codezine.jp/article/detail/14975
エキスパートシステムの焼き直し？
136デフォルトの名無しさん (ﾜｯﾁｮｲ e355-8Piu [59.147.205.222])
垢版 |
2021/10/28(木) 14:25:26.01ID:/JQ+cDxR0
Windowsの「ペイント」で1桁の数字を手書きで書きました。（白い背景に黒い文字）
MNISTの数字のデータとフォーマットを合わせるために以下の処理をしました。
「9」を書いたファイル'my9.png'を読み込んで処理しています。
その後、TensorflowでMNISTデータをもとに学習したニューラルネットワークで、自分で書いた数字が
どの数字なのかpredictしようと思ったのですが、エラーが出てしまいました。

im = cv2.imread('my9.png')
im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
im = cv2.resize(im, (28,28))
im = 255 - im
plt.imshow(im)
plt.show()
im = im.astype('float32') / 255

どこがおかしいでしょうか？
137デフォルトの名無しさん (ﾜｯﾁｮｲ e355-8Piu [59.147.205.222])
垢版 |
2021/10/28(木) 15:10:41.68ID:/JQ+cDxR0
>>136

できました。
138デフォルトの名無しさん (ｵｯﾍﾟｹ Src9-7fOG [126.166.196.87])
垢版 |
2021/10/28(木) 20:03:24.43ID:wfj4dZHQr
エラーが出た行とエラー内容も書かずに質問するのか
2021/10/28(木) 21:06:28.72ID:WwVFv2u/0
255-imがいらなかったんだろうなー
2021/10/29(金) 12:47:13.80ID:w1emczzyM
pyspark使ってる人いるかな？
141デフォルトの名無しさん (ﾜｯﾁｮｲ d255-JVmF [59.147.205.222])
垢版 |
2021/10/29(金) 17:28:34.23ID:r5VFCi870
説明変数だの目的変数だの日本語訳がわかりにくすぎませんか？
2021/10/29(金) 22:01:37.45ID:CLB0ll/O0
古文とか読む感じだな
2021/10/29(金) 22:07:23.57ID:fcpAiBWb0
えぇ...
2021/10/29(金) 22:31:48.18ID:eYBNQqdu0
false positive false negativeは毎回どっちやねんてなる
2021/10/30(土) 10:45:24.70ID:hp2FAMiS0
パーセプトロンで、重みを0で初期化してはいけない理由がわかりません。
2021/10/30(土) 13:21:19.95ID:Hk2+2XTH0
重みを0で初期化しても学習で重みが更新されていけば問題ないんじゃないですか？
誰かがそう言っていても実際に問題がなければ間違いだと判断していいと思います
例外的に問題が発生するかもしれないけど、その場合はその条件を明らかにしたらいいと思います
2021/10/30(土) 13:48:25.73ID:nyF2svEf0
うまくいかないから
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況