【統計分析】機械学習・データマイニング30
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured 「Waymo」の自動運転車に60回以上乗って分かったその安全性とは？
https://gigazine.net/news/20201208-waymo-driverless-tech/
実際に乗客が走ってる映像も撮ってるからよく見ると言い >>45
そのうち働かなくていい時代がやってくる（鼻糞ホジホジ） AI に仕事を奪われたからどうだって言うんだよまだ時間はあるんだからそれまでに別の仕事を探すしかないだろう モザイク消したいのですが、最初に何を勉強したらいいのでしょうか？
tecoganのチュートは非常に少ないです
ganがいいのでしょうか？
pytorch gan colabでやってますです(´;ω;｀) 自分の脳みそを使えば、
AIなんて使わなくても、簡単にモザイク除去できる >>55
機械学習に頼らなくても
１フレームごとにその部分に似た角度の別画像を探して来て
その部分的を切り取り貼り付け境目をゴニョゴニョして、、、っていうアイコラ職人を自動化する方法もあるぞ >>57
じゃあ聞くなよ
聞いたら自作になんねーだろ 機械学習で遊んでみようと思うのですが、kerasが一番使いやすいのでしょうか？ 機械学習ならscikit-learnじゃん。
あとはXGBoost、LightGBM >>65
SVMやロジスティック回帰やりたい時、君は何を使うの？ Kerasが一番簡単だと思う。AutoMLでいいなら、PyCaretかAutoGluon使っとけ。 ありがとうございます！色々試してみます
あまり関係ないですがscikit-learnをスキキットラーンって勝手に読んでました いろんな方法があるけど
この手の問題はこの方法が第一候補みたいなデファクトスタンダード的なのはある？
とりあえずXGBoostとか
画像はCNN、深層学習とか
生成系ならGAN?とか
テキスト系ならこれとか 前のスレにあったPDFファイルでDNNを4層くらいで
データ数より多い横幅にして
ある方法で初期化すると
大域的最適解を学習できる
みたいなのが書いてあったと思うけど
実際に動かしたりした人いる？
あと圧縮できるくらい余裕があった方が汎化能力があるみたいなのも書いてあって
圧縮の方法の一つに量子化があると思うけど
素子の値の有効桁を変えたり整数で扱うとかで汎化能力が変わったりする？ テーブルデータはCatBoost
画像認識はCNNからTransformer(Attention)に移りつつある
テキストはTransformer(Attention)
生成系はGANだけど、GANは考え方だからやっぱりTransfomerっていう
時系列予測は(Auto)ARIMAとかProphet?
異常検知はk近傍とかIsolation Forestなのかな?
次元削減はt-SNEかUMAP
クラスタ分析はとりあえずk-meansでいいのかなぁ
最適化アルゴリズムはなんだろね、ディープラーニングとしてはAdamだけど、汎用的には最近の流行りはやっぱり量子アニーリング? >>71
元の資料は知らんが、単純にDropoutのことじゃないの? 100x100の画像を50万枚くらい使ってい学習してるんだけど
ストレージをHDDからSSDに変えたら学習速度って結構変わったりするのかな？
それとも読み込みの速度差って無視できるレベル？ >>77
GPU/CPUなりが100%で張り付いているなら変わらん。そうでなくても、その画像サイズなら、徐々にメモリに読み込んでキャッシュするようにしておけば、ほとんど影響ない
分散トレーニング(複数GPU利用)しているなら、高速ストレージを使うのがマスト 実際の実行速度で影響あるのはバックプロパゲーション部分がほとんどだからストレージの影響はあんまないでしょ。
よっぽど小さいモデルで単なる判別やるだけなら影響あるかもだが。 Yoloとかで画像内の大まかな位置検出、次いでU-netで細かい輪郭検出
一発で出来るデータセットあったらなあ ネットワークも欲しいしデータセットも欲しい
ところで最新の物体検出器のネットワークの各層の逆操作を丹念に作ってU-netに出来るのかな >>88
世界的に活躍中のモデル、ソン・ギョホンさんですね。 機械学習で処理してるならおｋ
最長一致法とか文節数最小法とかならたぶんスレチ 後、何年後ぐらいで本格的に人が要らなくなり
政府が対策を講じるようになるんだろな
日本はジジババ世代の影響もあり実店舗が他の先進国の2〜3倍あったと思ったが
それも大量に要らなくなりそうだし
田舎なんかコロナで市内のスーパー以外ほどんどの店で
スマホ決済だと25％OFFで物が買えるようになっているけど
スマホで決済している人を自分以外で見たこと無いぐらいなんで
今のジジババが生きてるうちは人が接しないと無理だろうけど 顔を見ただけで「この人に話しかけても無駄だな」
という老人は結構いる >>93
汎化性能どの程度か怪しいなあ
とりあえず日本人だけみたいだし >>97
やってないところあるんだな
市のキャンペーンで市内の店で購入すると実質25%OFFになる 単に顔認識してるだけでは？
データセットのトレーニングとテストに別れてるのかどうかも、
クロスバリデーションの記述もないし
色々おかしい >>94
リアルで出会う人間でも一目でそれと判るのが一定数居るよな
ボーダーは判らんかも試練がそれは機械でも判らんやろ 画像だけじゃわからんだろ。動画なら反応のおかしさで大体わかりそうだが。 >>105
違う。本人はとっくに非公開にしてる。
コード自体はforkされまくって拡散しているが。 んなもんリテラシーの低いあふぉを釣るための疑似餌じゃろ>>109 ソース流出したとかそんなことより年収300万なんてのが実在することの方が驚き
300万は額面だろうから手取りはもっと酷くなるだろうし 高めに判定して転職エージェントに客集めるとかなのかな >>113
それもあるだろうけど、
企業側には「私たちの転職サイトに登録している人は年収査定のためにGitHubに自作コードを公開した人たちなので、コードも書類選考の材料にできます」と
言えるのが利点だろう。
転職希望者と募集企業に両方に利点を作らないと差別化出来ないから。 有名なオープンソースのソースコードをコピーしてもわかんないの？ >>112
まだコミュニケーション能力とか強調して言ってるんだな
文系色が強いと言うか
技術者系なんか特化して異常に出来る奴程
コミュニケーション能力が無い
それをどう組み合わせるかがスタッキングで精度を上げるのに重要なんじゃないのか
コミュニケーション能力高い奴集めると
https://it.srad.jp/story/21/01/04/1941201/
こんな状況になるんだろう
マネージメント専門とか経営専門とかいらねーってことで
根こそぎクビをはねて行って
破綻寸前から米国初の時価総額2兆円企業になったアップルもいるけど >>116
非効率な業務を撲滅できないのはエンジニアにコミュ力がないのも大きな原因の一つだったりするんだけどな
明らかに無意味でどう考えても止めるべきな仕事を見て見ぬふりをしたり、小手先の自動化でお茶を濁したり
本職なら心当たあるだろ？ コミュニケーション能力ってなんだ？
定義が「仲良し能力」のケースが多くね？
相手に伝えたいこと、伝えてもらいたいいことを正確に伝達する能力がコミュ力だよな？ >>117
何か言うと仕事が自分に降りかかって来るんで
放置ってのはあるだろうな
やったらやったぶんだけ金くれるならやるけど >>116
リーダーが退職したならwinwinではないかな コミュ力って、ウェーイ力じゃない
チームで一緒に仕事をしていく能力のことな
周りと円滑に意思疎通できないと困るが、世間一般でいう陽キャである必要はない >ウェーイ力
コーヒー吹きそうになっただろw
うむ、こういう簡潔でわかりやすい言葉選びができるのもコミュ力だな チームで一緒に仕事をする能力と定義しちゃうと
空気を読む力が大きく左右しちゃうぞ
それは×だな 仕事仲間も仕事の提供先も人間なのに空気読む能力を軽視してよいはずがないんだけど 空気読んで将来発生しそうな問題点を隠蔽したら仕事はうまく進まなくなる危険性がある そういう仕事論は飲み屋で部下か後輩にでも語りなさい みざる
いわざる
きかざる
日本はずっと昔からそういう國 さてこれまでトレーニング&推論実行型のコードをカスタマイズしてきたが
今後は推論実行オンリーのを改造だ DEEPネットワークはカーネルマシーンの近似らしいぞ 横幅→∞での話？
深層になればカーネル法より有利らしいが これこれ
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
https://arxiv.org/abs/2012.00152 変分推論が何なのか理解できていればそもそもそんな質問が出てくるわけがない ベイズ推定行うときに事後分布が解析的に出てこないような複雑な分布を近似する手法じゃないんですか？
間違ってたらすみません >>133
カーネル関数をデータから学習しつつ
カーネル関数で写像してから分類とかする
と解釈出来るって言うのは前に貼られていたpdfファイルにも書かれていたな >>134
ありがたい例がすぐに出てこないので
現時点ではない
覚えておくと便利だよ 下世話ですがデータマイニングで簡単にお小遣い程度稼ぐにはどんなアイデアがありますか 既存データは分析済みだからね
データマイニングしても何も得られないと思う この分野は、ディープラーニングだけ勉強しておけばOK？ ■ このスレッドは過去ログ倉庫に格納されています
