Pythonのお勉強 Part67

2022/05/26(木) 13:45:15.95

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その57
http://mevius.5ch.net/test/read.cgi/tech/1653225908/

〇前スレ〇 Pythonのお勉強 Part66
http://mevius.5ch.net/test/read.cgi/tech/1636970383/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/08/19(金) 18:18:59.86

質問なんだが再来年に256コアのcpuが販売されるらしい。
これってpythonにとってどうなるのか？
Threadクラス、multiprocessing、concurrent.futures
[placによる並列処理] [lokyを使ってみよう] [numba を用いた並列計算]
[joblibを使ってみよう] [joblibのAPIドキュメント]
並列処理が多すぎてどれがいいかわからない。
並列処理を実際にしてる人でお勧めがあれば教えてくだされ。

2022/08/19(金) 18:29:20.19

処理が遅いのは大抵I/Oで詰まってるからなので、
詰まってる人はほっといて他の仕事から先に片付けるとI/Oの効率は最大になる
並列(並行)処理が速いのはそんな時

でも256個とかになるとそんなに要らんので、有効活用しようとすると処理を分割して
同時に処理させないと活きてこない
それは勝手にはやってくれないので、人間が頭を絞っていいやり方を考えないといけない

2022/08/19(金) 19:38:06.62

>>641
multiprocessing
使っとけばよろしい

2022/08/19(金) 19:51:21.39

>>642
並列処理専門の本で確認したのですがコアが３２コアだとコスパが良いのですが
その記事には６４コア以降はパフォーマンスがあまりよくないという内容でした。
（データにもよるだろうけど）
>>643
アドバイスありがとう。
multiprocessingを深堀していくね。

2022/08/19(金) 19:54:51.45

GPUなんか数1000コアなのに

2022/08/19(金) 20:11:53.33

>>641
ぶっちゃけPythonで多コア活用はあまり意味がない。
ないよりはいいけど、本気で高速化したいなら、128コアのCPUに頼る前にC++とか使ったりGPGPU使ったりの本気の高速化をする。
あまり苦労せずに一回回すのに1時間かかるコードが5分になったらいいなー、とかでmultiprocessingモジュールを使うことはあるけどね。

2022/08/19(金) 20:13:53.76

>>646
ちょっと前に並列化をした結果、並列化の速度と並列化しない速度の差があまり
なかったです。（泣）
GPGPUとmultiprocessingを本気で今から学びます！
オッス！

**デフォルトの名無しさん** (JP 0Hd6-530q) · 2022/08/19(金) 20:38:16.20

multiprocessing使ってるけど、
8コアのうち6コア使って動かしてるけど、たまに途中で止まってるときあるんだよね
予備は3コア必要なんだろうか？

2022/08/19(金) 20:38:32.50

>>644
Windowsにはプロセッサグループという概念があって1グループあたり64コアまでしか扱えないらしく、かなり意識してプログラムを組まないと同時に64コア以上は使えないらしい（細部がうろ覚えだけど）
そういう話も関係してるかもね

2022/08/19(金) 20:58:15.36

>>649
情報ありがとう！
つまりcpuは６４コアでgpuは８枚差しの方が効率が良いってことですね。
今必死に情報を集めてます。
Kaggle,Google Scholar,Coursera,arXiV,OpenAI Gym,quora,qiita
Stack Overflowなどを必死にやります！
調べまくってevernoteで20 GB の月間アップロードを目指します。

2022/08/20(土) 01:08:34.94

>>646
馬鹿なのでは

2022/08/20(土) 06:57:22.77

Pythonならmultiprocessing使わない限り
基本的に1CPUしか使わんだろ。

2022/08/20(土) 16:38:32.55

そんなことないよ

2022/08/20(土) 17:55:01.00

基本的にってなんだ正確に言え

2022/08/20(土) 18:21:49.78

>>653
どんな場合に複数CPU使うの？

2022/08/20(土) 18:39:29.83

複数CPUと複数コア（というか複数スレッド）は違う
複数スレッドと複数プロセスも違う

2022/08/20(土) 18:47:40.33

複数のリクエストを処理する場合は必要だろうな

2022/08/20(土) 19:40:48.08

A Per Interpreter GILなんて提案もあるんだけど
クッソ難航してるからあまり期待はできない
https://peps.python.org/pep-0684/

2022/08/20(土) 20:01:08.00

まず並列処理と並行処理の違いを勉強しよう
日本語の言葉遊びではないよ
さらにこれの上位概念として複数ノードでの並列計算というものがある
これはいわゆるスパコンでやってるような処理

2022/08/20(土) 20:07:21.45

並行処理なんかただの気の持ちよう
今日は会社に行って明日は畑を耕したら、それは並行処理

2022/08/20(土) 20:10:44.63

並列処理もソフトウェアによるものとハードヴェによるものがある
そして並行処理も並列処理のエッセンスが必要
さらに外部ストレージが絡むとはなしはややこしくなる

2022/08/20(土) 20:32:44.28

ソフト的に実現する並列処理なんかねえよ

2022/08/20(土) 20:56:09.50

そもそも複数CPUで、って書いてあるのに並行処理とか言う奴は頭おかしい

2022/08/20(土) 21:04:50.83

漸化式を非同期で解いても仕方ない

2022/08/20(土) 22:39:58.25

上記のコメントでpycharmがおススメと書いてあるが
推奨スペックってありますか？
グラボがNVIDIA GeForce RTX 3090 Ti.で足りますか？
もしくは年末に発売されるvram48gじゃないと足りないですか？

2022/08/20(土) 23:21:11.83

グラボはどうでもいいけどメモリは16GBはあった方が良いよ
プロジェクトによるけどPycharmだけで3GB使ったりする
8GBだとツラい

2022/08/21(日) 00:05:37.33

複数cpuで並行はありうるだろ
並列とも言い難いし

2022/08/21(日) 13:01:50.32

parallelとcoherentは誤訳されやすい

2022/08/21(日) 13:06:54.87

グラボは深層学習でよっぽど巨大なモデルでも使わない限り8GBVRAMで良い(yolo3を6gbVRAMグラボで動かそうとしてメモリ不足のエラー出た)

だが画像認識ならともかくセグメンテーション、画像生成、言語処理だとかなりVRAMが要る

複数の深層学習モジュールを同時に動かすとかだと24gbのVRAMのを買うべきかなあ

2022/08/21(日) 19:06:00.72

ということは深層学習ならvramが48gを３枚くらいさせば
大丈夫ですか？

**デフォルトの名無しさん** (JP 0H8f-HxAL) · 2022/08/21(日) 20:28:07.75

3枚もさせるところないんだけど、どんなマザボ使ってんの？
自作PCなの？

2022/08/21(日) 20:59:40.93

こんなのか？
https://www.hpctech.co.jp/gpuproduct/hpct-wrsx31-4gp.htm

2022/08/21(日) 21:05:54.68

マザーボードグラボ何枚まで？
マザーボード：PCIeスロットの多い板を推奨なお
使うグラフィックボードによって同時に使用できるグラボの数は限界があります。
一般的なゲーマー向けグラボ※だと、基本的に最大13枚が限界です。
13枚が限界のようです。

2022/08/21(日) 22:24:30.82

常にフルロードじゃないならクラウドでよくない？
見積もりで何万円もかかりそうならもうそこで満足
趣味だと結果を求めてやってるわけじゃないから

2022/08/21(日) 22:28:24.99

ストレージも計算力も、個人がそれぞれに持っても効率悪いだけだしな

2022/08/21(日) 22:37:21.21

>>674
そうですね。クラウドでもありがと思ってます。
昔の話なのですが、当時はメモリ２ギガの癖に３か月縛りっていう
サービスがありました。今だと数十円、数百円程度で済むのにｗ
あとはgoogle pro plusなんかもいいかなーって思ってます。
実際にpro plusを使ってる人がいらっしゃいましたら是非感想を聞かせて下さい。

2022/08/21(日) 23:21:46.43

電線の温度が上がって、家事にならないの？

2022/08/22(月) 02:00:32.36

GILがあるから他言語のスレッド処理にあたるものはPythonのMultiThreadではほとんど効果が得られない
よってCPUバウンドはMultiProcessingでParallel処理、IOバウンドはコルーチンで（async対応ライブラリを使用して）Concurrent処理が良いと思う

2022/08/22(月) 04:40:58.14

>>678
gil解除の方法を見つけました。
複数のスレッド処理を行っても、GILの仕組みにより
Pythonの命令は一つずつ処理され同時に処理できません。だそうです。
処理はI/O boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.dummy.Pool を使う
→ または、 futures.ThreadPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ThreadPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、threading を使って、さらに柔軟にモデルを組み立てる
処理はCPU boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.Pool を使う
→ または、 futures.ProcessPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ProcessPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、multiprocessing を使って、さらに柔軟にモデルを組み立てる
案外しんどいので、それよりpysparkやPython chapel やcudaに専念しますね。
情報サンキュー！
どうしてもvramが48gが二つか３つ必要です（コストの都合上それ以上は無理ｗ）
クラウドにするならAWS・Azure・GCPどれがいいんだろう？
個人的にはgcpにしようかと検討してます。

2022/08/22(月) 07:08:55.06

次世代GPU「Ada AD102」をフル搭載した
900Wグラフィックスカード。
つまり２枚で1800Wですね。
電源ユニットが2500Wを二つでも３枚さしは厳しいですね。
何で電源ユニットって3000wとか4000ｗとかでないんだろう？
需要がないから？今後はW数はうなぎのぼりのはずなのですが。

2022/08/22(月) 07:31:54.38

pythonで高速化をする意味がわからない
はなからc++で作るかモジュールを作ればいい
機械学習のtensorflowやlightgbmもc++があるだろう

2022/08/22(月) 10:59:13.82

統一教会は半島人の醜さを如実に表してる

2022/08/22(月) 11:44:42.87

先に自民党を駆除しないと

2022/08/22(月) 13:59:57.95

公明：創価
民主：日教組
共産：民青
でFA?

2022/08/22(月) 14:01:21.24

>>677
なる

2022/08/22(月) 14:03:58.18

>>681
python使いはC++なんて書けないからね
それにシングルノードでCPUやGPUバウンダリな処理書きたい場合は適切なライブラリがあるから自前で書く理由はない

問題は複数ノードでの並列化だけどその場合はもう言語機能より他の仕組みでやるべき

kafkaとか

2022/08/22(月) 14:06:00.62

自民は壺か

2022/08/22(月) 14:35:50.08

>>681
C++で使っても結局GILに負けたことしかないからjit のほうが手軽だと思ってます

2022/08/22(月) 17:15:40.46

質問です。VSCodeで仮想環境を構築したんですが、それをさらにGithubで共有することは可能ですか？
ただのディレクトリとして共有して、それぞれの端末で仮想環境扱いにする感じですかね？

**デフォルトの名無しさん** (JP 0H8f-bRED) · 2022/08/22(月) 17:23:38.56

ご家庭で3000Wとか4000Wの電源使ったらブレーカー落ちるぞ

2022/08/22(月) 17:27:18.28

それだと200Vの独立電源かな
エアコン用を流用だな

2022/08/22(月) 17:37:14.37

>>689
MSが用意してる
拡張検索かググるくらいしよう

2022/08/22(月) 17:37:14.42

>>689
普通は仮想環境をそのまま丸ごとGitHubで共有しない

良くやるのはrequirements.txt使ってライブラリの一覧を書き出して
それを共有する

書き出し
pip freeze > requirements.txt

requirements.txt経由でのpipインストール
pip install -r requirements.txt

2022/08/22(月) 18:04:41.84

>>691
200vは理解できるのですが、300vとかはないのでしょうか？
200v 60aが最高なのでしょうか？
>>688
JIT有りの速度計測結果はなんと0.6[s]ほどになりました。
先ほどの26[s]と比べると43.6倍の高速化がなされたこととなります！
ここまでの速度とは知りませんでした。
高速化って凄いですね。

2022/08/22(月) 18:07:01.72

>>693
ありがとうございます。環境はそれで構築出来ますね。
他のファイルとかはGithubで共有することは可能でしょうか？

2022/08/22(月) 18:14:42.89

>>692
言えてるw

2022/08/22(月) 19:44:48.52

>>694
だってそもそもご家庭に300Vの電圧なんて引けないでしょ。
三相100Vなら配線を変えると200Vが取り出せる

**デフォルトの名無しさん** (JP 0H8f-u9r1) · 2022/08/22(月) 19:59:11.64

そのレベルまで検討してる人って、電気代どれくらい使ってんの？
俺はせいぜい月6000円ぐらいだけど、それでも多いなと思ってたけど、今の話って桁が違うよね

2022/08/22(月) 20:48:50.04

>>697
情報ありがと！
200vにしますし、電源ユニットも二つにします。

2022/08/22(月) 21:31:31.34

>>697
> 三相100V
単相３線な

2022/08/22(月) 23:31:07.90

工事代と電気代を考えると
クラウドの方がいいと思うけどな

2022/08/23(火) 07:53:52.34

ガーシーのサロンは月4千円

Mastodon で、10万人のライブ・同時配信とか、
電気代が1億円とか行くんじゃないの？とか言われている

2022/08/23(火) 08:25:34.84

2chでええやん

2022/08/24(水) 17:45:11.44

vram48gを二つ必要な深層学習ってあるの？
これでも足りないことってありますか？

2022/08/24(水) 17:54:47.72

脳の強みは結局超並列処理だから、
それを真似しようとしたらプロセッサとメモリはたくさん要るだろう

2022/08/24(水) 18:00:31.01

多重人格者って、実はすごいんだ

2022/08/24(水) 18:03:55.32

>>705
48g二つでこれが出来る、これが出来ないとか
そういうデータがあれば教えてほしいです。
メモリは256Gが限界です（コスト的にｗ）

2022/08/24(水) 18:28:08.98

なんでもできるんじゃないの
規模を大きくすると精度が上がって遅くなる

2022/08/26(金) 10:50:16.17

django
https://www.youtube.com/watch?v=783JIyyyxMk

2022/08/26(金) 10:55:18.83

見る時間無駄だから
要約してココへ書けよ
なんのための掲示板だよw

2022/08/26(金) 20:59:12.34

結局vramは24gでいいのか、48gでいいのか48x2がいいのか。
ディープラーニングはメモリ不足に陥りやすい
ディープラーニングは
画像などのデータを大量に読み込んで処理するため
膨大なメモリが必要となりGPUのメモリ不足に陥りやすいです。
画像を高速で処理し複数の計算を同時に行える環境が必要となります。

こんな記事がある。
けど、もっと詳細でこういう処理したらエラーになったよ。
っていうデータがあれば嬉しいんですけど。
費用がある為、cpuは64コア、メモリは256g,vramは48x2
これ以上のコストは出せない・・・ｗ

2022/08/26(金) 21:42:16.69

画像だからというか、階層が多いから

2022/08/26(金) 22:08:21.32

クラウドのが必要なときに必要な分リソース確保できるのに
なぜローカルでやろうとするのか
手持ちのビデオカード活かすならわからんでもないが

2022/08/26(金) 22:21:14.76

メモリ使用量なら、今ある環境で試算しろよ・・・
与えるパラメータを上下させるなり、モデルを削るなり
利用する手法自体だっていくらでもある

こんなところで聞くより
より詳細で有用なデータが取れるぞ

2022/08/27(土) 02:07:03.19

そこをラーニングせよって話だよな

2022/08/27(土) 03:58:33.36

「ラーニングするのは人間」
と云った、機械学習の大先生がいたな

2022/08/27(土) 06:10:10.22

もっとちゃんとしたAIを作れば汎用に使えるんだろうけど、
現状は激しく単純化してるので、使えるようにする工夫が必要
それが人間のラーニング

2022/08/27(土) 08:50:55.78

「もっとちゃんとしたAI」ってのをAI通すとどう解いてくれるんだろうな

2022/08/27(土) 09:03:15.05

脳をまるごとシミュレートすればいいだけ

2022/08/27(土) 10:45:12.52

イチイチ抽象的でプログラミングのスレとは思えないレベルの低さだな

2022/08/27(土) 11:32:56.39

>>713
おススメのクラウドありまっか？

2022/08/27(土) 14:16:02.60

ラズパイにWebアプリTornado入れ、そこからモーターを動かしたいのですが、ちょっと質問が

とりあえずTornado経由でモーターのオンオフはできた
https://dpaste.com/EWM78GFRF

24行目のio_expander_test.onでオン
27行目のio_expander_test.offでオフ
io_expander_test.onの中身はモーターを回す単発命令をしてるだけ

このとき「1秒回しては1秒止めるを繰り返す（あくまでも例）」みたいな感じで、io_expander_test.onの中で無限ループさせたいんです
async、awaitを使っているので、無限ループさせてもちゃんとWebアプリが応答できるのは確認してます
問題なのは無限ループさせたio_expander_test.onの中身をどうやって止めたらいいのでしょうか？

マルチスレッドやTornadoのことを調べてみてもよく分からず
ここのページを見ろとかでも良いのでどなたかアドバイスがあればお願いします！

環境は↓
ラズパイ4B
Python 3.7.3
Tornado 6.2

2022/08/27(土) 14:29:34.31

米国年収では、Ruby on Rails は1,300万円。
それ以上なのが、AWS Solution Architect の資格で1,400万円。
今は円安で、1,800万円ぐらいだろう

AWS Certified Machine Learning - Specialty は、
機械学習の資格で、これも高いと思う

まあ、GCP にもあるのだろうが、資格の本が売っていない

2022/08/27(土) 14:41:00.76

>>723
機械学習ならコーセラはどうなの？
個人的にはコーセラ派なんだが。

2022/08/27(土) 15:50:01.91

>>709
かよちんは、大学生でプログラミングスクールに通って、
Ruby on Rails のポートフォリオを作って就職した

そこで運用を1年やって転職した。
新しい会社では、Django をやっている

すごい成長力

2022/08/27(土) 18:04:34.98

ケソタは成長止まってるな

2022/08/27(土) 18:23:30.29

>>723
その機械学習の資格って日本では意味ないかね？
取って損はないから取ろうかと

2022/08/27(土) 18:25:18.56

GAFAMの給料が3000万とか言われてるけど
そりゃ普通のエンジニアですら1000万以上貰えるんだから別に高くもないよな
むしろ適正
日本がやば過ぎる

2022/08/27(土) 18:33:52.13

日本の技術者や研究者はみんなマゾだからな

2022/08/27(土) 18:36:24.46

Cloud Architect
Cloud Database Engineer
Cloud Developer
Data Engineer
Cloud DevOps Engineer
Cloud Security Engineer
Cloud Network Engineer
Google Workspace Administrator
Machine Learning Engineer
gcpって資格多すぎやろ・・・ｗ
どれが深層学習なんだ？？

2022/08/27(土) 18:39:04.58

ちゃんと貯金すれば普通に数億すぐ貯まるよな
マジで羨ましい

2022/08/27(土) 18:51:02.24

>>731
資格も大切だけど、資格を作る方が楽しかったりするぞい！
pythonだって国内だと資格いくつかあるっしょ。
あとは海外にもpython系の資格はあるけど。
どうせなら作った方が楽しいと思うんだけど

**723** (ﾜｯﾁｮｲ 292c-hr9C) · 2022/08/27(土) 18:59:06.70

日本は一旦雇うと解雇できないから、米国の1/3～1/4 ぐらいの給料になる。
米国は全員がフリーランス

そりゃ、AWS の機械学習の資格は確かでしょ。
文系では、ほとんど意味が分からず無理

文系の馬鹿が一発逆転できるのが、Ruby on Rails だけ

だから皆、YouTube で有名な雑食系エンジニア・KENTA の初心者向けサロンへ入ったり、
くろかわこうへいのAWS サロンへ入ったり、学校・合宿などへ行く

2022/08/27(土) 19:07:32.30

クビになるかもしれないから努力続けるとか、
努力の甲斐あってもっと高い給料の所に移れるとか、
努力できる奴はいいけど、安くていいからクビにしないでという方が多数派で、
そっちに合わせたらこうなった
その後、仕組みを変更して、安い上にクビにもなるという最悪状態に

**723** (ﾜｯﾁｮｲ 292c-hr9C) · 2022/08/27(土) 19:10:19.63

GCP にも資格があったのか。
本屋には、AWS, Azure の本しかなかった

AWS では、Solution Architect が最も重要で、
その次が、Associate 3冠。
3冠は、Solution Architect と、開発者・運用の2つ

Specialty には機械学習などがある

12冠すべてを持つジェダイマスターは、日本に15人ぐらいいるらしい。
クラスメソッドに8人、NRI に何人かいるとか

2022/08/27(土) 19:47:51.24

>>735
awsを取得して何かメリットある？
例えば独占業務があるとか、それとも名称独占なのか？
独占業務ならいいけど。名称なら資格なくても出来るならねぇ。
awsで深層学習ってそもそもあるっけか？

2022/08/27(土) 20:25:36.76

みっつけた！
AWS Deep Learning AMI
これがあるみたいだね！

2022/08/27(土) 20:55:40.47

https://dpaste.com/95GZ6ZMC4
pygameでさめがめ作っているのですが、
基盤データを格納している二次元リスト board が更新できません。
正確には縦一列削除したら左に詰めるよう（align関数）しているはずなんですが、
なんでか左詰めがうまくできません。
print(*board)
すると、要素を削除してデータ更新してうまく動いているはずなんですが、データ自体
の更新がデータ上されてないです。考えたんですが原因がちょっとわからないです。

2022/08/27(土) 22:26:57.11

>>738
boardは30x20なのに見えてるのは15x10

2022/08/27(土) 23:32:21.93

ブラウザでpygame動かす環境とかありますかね？