Pythonのお勉強 Part67

2022/05/26(木) 13:45:15.95

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その57
http://mevius.5ch.net/test/read.cgi/tech/1653225908/

〇前スレ〇 Pythonのお勉強 Part66
http://mevius.5ch.net/test/read.cgi/tech/1636970383/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/08/17(水) 14:13:52.60

Jupyter notebookの起動について質問です。
Windows11 でMicroroft StoreからPython3をインストール。
その後コマンドプロンプトからJupyter notebookをインストールしました。
しかしコマンドプロンプトからjupyter notebookを起動しても、
「Jupyterは、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチファイルとして認識されていません。」
となってしまいます。
環境変数の問題かなと思いましたが、Storeからインストールするとインストール先のパスにはアクセス出来ません。
どうしたらよろしいでしょうか？
ネットではAnacondaの方法ならあるのですが、単体のものはあまり見つかりません。
何かわかる方、教えていただきたく。

2022/08/17(水) 15:15:51.82

なんでstore版pythonインストールしちゃったの？
それはゴミだぞ

もしstore版のままがいいってんなら、store版 pip パス通すとかで検索するがよろし

でもみんな公式版使ってて、ほとんどのハウツーが公式版準拠なのでstore版じゃ不具合出たりするで
いますぐstore版捨てて公式入れるの推奨

2022/08/17(水) 15:41:50.03

>>610
ありがとうございます。今すぐstore版捨てて公式からやり直します

2022/08/17(水) 15:53:27.73

>>611です。
公式からインストールしたらjupyter notebookも起動しました。ありがとうございました。

2022/08/17(水) 16:02:25.55

MS版ってなんで存在するんだろうか。謎

2022/08/17(水) 16:15:23.24

>>608
雨に関する用語だけでもこんなにあるんだゾ！
jma.go.jp/jma/kishou/know/yougo_hp/kousui.html

2022/08/17(水) 17:01:37.90

できた。
imgur.com/a/Yllq4aY
予報業務許可事業者を取得したら全て公開するゾ！

2022/08/17(水) 17:23:51.24

>>614-615
pythonや、コードやライブラリに関係ない話は気象板でやれ。板違いだ
https://kizuna.5ch.net/sky/

2022/08/17(水) 18:38:53.01

荒らしてる自覚無いんだろうな

**デフォルトの名無しさん** (JP 0H8a-nfk/) · 2022/08/17(水) 19:49:06.93

すごいねーって言ってほしいのかな

2022/08/17(水) 20:05:42.40

俺は好きだよ
お前らも若き才能に嫉妬せず応援してやれよ

2022/08/17(水) 20:25:02.13

>>613
会社のPCはインストーラでのインストールは管理者しかインストール出来ないがStoreのモノは一部インストールが認められていてpythonやvscodeのインストールは無許可でインストール出来るようになっている

私的には不具合なんか起こることもないしコレで困ったことも無いので好きな方入れればイイと思うわ

2022/08/17(水) 20:44:24.68

才能があるとは思わないぞ

2022/08/17(水) 21:07:52.42

>>620
へ～へ～へ～（65へぇ）

2022/08/18(木) 11:40:40.58

プログラム板的には Jupyter notebook よりも streamlit の方がお薦め

2022/08/18(木) 11:41:54.14

>>610
>>613
ほんそれ

2022/08/18(木) 12:25:28.63

公式でもpipのパス通す必要なかったっけ

2022/08/18(木) 16:40:21.55

jupyter notebookとstreamlitじゃ結構目的が違うでしょ。
どっちがお勧めというものでもないと思うが。

2022/08/18(木) 17:17:03.39

ピーソンってやったほうがいい？

2022/08/18(木) 18:03:16.39

>>626
結構どころか目的が全然違うだろ

2022/08/19(金) 06:44:36.36

質問です。
PyCharm.
Atom.
Eclipse.
Visual Studio.
VScode.
どれがおすすめでしょうか？
分散処理、並列処理希望でcuda、マルチgpuもあれば。

2022/08/19(金) 07:08:18.58

そこまで要件決まってるなら
自分で調べて検討出来ると思うけど

2022/08/19(金) 07:26:22.69

>>629
エディタと
>分散処理、並列処理希望でcuda、マルチgpuもあれば。
ってあんまり関係無いぞ

まあ強いてゆうなら
有償版使う気ならPyCharm一択
無償でやるしかないならVSCodeっていう感じじゃね？
各種使い勝手とか機能面で言えば有償版PyCharm以外選択肢無いし

2022/08/19(金) 07:43:48.49

vscode最強！！vscode最強！！vscode最強！！

2022/08/19(金) 07:52:31.10

PyCharmの導入検討してるんだけど
どういうところがいいか教えてほしい
今はvscode使ってる

2022/08/19(金) 07:56:49.36

強いよね。デバグ、バージョン管理、アドオン、隙がない

2022/08/19(金) 08:39:56.26

何てったってIDLE

2022/08/19(金) 11:22:23.52

俺はAtomから始めたけど、カスタマイズたのしーって思ってた。
vscodeさわる機会あったから使ってみたらいつの間にかAtom消してたわ

2022/08/19(金) 12:21:31.93

今は端末に、コードを入力したりしない

Ruby の本でも、VSCode の拡張機能・Code Runner で、
右クリックメニューから、選択したコード片を実行しましょうと書いてあるぐらい

2022/08/19(金) 12:25:04.79

スマホで文字入力するの大変だしな

2022/08/19(金) 13:39:36.57

おもちゃでプログラミングとか

2022/08/19(金) 13:52:35.97

>>633
とにかく楽
必要な物はひと通り揃ってる
困った時はサポートに相談できるし時間を買うような感覚

2022/08/19(金) 18:18:59.86

質問なんだが再来年に256コアのcpuが販売されるらしい。
これってpythonにとってどうなるのか？
Threadクラス、multiprocessing、concurrent.futures
[placによる並列処理] [lokyを使ってみよう] [numba を用いた並列計算]
[joblibを使ってみよう] [joblibのAPIドキュメント]
並列処理が多すぎてどれがいいかわからない。
並列処理を実際にしてる人でお勧めがあれば教えてくだされ。

2022/08/19(金) 18:29:20.19

処理が遅いのは大抵I/Oで詰まってるからなので、
詰まってる人はほっといて他の仕事から先に片付けるとI/Oの効率は最大になる
並列(並行)処理が速いのはそんな時

でも256個とかになるとそんなに要らんので、有効活用しようとすると処理を分割して
同時に処理させないと活きてこない
それは勝手にはやってくれないので、人間が頭を絞っていいやり方を考えないといけない

2022/08/19(金) 19:38:06.62

>>641
multiprocessing
使っとけばよろしい

2022/08/19(金) 19:51:21.39

>>642
並列処理専門の本で確認したのですがコアが３２コアだとコスパが良いのですが
その記事には６４コア以降はパフォーマンスがあまりよくないという内容でした。
（データにもよるだろうけど）
>>643
アドバイスありがとう。
multiprocessingを深堀していくね。

2022/08/19(金) 19:54:51.45

GPUなんか数1000コアなのに

2022/08/19(金) 20:11:53.33

>>641
ぶっちゃけPythonで多コア活用はあまり意味がない。
ないよりはいいけど、本気で高速化したいなら、128コアのCPUに頼る前にC++とか使ったりGPGPU使ったりの本気の高速化をする。
あまり苦労せずに一回回すのに1時間かかるコードが5分になったらいいなー、とかでmultiprocessingモジュールを使うことはあるけどね。

2022/08/19(金) 20:13:53.76

>>646
ちょっと前に並列化をした結果、並列化の速度と並列化しない速度の差があまり
なかったです。（泣）
GPGPUとmultiprocessingを本気で今から学びます！
オッス！

**デフォルトの名無しさん** (JP 0Hd6-530q) · 2022/08/19(金) 20:38:16.20

multiprocessing使ってるけど、
8コアのうち6コア使って動かしてるけど、たまに途中で止まってるときあるんだよね
予備は3コア必要なんだろうか？

2022/08/19(金) 20:38:32.50

>>644
Windowsにはプロセッサグループという概念があって1グループあたり64コアまでしか扱えないらしく、かなり意識してプログラムを組まないと同時に64コア以上は使えないらしい（細部がうろ覚えだけど）
そういう話も関係してるかもね

2022/08/19(金) 20:58:15.36

>>649
情報ありがとう！
つまりcpuは６４コアでgpuは８枚差しの方が効率が良いってことですね。
今必死に情報を集めてます。
Kaggle,Google Scholar,Coursera,arXiV,OpenAI Gym,quora,qiita
Stack Overflowなどを必死にやります！
調べまくってevernoteで20 GB の月間アップロードを目指します。

2022/08/20(土) 01:08:34.94

>>646
馬鹿なのでは

2022/08/20(土) 06:57:22.77

Pythonならmultiprocessing使わない限り
基本的に1CPUしか使わんだろ。

2022/08/20(土) 16:38:32.55

そんなことないよ

2022/08/20(土) 17:55:01.00

基本的にってなんだ正確に言え

2022/08/20(土) 18:21:49.78

>>653
どんな場合に複数CPU使うの？

2022/08/20(土) 18:39:29.83

複数CPUと複数コア（というか複数スレッド）は違う
複数スレッドと複数プロセスも違う

2022/08/20(土) 18:47:40.33

複数のリクエストを処理する場合は必要だろうな

2022/08/20(土) 19:40:48.08

A Per Interpreter GILなんて提案もあるんだけど
クッソ難航してるからあまり期待はできない
https://peps.python.org/pep-0684/

2022/08/20(土) 20:01:08.00

まず並列処理と並行処理の違いを勉強しよう
日本語の言葉遊びではないよ
さらにこれの上位概念として複数ノードでの並列計算というものがある
これはいわゆるスパコンでやってるような処理

2022/08/20(土) 20:07:21.45

並行処理なんかただの気の持ちよう
今日は会社に行って明日は畑を耕したら、それは並行処理

2022/08/20(土) 20:10:44.63

並列処理もソフトウェアによるものとハードヴェによるものがある
そして並行処理も並列処理のエッセンスが必要
さらに外部ストレージが絡むとはなしはややこしくなる

2022/08/20(土) 20:32:44.28

ソフト的に実現する並列処理なんかねえよ

2022/08/20(土) 20:56:09.50

そもそも複数CPUで、って書いてあるのに並行処理とか言う奴は頭おかしい

2022/08/20(土) 21:04:50.83

漸化式を非同期で解いても仕方ない

2022/08/20(土) 22:39:58.25

上記のコメントでpycharmがおススメと書いてあるが
推奨スペックってありますか？
グラボがNVIDIA GeForce RTX 3090 Ti.で足りますか？
もしくは年末に発売されるvram48gじゃないと足りないですか？

2022/08/20(土) 23:21:11.83

グラボはどうでもいいけどメモリは16GBはあった方が良いよ
プロジェクトによるけどPycharmだけで3GB使ったりする
8GBだとツラい

2022/08/21(日) 00:05:37.33

複数cpuで並行はありうるだろ
並列とも言い難いし

2022/08/21(日) 13:01:50.32

parallelとcoherentは誤訳されやすい

2022/08/21(日) 13:06:54.87

グラボは深層学習でよっぽど巨大なモデルでも使わない限り8GBVRAMで良い(yolo3を6gbVRAMグラボで動かそうとしてメモリ不足のエラー出た)

だが画像認識ならともかくセグメンテーション、画像生成、言語処理だとかなりVRAMが要る

複数の深層学習モジュールを同時に動かすとかだと24gbのVRAMのを買うべきかなあ

2022/08/21(日) 19:06:00.72

ということは深層学習ならvramが48gを３枚くらいさせば
大丈夫ですか？

**デフォルトの名無しさん** (JP 0H8f-HxAL) · 2022/08/21(日) 20:28:07.75

3枚もさせるところないんだけど、どんなマザボ使ってんの？
自作PCなの？

2022/08/21(日) 20:59:40.93

こんなのか？
https://www.hpctech.co.jp/gpuproduct/hpct-wrsx31-4gp.htm

2022/08/21(日) 21:05:54.68

マザーボードグラボ何枚まで？
マザーボード：PCIeスロットの多い板を推奨なお
使うグラフィックボードによって同時に使用できるグラボの数は限界があります。
一般的なゲーマー向けグラボ※だと、基本的に最大13枚が限界です。
13枚が限界のようです。

2022/08/21(日) 22:24:30.82

常にフルロードじゃないならクラウドでよくない？
見積もりで何万円もかかりそうならもうそこで満足
趣味だと結果を求めてやってるわけじゃないから

2022/08/21(日) 22:28:24.99

ストレージも計算力も、個人がそれぞれに持っても効率悪いだけだしな

2022/08/21(日) 22:37:21.21

>>674
そうですね。クラウドでもありがと思ってます。
昔の話なのですが、当時はメモリ２ギガの癖に３か月縛りっていう
サービスがありました。今だと数十円、数百円程度で済むのにｗ
あとはgoogle pro plusなんかもいいかなーって思ってます。
実際にpro plusを使ってる人がいらっしゃいましたら是非感想を聞かせて下さい。

2022/08/21(日) 23:21:46.43

電線の温度が上がって、家事にならないの？

2022/08/22(月) 02:00:32.36

GILがあるから他言語のスレッド処理にあたるものはPythonのMultiThreadではほとんど効果が得られない
よってCPUバウンドはMultiProcessingでParallel処理、IOバウンドはコルーチンで（async対応ライブラリを使用して）Concurrent処理が良いと思う

2022/08/22(月) 04:40:58.14

>>678
gil解除の方法を見つけました。
複数のスレッド処理を行っても、GILの仕組みにより
Pythonの命令は一つずつ処理され同時に処理できません。だそうです。
処理はI/O boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.dummy.Pool を使う
→ または、 futures.ThreadPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ThreadPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、threading を使って、さらに柔軟にモデルを組み立てる
処理はCPU boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.Pool を使う
→ または、 futures.ProcessPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ProcessPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、multiprocessing を使って、さらに柔軟にモデルを組み立てる
案外しんどいので、それよりpysparkやPython chapel やcudaに専念しますね。
情報サンキュー！
どうしてもvramが48gが二つか３つ必要です（コストの都合上それ以上は無理ｗ）
クラウドにするならAWS・Azure・GCPどれがいいんだろう？
個人的にはgcpにしようかと検討してます。

2022/08/22(月) 07:08:55.06

次世代GPU「Ada AD102」をフル搭載した
900Wグラフィックスカード。
つまり２枚で1800Wですね。
電源ユニットが2500Wを二つでも３枚さしは厳しいですね。
何で電源ユニットって3000wとか4000ｗとかでないんだろう？
需要がないから？今後はW数はうなぎのぼりのはずなのですが。

2022/08/22(月) 07:31:54.38

pythonで高速化をする意味がわからない
はなからc++で作るかモジュールを作ればいい
機械学習のtensorflowやlightgbmもc++があるだろう

2022/08/22(月) 10:59:13.82

統一教会は半島人の醜さを如実に表してる

2022/08/22(月) 11:44:42.87

先に自民党を駆除しないと

2022/08/22(月) 13:59:57.95

公明：創価
民主：日教組
共産：民青
でFA?

2022/08/22(月) 14:01:21.24

>>677
なる

2022/08/22(月) 14:03:58.18

>>681
python使いはC++なんて書けないからね
それにシングルノードでCPUやGPUバウンダリな処理書きたい場合は適切なライブラリがあるから自前で書く理由はない

問題は複数ノードでの並列化だけどその場合はもう言語機能より他の仕組みでやるべき

kafkaとか

2022/08/22(月) 14:06:00.62

自民は壺か

2022/08/22(月) 14:35:50.08

>>681
C++で使っても結局GILに負けたことしかないからjit のほうが手軽だと思ってます

2022/08/22(月) 17:15:40.46

質問です。VSCodeで仮想環境を構築したんですが、それをさらにGithubで共有することは可能ですか？
ただのディレクトリとして共有して、それぞれの端末で仮想環境扱いにする感じですかね？

**デフォルトの名無しさん** (JP 0H8f-bRED) · 2022/08/22(月) 17:23:38.56

ご家庭で3000Wとか4000Wの電源使ったらブレーカー落ちるぞ

2022/08/22(月) 17:27:18.28

それだと200Vの独立電源かな
エアコン用を流用だな

2022/08/22(月) 17:37:14.37

>>689
MSが用意してる
拡張検索かググるくらいしよう

2022/08/22(月) 17:37:14.42

>>689
普通は仮想環境をそのまま丸ごとGitHubで共有しない

良くやるのはrequirements.txt使ってライブラリの一覧を書き出して
それを共有する

書き出し
pip freeze > requirements.txt

requirements.txt経由でのpipインストール
pip install -r requirements.txt

2022/08/22(月) 18:04:41.84

>>691
200vは理解できるのですが、300vとかはないのでしょうか？
200v 60aが最高なのでしょうか？
>>688
JIT有りの速度計測結果はなんと0.6[s]ほどになりました。
先ほどの26[s]と比べると43.6倍の高速化がなされたこととなります！
ここまでの速度とは知りませんでした。
高速化って凄いですね。

2022/08/22(月) 18:07:01.72

>>693
ありがとうございます。環境はそれで構築出来ますね。
他のファイルとかはGithubで共有することは可能でしょうか？

2022/08/22(月) 18:14:42.89

>>692
言えてるw

2022/08/22(月) 19:44:48.52

>>694
だってそもそもご家庭に300Vの電圧なんて引けないでしょ。
三相100Vなら配線を変えると200Vが取り出せる

**デフォルトの名無しさん** (JP 0H8f-u9r1) · 2022/08/22(月) 19:59:11.64

そのレベルまで検討してる人って、電気代どれくらい使ってんの？
俺はせいぜい月6000円ぐらいだけど、それでも多いなと思ってたけど、今の話って桁が違うよね

2022/08/22(月) 20:48:50.04

>>697
情報ありがと！
200vにしますし、電源ユニットも二つにします。

2022/08/22(月) 21:31:31.34

>>697
> 三相100V
単相３線な

2022/08/22(月) 23:31:07.90

工事代と電気代を考えると
クラウドの方がいいと思うけどな

2022/08/23(火) 07:53:52.34

ガーシーのサロンは月4千円

Mastodon で、10万人のライブ・同時配信とか、
電気代が1億円とか行くんじゃないの？とか言われている

2022/08/23(火) 08:25:34.84

2chでええやん

2022/08/24(水) 17:45:11.44

vram48gを二つ必要な深層学習ってあるの？
これでも足りないことってありますか？

2022/08/24(水) 17:54:47.72

脳の強みは結局超並列処理だから、
それを真似しようとしたらプロセッサとメモリはたくさん要るだろう

2022/08/24(水) 18:00:31.01

多重人格者って、実はすごいんだ

2022/08/24(水) 18:03:55.32

>>705
48g二つでこれが出来る、これが出来ないとか
そういうデータがあれば教えてほしいです。
メモリは256Gが限界です（コスト的にｗ）

2022/08/24(水) 18:28:08.98

なんでもできるんじゃないの
規模を大きくすると精度が上がって遅くなる