Pythonのお勉強 Part67

2022/05/26(木) 13:45:15.95

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その57
http://mevius.5ch.net/test/read.cgi/tech/1653225908/

〇前スレ〇 Pythonのお勉強 Part66
http://mevius.5ch.net/test/read.cgi/tech/1636970383/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/08/21(日) 00:05:37.33

複数cpuで並行はありうるだろ
並列とも言い難いし

2022/08/21(日) 13:01:50.32

parallelとcoherentは誤訳されやすい

2022/08/21(日) 13:06:54.87

グラボは深層学習でよっぽど巨大なモデルでも使わない限り8GBVRAMで良い(yolo3を6gbVRAMグラボで動かそうとしてメモリ不足のエラー出た)

だが画像認識ならともかくセグメンテーション、画像生成、言語処理だとかなりVRAMが要る

複数の深層学習モジュールを同時に動かすとかだと24gbのVRAMのを買うべきかなあ

2022/08/21(日) 19:06:00.72

ということは深層学習ならvramが48gを３枚くらいさせば
大丈夫ですか？

**デフォルトの名無しさん** (JP 0H8f-HxAL) · 2022/08/21(日) 20:28:07.75

3枚もさせるところないんだけど、どんなマザボ使ってんの？
自作PCなの？

2022/08/21(日) 20:59:40.93

こんなのか？
https://www.hpctech.co.jp/gpuproduct/hpct-wrsx31-4gp.htm

2022/08/21(日) 21:05:54.68

マザーボードグラボ何枚まで？
マザーボード：PCIeスロットの多い板を推奨なお
使うグラフィックボードによって同時に使用できるグラボの数は限界があります。
一般的なゲーマー向けグラボ※だと、基本的に最大13枚が限界です。
13枚が限界のようです。

2022/08/21(日) 22:24:30.82

常にフルロードじゃないならクラウドでよくない？
見積もりで何万円もかかりそうならもうそこで満足
趣味だと結果を求めてやってるわけじゃないから

2022/08/21(日) 22:28:24.99

ストレージも計算力も、個人がそれぞれに持っても効率悪いだけだしな

2022/08/21(日) 22:37:21.21

>>674
そうですね。クラウドでもありがと思ってます。
昔の話なのですが、当時はメモリ２ギガの癖に３か月縛りっていう
サービスがありました。今だと数十円、数百円程度で済むのにｗ
あとはgoogle pro plusなんかもいいかなーって思ってます。
実際にpro plusを使ってる人がいらっしゃいましたら是非感想を聞かせて下さい。

2022/08/21(日) 23:21:46.43

電線の温度が上がって、家事にならないの？

2022/08/22(月) 02:00:32.36

GILがあるから他言語のスレッド処理にあたるものはPythonのMultiThreadではほとんど効果が得られない
よってCPUバウンドはMultiProcessingでParallel処理、IOバウンドはコルーチンで（async対応ライブラリを使用して）Concurrent処理が良いと思う

2022/08/22(月) 04:40:58.14

>>678
gil解除の方法を見つけました。
複数のスレッド処理を行っても、GILの仕組みにより
Pythonの命令は一つずつ処理され同時に処理できません。だそうです。
処理はI/O boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.dummy.Pool を使う
→ または、 futures.ThreadPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ThreadPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、threading を使って、さらに柔軟にモデルを組み立てる
処理はCPU boundである
処理はfork-joinモデルで並列化できる
→ multiprocessing.Pool を使う
→ または、 futures.ProcessPoolExecutorのmap関数を使う
処理はもっと複雑
→ futures.ProcessPoolExecutor のsubmit関数を使って
タスク単位に処理を行う
→ または、multiprocessing を使って、さらに柔軟にモデルを組み立てる
案外しんどいので、それよりpysparkやPython chapel やcudaに専念しますね。
情報サンキュー！
どうしてもvramが48gが二つか３つ必要です（コストの都合上それ以上は無理ｗ）
クラウドにするならAWS・Azure・GCPどれがいいんだろう？
個人的にはgcpにしようかと検討してます。

2022/08/22(月) 07:08:55.06

次世代GPU「Ada AD102」をフル搭載した
900Wグラフィックスカード。
つまり２枚で1800Wですね。
電源ユニットが2500Wを二つでも３枚さしは厳しいですね。
何で電源ユニットって3000wとか4000ｗとかでないんだろう？
需要がないから？今後はW数はうなぎのぼりのはずなのですが。

2022/08/22(月) 07:31:54.38

pythonで高速化をする意味がわからない
はなからc++で作るかモジュールを作ればいい
機械学習のtensorflowやlightgbmもc++があるだろう

2022/08/22(月) 10:59:13.82

統一教会は半島人の醜さを如実に表してる

2022/08/22(月) 11:44:42.87

先に自民党を駆除しないと

2022/08/22(月) 13:59:57.95

公明：創価
民主：日教組
共産：民青
でFA?

2022/08/22(月) 14:01:21.24

>>677
なる

2022/08/22(月) 14:03:58.18

>>681
python使いはC++なんて書けないからね
それにシングルノードでCPUやGPUバウンダリな処理書きたい場合は適切なライブラリがあるから自前で書く理由はない

問題は複数ノードでの並列化だけどその場合はもう言語機能より他の仕組みでやるべき

kafkaとか

2022/08/22(月) 14:06:00.62

自民は壺か

2022/08/22(月) 14:35:50.08

>>681
C++で使っても結局GILに負けたことしかないからjit のほうが手軽だと思ってます

2022/08/22(月) 17:15:40.46

質問です。VSCodeで仮想環境を構築したんですが、それをさらにGithubで共有することは可能ですか？
ただのディレクトリとして共有して、それぞれの端末で仮想環境扱いにする感じですかね？

**デフォルトの名無しさん** (JP 0H8f-bRED) · 2022/08/22(月) 17:23:38.56

ご家庭で3000Wとか4000Wの電源使ったらブレーカー落ちるぞ

2022/08/22(月) 17:27:18.28

それだと200Vの独立電源かな
エアコン用を流用だな

2022/08/22(月) 17:37:14.37

>>689
MSが用意してる
拡張検索かググるくらいしよう

2022/08/22(月) 17:37:14.42

>>689
普通は仮想環境をそのまま丸ごとGitHubで共有しない

良くやるのはrequirements.txt使ってライブラリの一覧を書き出して
それを共有する

書き出し
pip freeze > requirements.txt

requirements.txt経由でのpipインストール
pip install -r requirements.txt

2022/08/22(月) 18:04:41.84

>>691
200vは理解できるのですが、300vとかはないのでしょうか？
200v 60aが最高なのでしょうか？
>>688
JIT有りの速度計測結果はなんと0.6[s]ほどになりました。
先ほどの26[s]と比べると43.6倍の高速化がなされたこととなります！
ここまでの速度とは知りませんでした。
高速化って凄いですね。

2022/08/22(月) 18:07:01.72

>>693
ありがとうございます。環境はそれで構築出来ますね。
他のファイルとかはGithubで共有することは可能でしょうか？

2022/08/22(月) 18:14:42.89

>>692
言えてるw

2022/08/22(月) 19:44:48.52

>>694
だってそもそもご家庭に300Vの電圧なんて引けないでしょ。
三相100Vなら配線を変えると200Vが取り出せる

**デフォルトの名無しさん** (JP 0H8f-u9r1) · 2022/08/22(月) 19:59:11.64

そのレベルまで検討してる人って、電気代どれくらい使ってんの？
俺はせいぜい月6000円ぐらいだけど、それでも多いなと思ってたけど、今の話って桁が違うよね

2022/08/22(月) 20:48:50.04

>>697
情報ありがと！
200vにしますし、電源ユニットも二つにします。

2022/08/22(月) 21:31:31.34

>>697
> 三相100V
単相３線な

2022/08/22(月) 23:31:07.90

工事代と電気代を考えると
クラウドの方がいいと思うけどな

2022/08/23(火) 07:53:52.34

ガーシーのサロンは月4千円

Mastodon で、10万人のライブ・同時配信とか、
電気代が1億円とか行くんじゃないの？とか言われている

2022/08/23(火) 08:25:34.84

2chでええやん

2022/08/24(水) 17:45:11.44

vram48gを二つ必要な深層学習ってあるの？
これでも足りないことってありますか？

2022/08/24(水) 17:54:47.72

脳の強みは結局超並列処理だから、
それを真似しようとしたらプロセッサとメモリはたくさん要るだろう

2022/08/24(水) 18:00:31.01

多重人格者って、実はすごいんだ

2022/08/24(水) 18:03:55.32

>>705
48g二つでこれが出来る、これが出来ないとか
そういうデータがあれば教えてほしいです。
メモリは256Gが限界です（コスト的にｗ）

2022/08/24(水) 18:28:08.98

なんでもできるんじゃないの
規模を大きくすると精度が上がって遅くなる

2022/08/26(金) 10:50:16.17

django
https://www.youtube.com/watch?v=783JIyyyxMk

2022/08/26(金) 10:55:18.83

見る時間無駄だから
要約してココへ書けよ
なんのための掲示板だよw

2022/08/26(金) 20:59:12.34

結局vramは24gでいいのか、48gでいいのか48x2がいいのか。
ディープラーニングはメモリ不足に陥りやすい
ディープラーニングは
画像などのデータを大量に読み込んで処理するため
膨大なメモリが必要となりGPUのメモリ不足に陥りやすいです。
画像を高速で処理し複数の計算を同時に行える環境が必要となります。

こんな記事がある。
けど、もっと詳細でこういう処理したらエラーになったよ。
っていうデータがあれば嬉しいんですけど。
費用がある為、cpuは64コア、メモリは256g,vramは48x2
これ以上のコストは出せない・・・ｗ

2022/08/26(金) 21:42:16.69

画像だからというか、階層が多いから

2022/08/26(金) 22:08:21.32

クラウドのが必要なときに必要な分リソース確保できるのに
なぜローカルでやろうとするのか
手持ちのビデオカード活かすならわからんでもないが

2022/08/26(金) 22:21:14.76

メモリ使用量なら、今ある環境で試算しろよ・・・
与えるパラメータを上下させるなり、モデルを削るなり
利用する手法自体だっていくらでもある

こんなところで聞くより
より詳細で有用なデータが取れるぞ

2022/08/27(土) 02:07:03.19

そこをラーニングせよって話だよな

2022/08/27(土) 03:58:33.36

「ラーニングするのは人間」
と云った、機械学習の大先生がいたな

2022/08/27(土) 06:10:10.22

もっとちゃんとしたAIを作れば汎用に使えるんだろうけど、
現状は激しく単純化してるので、使えるようにする工夫が必要
それが人間のラーニング

2022/08/27(土) 08:50:55.78

「もっとちゃんとしたAI」ってのをAI通すとどう解いてくれるんだろうな

2022/08/27(土) 09:03:15.05

脳をまるごとシミュレートすればいいだけ

2022/08/27(土) 10:45:12.52

イチイチ抽象的でプログラミングのスレとは思えないレベルの低さだな

2022/08/27(土) 11:32:56.39

>>713
おススメのクラウドありまっか？

2022/08/27(土) 14:16:02.60

ラズパイにWebアプリTornado入れ、そこからモーターを動かしたいのですが、ちょっと質問が

とりあえずTornado経由でモーターのオンオフはできた
https://dpaste.com/EWM78GFRF

24行目のio_expander_test.onでオン
27行目のio_expander_test.offでオフ
io_expander_test.onの中身はモーターを回す単発命令をしてるだけ

このとき「1秒回しては1秒止めるを繰り返す（あくまでも例）」みたいな感じで、io_expander_test.onの中で無限ループさせたいんです
async、awaitを使っているので、無限ループさせてもちゃんとWebアプリが応答できるのは確認してます
問題なのは無限ループさせたio_expander_test.onの中身をどうやって止めたらいいのでしょうか？

マルチスレッドやTornadoのことを調べてみてもよく分からず
ここのページを見ろとかでも良いのでどなたかアドバイスがあればお願いします！

環境は↓
ラズパイ4B
Python 3.7.3
Tornado 6.2

2022/08/27(土) 14:29:34.31

米国年収では、Ruby on Rails は1,300万円。
それ以上なのが、AWS Solution Architect の資格で1,400万円。
今は円安で、1,800万円ぐらいだろう

AWS Certified Machine Learning - Specialty は、
機械学習の資格で、これも高いと思う

まあ、GCP にもあるのだろうが、資格の本が売っていない

2022/08/27(土) 14:41:00.76

>>723
機械学習ならコーセラはどうなの？
個人的にはコーセラ派なんだが。

2022/08/27(土) 15:50:01.91

>>709
かよちんは、大学生でプログラミングスクールに通って、
Ruby on Rails のポートフォリオを作って就職した

そこで運用を1年やって転職した。
新しい会社では、Django をやっている

すごい成長力

2022/08/27(土) 18:04:34.98

ケソタは成長止まってるな

2022/08/27(土) 18:23:30.29

>>723
その機械学習の資格って日本では意味ないかね？
取って損はないから取ろうかと

2022/08/27(土) 18:25:18.56

GAFAMの給料が3000万とか言われてるけど
そりゃ普通のエンジニアですら1000万以上貰えるんだから別に高くもないよな
むしろ適正
日本がやば過ぎる

2022/08/27(土) 18:33:52.13

日本の技術者や研究者はみんなマゾだからな

2022/08/27(土) 18:36:24.46

Cloud Architect
Cloud Database Engineer
Cloud Developer
Data Engineer
Cloud DevOps Engineer
Cloud Security Engineer
Cloud Network Engineer
Google Workspace Administrator
Machine Learning Engineer
gcpって資格多すぎやろ・・・ｗ
どれが深層学習なんだ？？

2022/08/27(土) 18:39:04.58

ちゃんと貯金すれば普通に数億すぐ貯まるよな
マジで羨ましい

2022/08/27(土) 18:51:02.24

>>731
資格も大切だけど、資格を作る方が楽しかったりするぞい！
pythonだって国内だと資格いくつかあるっしょ。
あとは海外にもpython系の資格はあるけど。
どうせなら作った方が楽しいと思うんだけど

**723** (ﾜｯﾁｮｲ 292c-hr9C) · 2022/08/27(土) 18:59:06.70

日本は一旦雇うと解雇できないから、米国の1/3～1/4 ぐらいの給料になる。
米国は全員がフリーランス

そりゃ、AWS の機械学習の資格は確かでしょ。
文系では、ほとんど意味が分からず無理

文系の馬鹿が一発逆転できるのが、Ruby on Rails だけ

だから皆、YouTube で有名な雑食系エンジニア・KENTA の初心者向けサロンへ入ったり、
くろかわこうへいのAWS サロンへ入ったり、学校・合宿などへ行く

2022/08/27(土) 19:07:32.30

クビになるかもしれないから努力続けるとか、
努力の甲斐あってもっと高い給料の所に移れるとか、
努力できる奴はいいけど、安くていいからクビにしないでという方が多数派で、
そっちに合わせたらこうなった
その後、仕組みを変更して、安い上にクビにもなるという最悪状態に

**723** (ﾜｯﾁｮｲ 292c-hr9C) · 2022/08/27(土) 19:10:19.63

GCP にも資格があったのか。
本屋には、AWS, Azure の本しかなかった

AWS では、Solution Architect が最も重要で、
その次が、Associate 3冠。
3冠は、Solution Architect と、開発者・運用の2つ

Specialty には機械学習などがある

12冠すべてを持つジェダイマスターは、日本に15人ぐらいいるらしい。
クラスメソッドに8人、NRI に何人かいるとか

2022/08/27(土) 19:47:51.24

>>735
awsを取得して何かメリットある？
例えば独占業務があるとか、それとも名称独占なのか？
独占業務ならいいけど。名称なら資格なくても出来るならねぇ。
awsで深層学習ってそもそもあるっけか？

2022/08/27(土) 20:25:36.76

みっつけた！
AWS Deep Learning AMI
これがあるみたいだね！

2022/08/27(土) 20:55:40.47

https://dpaste.com/95GZ6ZMC4
pygameでさめがめ作っているのですが、
基盤データを格納している二次元リスト board が更新できません。
正確には縦一列削除したら左に詰めるよう（align関数）しているはずなんですが、
なんでか左詰めがうまくできません。
print(*board)
すると、要素を削除してデータ更新してうまく動いているはずなんですが、データ自体
の更新がデータ上されてないです。考えたんですが原因がちょっとわからないです。

2022/08/27(土) 22:26:57.11

>>738
boardは30x20なのに見えてるのは15x10

2022/08/27(土) 23:32:21.93

ブラウザでpygame動かす環境とかありますかね？

2022/08/27(土) 23:36:47.73

ない
ゲーム作りたいんだったら時間の無駄だから今すぐJavaScriptやUnityに乗り換えたほうがいいよ

2022/08/27(土) 23:47:42.57

別にお前みたいに選択と集中する必要は無いんですよ
能力的に余裕あるから

2022/08/27(土) 23:48:54.83

内部的にpythonはあるけど表面的な部分は別の言語や開発環境使うべきだぬ
ゲーム通じてMVCみたいなの学ぶとかはできるけど。

あとren'pyだな。そもそもpygameは開発頓挫してなかったっけ

2022/08/28(日) 00:07:18.09

pixi.jsがおすすめ
ブラウザゲームはほぼこれだよ

2022/08/28(日) 00:17:08.47

>>739
あ、本当だ。全部消したと思ってたけど残ってたわけですね。
ballSizeがボールの半径で、半径で割ってたから２倍になっていたので
vBallNum = int(height/(2*ballSize))
hBallNum = int(length/(2*ballSize))
と直径で割るようにしたら直りました。

**デフォルトの名無しさん** · 2022/08/28(日) 16:53:22.18

https://video.twimg.com/ext_tw_video/1563590421925675008/pu/vid/576x576/WfH4Xz8x5Z6KbpGO.mp4

2022/08/28(日) 20:51:10.47

誰かPCPP-32-2 – Certified Professional in Python Programming 2
これもってるひといる？
ニーズある？あるなら受けるけど。

2022/08/28(日) 23:04:29.88

あなる

2022/08/29(月) 10:57:48.44

プログラミング初心者がとるなら評価できるけど
どういう応用したとかポートフォリオに勝るものはない
習得容易なPythonはもはや文房具だから

2022/08/29(月) 11:51:33.73

社内にPythonめっちゃできる中国人居るからPCPPについて聞いてみたんだけど
資格取るよりlinkedinの受講証明のほうがいいって言われた
linkedinって初めて聞いたけど海外だと有名なのかね

2022/08/29(月) 11:59:00.11

>>749
djangoでマッチングサイト作るのはどう？
それもgps機能つき。これなら何キロ圏内に相手がいるとかいないとか。
便利かなぁと。
>>750
linkedinは何年も前に登録してる。
あれは繋がりを求めたり人材のマッチングとかだよね。
あれは海外向けですよー。

2022/08/29(月) 12:49:52.55

大手企業で4〜6年以上エンジニアとして働いた経験があるとかが一番転職で強い

資格、ポートフォリオ、学歴とかはあくまで良いスタートダッシュを切るためのもの

2022/08/29(月) 17:16:47.57

>>750
英語圏だとlinkedinないとビジネスできない

2022/08/30(火) 08:41:28.68

Dashの使い方ってここで聞いても大丈夫ですか？
一つのコンポーネントを複数のコールバック処理のinputに登録した場合、実行される順番はどこで決まるのでしょうか？

**デフォルトの名無しさん** · 2022/08/30(火) 14:18:40.35

https://pbs.twimg.com/media/FarRHPiUUAErig7.jpg
https://pbs.twimg.com/media/FbYQMSKVsAEWZOk.jpg
https://pbs.twimg.com/media/FXhCX2bVsAApTwg.jpg

2022/08/30(火) 14:36:28.90

>>755
ありがとう
pyautoguiなんか有ったのか
スクレイピングで対応出来ないヤツは
これで捗りそう

2022/08/30(火) 15:54:42.52

まちがいじゃないけどアンダーバーとか書かれてると警戒しちゃう

2022/08/30(火) 16:18:27.65

ありがたや

2022/08/30(火) 16:44:23.79

すいません、朝からやっているのですがよくわからなくなってきたので質問させてください。
パスワードをハッシュ化するプログラムをつくっています。
参考サイトをみて以下のプログラムを動かしています。（シンプルなプログラムのソースです）
https://engineer-lifestyle-blog.com/code/python/password-hash-value-generator-passlib-bcrypt/

"12345678"というパスワードをハッシュ化しているのですが、出力されるハッシュ化された文字列hashed_password が実行するたびに違うんです。
同じだと思い込んでいたので、頭が混乱しています。
私の思い込みは間違っているでしょうか。
あぁ。つかれた。

# pip install passlib
# pip install bcrypt

from passlib.context import CryptContext

pwd_cxt = CryptContext(schemes=['bcrypt'], deprecated='auto')

class Hash():
def get_password_hash(password: str):
return pwd_cxt.hash(password)

def verify_password(hashed_password: str, plain_password: str):
return pwd_cxt.verify(plain_password, hashed_password)

password = "12345578"

hashed_password = Hash.get_password_hash(password)
print (hashed_password)

2022/08/30(火) 17:06:31.03

>>759
bcryptを選択しているからソルトが働いている
たぶん
https://ja.wikipedia.org/wiki/Bcrypt

2022/08/30(火) 18:26:28.71

saltが指定されないと自動生成すると書いてるね
https://passlib.readthedocs.io/en/stable/lib/passlib.hash.bcrypt.html#passlib.hash.bcrypt

2022/08/30(火) 18:28:02.75

すまん。だれかくだすれの次スレ立ててくれ。俺には無理だった。

2022/08/30(火) 18:37:26.42

>>762
この早漏野郎！

2022/08/30(火) 18:45:53.84

このスレとくだすれって何が違うの？
正直片方でいいと思ってる

2022/08/30(火) 18:50:33.86

> 「お勉強」スレのほうには書き込めない超低レベル、
> もしくは質問者自身何が何だか分からない質問を、
> 勇気を持って書き込むスレッド

だということで、それなりに意味はありそうだけど？
自分も使い分けしてるし

2022/08/30(火) 18:52:10.96

たてたつもりなんだが（エラーは返っていない）
まだ表示が出てこない