X



Pythonのお勉強 Part72
0001デフォルトの名無しさん (ワッチョイ 03c5-hEBs)
垢版 |
2023/12/27(水) 15:42:25.63ID:sVIMH2iW0
!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら3つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
エラー文(勝手に省略orスクショうp等の横着禁止)と
おま環(Pythonのバージョン番号+OS名とバージョン+IDE名)を書け。

★Pythonのソースコードを5ちゃんに直貼はインデントが崩壊するので、
 ↓等のコードうp用サイトに貼ってきてくだしあ。(スクリーンショットをうpる「横着」禁止)
ttps://techiedelight.com/compiler/  Run Code機能あり。
ttp://ideone.com/      デフォ設定がCなので、Pythonするには言語種選択ボタン押下がピコ手間かも。
ttp://pastebin.com/     まずまずシンプル。
ttp://dpaste.com/      とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト http://www.python.org/
◇Pythonドキュメント https://docs.python.org/ja/3/
◇まとめwiki ttp://python.rdy.jp/
※前スレ
Pythonのお勉強 Part71
https://mevius.5ch.net/test/read.cgi/tech/1695168821/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0719デフォルトの名無しさん (ワッチョイ a779-208W)
垢版 |
2024/04/28(日) 21:50:25.97ID:zlR73q8o0
スレ立てあらしスクリプト対抗age
0722デフォルトの名無しさん (ワッチョイ c77c-mYO8)
垢版 |
2024/05/03(金) 08:15:24.69ID:+XfJbNI80
別にどっちでも良い
細かいことを気にし過ぎ

ただし頭に入ってこないってのは不味い
自分は書かなくても書かれてるコードを理解して頭に入る様にする必要はある
0726デフォルトの名無しさん (ワッチョイ 7f2a-KT8O)
垢版 |
2024/05/03(金) 09:55:16.59ID:NFxQvANq0
>>721
現実に前者を書くことは無いような気がする。大抵は、

if a < b:
 flag = 'hinomaru'
else:
 flag = 'union jack'

みたいな使い方でしょ。
a < b の評価値を保存したい場合は、自然と後者になるように思う。
0728デフォルトの名無しさん (ワッチョイ 27ca-UlK4)
垢版 |
2024/05/03(金) 10:44:25.52ID:00No5FFk0
霊感的には、それは、
(flag = a) < b と解釈させたら、
flagがtrueかfalseにより動作が
違くなるような気がする。というか
flag ← (a < b) って感じで
ゼッタイ何時でもπソンは解釈するのだろうか。
0729デフォルトの名無しさん (ワッチョイ c77c-mYO8)
垢版 |
2024/05/03(金) 11:24:56.50ID:+XfJbNI80
お前はスタックを理解しろw
0731デフォルトの名無しさん (ワッチョイ c701-suKS)
垢版 |
2024/05/03(金) 12:16:12.11ID:zLu7Yc6Y0
>>728
>(flag = a) < b と解釈させたら
Pythonの場合はflag=aがstatementで値を返さないのでそういう解釈をさせることができない
(flag=a)だけでもassignment statementの文法に反してるからエラー

(flag := a > b)と(flag :=a) > bでflagの値が変わる
前者が後者のように評価されないのは演算子の優先順位で決まってるから
0732デフォルトの名無しさん (ワッチョイ c701-suKS)
垢版 |
2024/05/03(金) 12:35:34.78ID:zLu7Yc6Y0
>>726
>a < b の評価値を保存したい場合は、自然と後者になるように思う。
boolを返すa < b を保存するのが妥当な場合ってどんな用途を想定してるの?

・a < bの処理にそれなりの時間がかかる
・a < bの結果を繰り返し使う
・比較演算子がbool値を返す
・関数ではなく演算子を使うのが妥当

俺は↑これを全部満たすような用途は思いつかない
いずれにしろflagを使うほうのコードも含めて考えたほうがいいように思う
0734デフォルトの名無しさん (ワッチョイ 7f2a-E0+q)
垢版 |
2024/05/03(金) 17:28:19.15ID:NFxQvANq0
>>732
> ・a < bの結果を繰り返し使う

繰り返しというか、後で使いたいのだろうな。
a と b 各1ワードを保存できる余裕はないけれど、評価結果 1ビットなら64個保存できる! みたいな。いつの時代の話だよ...
0735デフォルトの名無しさん (ワッチョイ 0754-GuTi)
垢版 |
2024/05/03(金) 17:45:12.16ID:KC1xrygK0
元は、後でif文で使う条件が複数あって、最初Falseで初期化して、
一つでも成立したらTrueにして、みたいな処理になってた
で、いろいろリファクタリングしてる途中で、>>721みたいな変形があった
最終的には条件が1つになったのでそのままif文に入れた
0738デフォルトの名無しさん (ワッチョイ 0754-GuTi)
垢版 |
2024/05/03(金) 18:56:00.35ID:KC1xrygK0
forの中でアーリーcontinueとか、関数からアーリーreturnは便利に使うけど、
抜ける先が無くてアーリーなんやらできないと困る
関数内関数はなんか読みにくいし
0739デフォルトの名無しさん (ワッチョイ a3cd-s5QI)
垢版 |
2024/05/05(日) 11:44:12.57ID:yE3a1mT70
735みたいに、コードの詳細がわからないのにこう書くべきって決めつけてくる人ってなんでなのかな
理想的なケースでは切り出しやすくても、泥臭いケースだと切り出しても見通し悪くなるだけ、みたいなこと
よくあるのに
0740デフォルトの名無しさん (ワッチョイ be2a-gL2P)
垢版 |
2024/05/05(日) 12:25:14.46ID:RstXWqFu0
>>739
話題の発端の人だろ、 >>735 は。
0741デフォルトの名無しさん (ワッチョイ 4a03-ggbZ)
垢版 |
2024/05/05(日) 12:59:39.57ID:JJQb3/s80
仕様書を書いてないから、条件分岐の意味がわからなくなるんだよ。
0742デフォルトの名無しさん (ワッチョイ a3e3-s5QI)
垢版 |
2024/05/05(日) 14:54:59.47ID:yE3a1mT70
>>739
>>740
ごめん、まちがえた。737だった。735すまん。
0748デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/06(月) 11:03:33.16ID:poYagYhe0
たくさんのファイルを3ステップで加工したい
一つずつやると時間かかるので、並列処理させる
全ファイルをステップ1処理 -> 全ファイルをステップ2処理、という感じ

それでかなりスピードアップはするけど、
ステップの継ぎ目部分で全体の完了を待つのが無駄
全体は待たずにファイル毎にどんどん先に進む並列処理を
簡単に書くモジュールある?
0751デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/06(月) 12:28:01.25ID:poYagYhe0
あんまりいいサンプルが見つからない

キモは、プロセスの実行に条件があるという点
file1-step1が完了してないとfile1-step2は実行できない
必要なプロセスを全部登録して実行させるとそんなことは考慮されないので、
どのプロセスが実行可能か依存関係を教えてやらないといけない
0752デフォルトの名無しさん (ワッチョイ 7b3f-U069)
垢版 |
2024/05/06(月) 13:02:05.97ID:6LmmIky40
モジュール使う分には単純だから公式ドキュメント読んで
https://docs.python.org/ja/3/library/multiprocessing.html
https://docs.python.org/ja/3/library/concurrent.futures.html
それでファイル単位に並列にして
ファイルを引数にstep1/step2を関数化したら後は呼ぶだけよ

あるいは外部コマンド化して
cat paths | xargs -IZ -P $(nproc) sh -c 'step1.py Z; step2.py Z'
0754デフォルトの名無しさん (ワッチョイ 6301-levy)
垢版 |
2024/05/06(月) 17:25:03.16ID:JLRUeB280
for file in files:
 step1.exe file
for file in files:
 step2.exe file
という形じゃなく
step1.exe files
step2.exe files
という形で実行してるなら各exeがファイル毎に進捗報告やコールバックしてくれないと
ファイル単位で処理を先に進めるのは無理

前者でやってるならやりようがあるけど
ファイル単位じゃなくステップ単位にまとめるとスピードアップしたということなので
その原因を先に確認した上でやり方考えたほうがいい

性能向上のための並行/並列化は
具体的な処理内容やワークロードの特性によってアプローチが変わる
one size fits allなやり方は存在しない
0757デフォルトの名無しさん (ワッチョイ 6301-levy)
垢版 |
2024/05/06(月) 17:41:01.35ID:JLRUeB280
>>755
なるほど
実際にはまだ何も並行化/並列化できてないという話なのか

>実際にはそれぞれで別のexeファイルを実行するのでなかなか難しい
だったら↑この思い込みを捨てることから始めたほうがいいよ

結局のところPythonで並行/並列化するなら以下の4択なので
具体的な処理内容とワークロードの特性を加味して適切なものを選んでね
1.非同期
2.マルチスレッド
3.マルチプロセス
4.非同期+マルチプロセス
0758デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/06(月) 19:12:43.39ID:poYagYhe0
結局、
proc1.exeをsubprocess.Popen()で並列処理
proc2.exeをsubprocess.Popen()で並列処理
proc3.exeをsubprocess.Popen()で並列処理
となっていたものを、
proc1.exe
proc2.exe
proc3.exe
を実行するbatファイルに移動させて、
batファイルをsubprocess.Popen()で並列処理で目的は達成できた

batファイルかー、という気もするけど、並列処理で依存関係を気にした例は見つからなかった
(並行処理なら普通)
0759デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 19:51:46.91ID:mwAWJr9U0
バッチファイルのことをbatファイルと書いているのは初めて見た
0760デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/06(月) 19:58:25.18ID:poYagYhe0
マジか
"バッチファイル" 473,000
"batファイル" 134,000
だから少数派ではあるけど、22%くらいの勢力はあるのに

そもそも、batファイルを使った経験自体が少ないのでは
0761デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 19:58:39.61ID:mwAWJr9U0
>>758
テキストファイルの操作みたいだけど、そういうのは処理範囲を指定して同時に動かすんだよ。
0763デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:04:20.54ID:mwAWJr9U0
>>760
batファイルという書き言葉は最近、発生しているようだけど、一般書籍でもマイクロソフトでもbatファイルとは呼んでいない。

日本語ではバッチファイル、英語ではbatch file。

バッチファイルを使ったことがないというのは、シェルスクリプトを使ったことがないというのと同じで、Pythonコードも動かいたことがないと思われてしまうレベル。
0764デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:06:52.12ID:mwAWJr9U0
>>762
ステップは行という意味に思われるからやめた方がいい
0765デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:13:01.17ID:mwAWJr9U0
>>762
複数のファイルと書いてあったな。

並列化には担当するファイルを分けるなどいくらでも方法はある。

マルチプロセスの日本語訳が並列処理、マルチスレッドの日本語訳が並行処理だが、英語ではマルチという言葉で同時実行という言葉ではない。

同時実行という意味を付加しているのは日本語。
0767デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:21:34.96ID:mwAWJr9U0
EXEファイルを二重起動とかPythonもバッチファイルも関係ねえな

実行ファイルを引数なしで実行するとか、シリアル前提処理を多重起動して、想定どおりにならないとか狂っんなw
0768デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:23:17.58ID:mwAWJr9U0
>>766
本人不在だったのか
0769デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 20:24:57.69ID:mwAWJr9U0
ID:poYagYhe0 は自作自演のネタ野郎だった
0771デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 21:40:01.57ID:mwAWJr9U0
テキストファイルの拡張子をtxtとしているのはWindowsの世界だけ

Windowsを使っていてバッチファイルを知らないなんて素人だろ
0772デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 21:47:03.75ID:mwAWJr9U0
>>770
拡張子は拡張子でしかない

JPEGのファイルの拡張子はjpegが本来の拡張子で、jpgはWindows、MS-DOSの拡張子は3文字までという仕様で発生したもの。

さらにWindowsのデフォルト設定だと拡張子を表示しないんだぜ?

何をどう勘違いしているのかな。
0774デフォルトの名無しさん (ワッチョイ be2a-R/2N)
垢版 |
2024/05/06(月) 22:24:52.88ID:BKncXC1b0
>>772 の中では噛み合った会話なのかな。
0776デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 23:45:29.15ID:mwAWJr9U0
txtファイルなんて書くやついるのか?
0777デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/06(月) 23:50:45.62ID:mwAWJr9U0
拡張子がhtmlだとhtmlファイル、拡張子がhtmだとhtmファイルだと呼ぶなら、単に無知をごまかしているだけ
0778デフォルトの名無しさん (ワッチョイ 9f5f-ggbZ)
垢版 |
2024/05/07(火) 00:02:15.12ID:pgxJqkT00
バッチファイルはマイクロソフトの命名のセンスが悪かっただけだが、バッチファイルと作っている会社が言っている名称を使うのが素直

拡張子が3文字だと思っている疑惑があるのと、UNIX、Linuxの世界では拡張子はあくまで目印にすぎない

ファイルが何のファイルかは少し読み込んで判断する
WindowsでUTF-8のテキストファイルを扱う場合は、テキストファイルにBOMという情報を先頭に書く

シェルスクリプトも1行目に自分自身の種類と何で実行するのかを書く
0780デフォルトの名無しさん (ワッチョイ 1701-Jq+s)
垢版 |
2024/05/07(火) 01:25:06.73ID:H+bNZbY80
どうでもいいことで盛り上がってんなww
batファイルってのは同じバッチファイルでも.cmdじゃなく.batだぞってこと
htmファイルも同じ
まあ個人的には.batファイルのようにドット付きでなら書くけどドット無しでは書かないな
0781デフォルトの名無しさん (ワッチョイ 1701-Jq+s)
垢版 |
2024/05/07(火) 01:49:44.68ID:H+bNZbY80
>>758
proc1.exeをsubprocess.run()
proc2.exeをsubprocess.run()
proc3.exeをsubprocess.run()
↑この一連を関数にまとめればbatファイルはいらない
それとまとめた関数は直接Popenじゃなくmultiprocessing経由で処理すれば
Poolを使う分だけオーバーヘッドが減る

あと処理内容次第だけどasyncio使って全部非同期ににしたほうが
コードは多少面倒でもリソースが減って速度も出る可能性もある
0783デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/07(火) 14:13:11.88ID:Ik+FWYJJ0
子供がエラー出てもなんも判らんのな
get() すると判るけど、マルチプロセスにならないので、デバッグ終わったら外す
グローバル変数経由で参照させようとしても見えないとか罠がいろいろ
0787デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/07(火) 15:55:19.18ID:Ik+FWYJJ0
グローバル変数が参照できるかどうかは処理系依存な気がするんだよな
Copy-On-Writeでプロセス増やしてたら普通に参照できる筈
そんな互換性の無いコードが書けていいのかとは思うけど
0790デフォルトの名無しさん (ワッチョイ 7f54-wePh)
垢版 |
2024/05/07(火) 16:11:14.75ID:Ik+FWYJJ0
要素1個のタプル 1,
要素0個のタプル ()

なんでやねん
コンマこそがタプルを表しているなら、コンマだけが空タプルの本質だろうに
冗長に書いて(,) でもエラーになる
コンマがタプルで括弧はおまけだけど空の時だけ例外ルール
0791デフォルトの名無しさん (ワッチョイ 177c-0EWD)
垢版 |
2024/05/07(火) 19:25:27.35ID:pe1yL5GL0
>>790
あのさ(1)だとタプルじゃなくてただ数値がカッコで括られてるだけと判別出来ないだろ
0793デフォルトの名無しさん (ワッチョイ 6301-c3oD)
垢版 |
2024/05/08(水) 00:49:45.86ID:Y9XLt/8j0
>>792
要素数が変化しない空のシーケンスを表現するためにある
fが引数1個を取る関数、gが引数を取らない関数だとしたら
apply(f, (1,))とapply(g, ())
のようにempty tupleを使うのが理にかなってる
レスを投稿する


ニューススポーツなんでも実況