Pythonのお勉強 Part72

2023/12/27(水) 15:42:25.63

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
エラー文（勝手に省略orスクショうｐ等の横着禁止）と
おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/
※前スレ
Pythonのお勉強 Part71
https://mevius.5ch.net/test/read.cgi/tech/1695168821/

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2024/05/03(金) 09:55:16.59

>>721
現実に前者を書くことは無いような気がする。大抵は、

if a < b:
　flag = 'hinomaru'
else:
　flag = 'union jack'

みたいな使い方でしょ。
a < b の評価値を保存したい場合は、自然と後者になるように思う。

2024/05/03(金) 10:18:26.60

filled = bool(count == limit)
みたいにbool()使ってたな
Pythonのand/orはbool返さない場合あるし

2024/05/03(金) 10:44:25.52

霊感的には、それは、
(flag = a) < b　と解釈させたら、
flagがtrueかfalseにより動作が
違くなるような気がする。というか
flag ← (a < b)　って感じで
ゼッタイ何時でもπソンは解釈するのだろうか。

2024/05/03(金) 11:24:56.50

お前はスタックを理解しろw

2024/05/03(金) 11:25:32.60

flag = True if a < b else False
flagの代入以外に副作用ないならまずこう書くけど
flag = a < b
でいいやんとなる

2024/05/03(金) 12:16:12.11

>>728
>(flag = a) < b　と解釈させたら
Pythonの場合はflag=aがstatementで値を返さないのでそういう解釈をさせることができない
(flag=a)だけでもassignment statementの文法に反してるからエラー

(flag := a > b)と(flag :=a) > bでflagの値が変わる
前者が後者のように評価されないのは演算子の優先順位で決まってるから

2024/05/03(金) 12:35:34.78

>>726
>a < b の評価値を保存したい場合は、自然と後者になるように思う。
boolを返すa < b を保存するのが妥当な場合ってどんな用途を想定してるの？

・a < bの処理にそれなりの時間がかかる
・a < bの結果を繰り返し使う
・比較演算子がbool値を返す
・関数ではなく演算子を使うのが妥当

俺は↑これを全部満たすような用途は思いつかない
いずれにしろflagを使うほうのコードも含めて考えたほうがいいように思う

2024/05/03(金) 14:19:35.34

>>732
・a, b の値が変わる

2024/05/03(金) 17:28:19.15

>>732
> ・a < bの結果を繰り返し使う

繰り返しというか、後で使いたいのだろうな。
a と b 各1ワードを保存できる余裕はないけれど、評価結果 1ビットなら64個保存できる! みたいな。いつの時代の話だよ...

2024/05/03(金) 17:45:12.16

元は、後でif文で使う条件が複数あって、最初Falseで初期化して、
一つでも成立したらTrueにして、みたいな処理になってた
で、いろいろリファクタリングしてる途中で、>>721みたいな変形があった
最終的には条件が1つになったのでそのままif文に入れた

2024/05/03(金) 17:48:22.14

a, bが不変であっても
変数化することでコードの見通しがよくなるなら
情報が冗長になってもそうする
現実ではしないflagって命名に囚われてそう

2024/05/03(金) 18:47:29.14

>>735
それは条件が複数あったとしても条件式部分を関数化して関数内で早期リターンするパターン

2024/05/03(金) 18:56:00.35

forの中でアーリーcontinueとか、関数からアーリーreturnは便利に使うけど、
抜ける先が無くてアーリーなんやらできないと困る
関数内関数はなんか読みにくいし

2024/05/05(日) 11:44:12.57

735みたいに、コードの詳細がわからないのにこう書くべきって決めつけてくる人ってなんでなのかな
理想的なケースでは切り出しやすくても、泥臭いケースだと切り出しても見通し悪くなるだけ、みたいなこと
よくあるのに

2024/05/05(日) 12:25:14.46

>>739
話題の発端の人だろ、 >>735 は。

2024/05/05(日) 12:59:39.57

仕様書を書いてないから、条件分岐の意味がわからなくなるんだよ。

2024/05/05(日) 14:54:59.47

>>739
>>740
ごめん、まちがえた。737だった。735すまん。

2024/05/05(日) 15:18:19.04

コードを出さないと負け惜しみにしか聞こえないぞ

2024/05/05(日) 15:58:54.36

3重ループの人でしょ
https://mevius.5ch.net/test/read.cgi/tech/1689241721/439

2024/05/05(日) 20:26:20.99

numpyのバージョンアップは怖い

2024/05/06(月) 00:41:49.83

どんぐりレベルが足りなくてかけない

警備員[Lv.1][新芽] (ﾜｯﾁｮｲ 0f60-+nJg) · 2024/05/06(月) 00:42:30.89

レベルアップしたのか

2024/05/06(月) 11:03:33.16

たくさんのファイルを3ステップで加工したい
一つずつやると時間かかるので、並列処理させる
全ファイルをステップ1処理 -> 全ファイルをステップ2処理、という感じ

それでかなりスピードアップはするけど、
ステップの継ぎ目部分で全体の完了を待つのが無駄
全体は待たずにファイル毎にどんどん先に進む並列処理を
簡単に書くモジュールある?

2024/05/06(月) 11:41:41.15

>>748
処理がファイル間で独立しているならmultiprocessingモジュール
Unix環境ならxargsコマンドで足りる話にみえるけど

2024/05/06(月) 11:45:32.98

concurrent.futuresモジュールのが書きやすいかもしれん
どっちも見てみて

2024/05/06(月) 12:28:01.25

あんまりいいサンプルが見つからない

キモは、プロセスの実行に条件があるという点
file1-step1が完了してないとfile1-step2は実行できない
必要なプロセスを全部登録して実行させるとそんなことは考慮されないので、
どのプロセスが実行可能か依存関係を教えてやらないといけない

2024/05/06(月) 13:02:05.97

モジュール使う分には単純だから公式ドキュメント読んで
https://docs.python.org/ja/3/library/multiprocessing.html
https://docs.python.org/ja/3/library/concurrent.futures.html
それでファイル単位に並列にして
ファイルを引数にstep1/step2を関数化したら後は呼ぶだけよ

あるいは外部コマンド化して
cat paths | xargs -IZ -P $(nproc) sh -c 'step1.py Z; step2.py Z'

2024/05/06(月) 13:58:46.28

step1とstep2でプロセスを分けずに全体を1つのプロセスにするということかな
実際にはそれぞれで別のexeファイルを実行するのでなかなか難しい

2024/05/06(月) 17:25:03.16

for file in files:
　step1.exe file
for file in files:
　step2.exe file
という形じゃなく
step1.exe files
step2.exe files
という形で実行してるなら各exeがファイル毎に進捗報告やコールバックしてくれないと
ファイル単位で処理を先に進めるのは無理

前者でやってるならやりようがあるけど
ファイル単位じゃなくステップ単位にまとめるとスピードアップしたということなので
その原因を先に確認した上でやり方考えたほうがいい

性能向上のための並行/並列化は
具体的な処理内容やワークロードの特性によってアプローチが変わる
one size fits allなやり方は存在しない

2024/05/06(月) 17:28:20.27

何を言ってんだこいつは
プログラミング言語の前に国語をやり直せ
そうだな>>748を100万回読み直して相手に何が伝わってると思うか感想を述べよ

2024/05/06(月) 17:29:01.71

>>752
>'step1.py Z; step2.py Z'
これは'step1-3.py Z’でよくない？
キャッシュされてもインタプリタ起動のオーバーヘッドはそれなりにかかるので

2024/05/06(月) 17:41:01.35

>>755
なるほど
実際にはまだ何も並行化/並列化できてないという話なのか

>実際にはそれぞれで別のexeファイルを実行するのでなかなか難しい
だったら↑この思い込みを捨てることから始めたほうがいいよ

結局のところPythonで並行/並列化するなら以下の4択なので
具体的な処理内容とワークロードの特性を加味して適切なものを選んでね
1.非同期
2.マルチスレッド
3.マルチプロセス
4.非同期+マルチプロセス

2024/05/06(月) 19:12:43.39

結局、
proc1.exeをsubprocess.Popen()で並列処理
proc2.exeをsubprocess.Popen()で並列処理
proc3.exeをsubprocess.Popen()で並列処理
となっていたものを、
proc1.exe
proc2.exe
proc3.exe
を実行するbatファイルに移動させて、
batファイルをsubprocess.Popen()で並列処理で目的は達成できた

batファイルかー、という気もするけど、並列処理で依存関係を気にした例は見つからなかった
(並行処理なら普通)

2024/05/06(月) 19:51:46.91

バッチファイルのことをbatファイルと書いているのは初めて見た

2024/05/06(月) 19:58:25.18

マジか
"バッチファイル" 473,000
"batファイル" 134,000
だから少数派ではあるけど、22%くらいの勢力はあるのに

そもそも、batファイルを使った経験自体が少ないのでは

2024/05/06(月) 19:58:39.61

>>758
テキストファイルの操作みたいだけど、そういうのは処理範囲を指定して同時に動かすんだよ。

2024/05/06(月) 20:03:11.50

エスパーすげえ

2024/05/06(月) 20:04:20.54

>>760
batファイルという書き言葉は最近、発生しているようだけど、一般書籍でもマイクロソフトでもbatファイルとは呼んでいない。

日本語ではバッチファイル、英語ではbatch file。

バッチファイルを使ったことがないというのは、シェルスクリプトを使ったことがないというのと同じで、Pythonコードも動かいたことがないと思われてしまうレベル。

2024/05/06(月) 20:06:52.12

>>762
ステップは行という意味に思われるからやめた方がいい

2024/05/06(月) 20:13:01.17

>>762
複数のファイルと書いてあったな。

並列化には担当するファイルを分けるなどいくらでも方法はある。

マルチプロセスの日本語訳が並列処理、マルチスレッドの日本語訳が並行処理だが、英語ではマルチという言葉で同時実行という言葉ではない。

同時実行という意味を付加しているのは日本語。

2024/05/06(月) 20:16:17.12

エスパーの言葉は為になる

2024/05/06(月) 20:21:34.96

EXEファイルを二重起動とかPythonもバッチファイルも関係ねえな

実行ファイルを引数なしで実行するとか、シリアル前提処理を多重起動して、想定どおりにならないとか狂っんなw

2024/05/06(月) 20:23:17.58

>>766
本人不在だったのか

2024/05/06(月) 20:24:57.69

ID:poYagYhe0 は自作自演のネタ野郎だった

2024/05/06(月) 21:00:04.96

>>763
batファイルでも別に普通じゃない？
拡張子batのファイルには違いないんだし

txtファイル、jpgファイル、mpgファイルと同じだよ

2024/05/06(月) 21:40:01.57

テキストファイルの拡張子をtxtとしているのはWindowsの世界だけ

Windowsを使っていてバッチファイルを知らないなんて素人だろ

2024/05/06(月) 21:47:03.75

>>770
拡張子は拡張子でしかない

JPEGのファイルの拡張子はjpegが本来の拡張子で、jpgはWindows、MS-DOSの拡張子は3文字までという仕様で発生したもの。

さらにWindowsのデフォルト設定だと拡張子を表示しないんだぜ？

何をどう勘違いしているのかな。

2024/05/06(月) 21:49:36.31

エスパーの思考は常人には判らない

2024/05/06(月) 22:24:52.88

>>772 の中では噛み合った会話なのかな。

2024/05/06(月) 22:42:13.79

ほほいほいほい

2024/05/06(月) 23:45:29.15

txtファイルなんて書くやついるのか？

2024/05/06(月) 23:50:45.62

拡張子がhtmlだとhtmlファイル、拡張子がhtmだとhtmファイルだと呼ぶなら、単に無知をごまかしているだけ

2024/05/07(火) 00:02:15.12

バッチファイルはマイクロソフトの命名のセンスが悪かっただけだが、バッチファイルと作っている会社が言っている名称を使うのが素直

拡張子が3文字だと思っている疑惑があるのと、UNIX、Linuxの世界では拡張子はあくまで目印にすぎない

ファイルが何のファイルかは少し読み込んで判断する
WindowsでUTF-8のテキストファイルを扱う場合は、テキストファイルにBOMという情報を先頭に書く

シェルスクリプトも1行目に自分自身の種類と何で実行するのかを書く

2024/05/07(火) 00:24:22.86

なんかすげぇ
自分の中で世界ができあがってる…

2024/05/07(火) 01:25:06.73

どうでもいいことで盛り上がってんなｗｗ
batファイルってのは同じバッチファイルでも.cmdじゃなく.batだぞってこと
htmファイルも同じ
まあ個人的には.batファイルのようにドット付きでなら書くけどドット無しでは書かないな

2024/05/07(火) 01:49:44.68

>>758
proc1.exeをsubprocess.run()
proc2.exeをsubprocess.run()
proc3.exeをsubprocess.run()
↑この一連を関数にまとめればbatファイルはいらない
それとまとめた関数は直接Popenじゃなくmultiprocessing経由で処理すれば
Poolを使う分だけオーバーヘッドが減る

あと処理内容次第だけどasyncio使って全部非同期ににしたほうが
コードは多少面倒でもリソースが減って速度も出る可能性もある

2024/05/07(火) 10:26:46.57

Pool版も問題なく動いた

if __name__ == '__main__':
が要るのね

2024/05/07(火) 14:13:11.88

子供がエラー出てもなんも判らんのな
get() すると判るけど、マルチプロセスにならないので、デバッグ終わったら外す
グローバル変数経由で参照させようとしても見えないとか罠がいろいろ

2024/05/07(火) 14:44:49.52

Python関係なく基礎技術知らなすぎるんだろうけど
https://docs.python.org/ja/3/library/multiprocessing.html#multiprocessing-listeners-clients
たぶんこのへん誤読してる
他のモジュールでも同じような仕組みはあるから読み替えて

2024/05/07(火) 14:51:36.53

apply_async(func, args=(arg,))
の余計なコンマもなんじゃこれと思ったら、無いと動かないんだよな
そんなもんバグやがな

2024/05/07(火) 15:53:24.89

それは要素が1個のタプルだ

2024/05/07(火) 15:55:19.18

グローバル変数が参照できるかどうかは処理系依存な気がするんだよな
Copy-On-Writeでプロセス増やしてたら普通に参照できる筈
そんな互換性の無いコードが書けていいのかとは思うけど

2024/05/07(火) 16:00:55.95

さすがにこのレベルの基礎を押さえていない人は
自称Python初心者でなくても↓こちらのスレへどうぞ

>●関連スレ● 自称初心者は↓へ
>【まず1嫁】くだすれPython(超初心者用) その59
>https://mevius.5ch.net/test/read.cgi/tech/1689241721/

2024/05/07(火) 16:02:36.17

>>788は>>785宛ね

2024/05/07(火) 16:11:14.75

要素1個のタプル 1,
要素0個のタプル ()

なんでやねん
コンマこそがタプルを表しているなら、コンマだけが空タプルの本質だろうに
冗長に書いて(,) でもエラーになる
コンマがタプルで括弧はおまけだけど空の時だけ例外ルール

2024/05/07(火) 19:25:27.35

>>790
あのさ(1)だとタプルじゃなくてただ数値がカッコで括られてるだけと判別出来ないだろ

2024/05/07(火) 19:43:11.21

>>790
要素数ゼロのタプルって何か意味あるん

2024/05/08(水) 00:49:45.86

>>792
要素数が変化しない空のシーケンスを表現するためにある
fが引数1個を取る関数、gが引数を取らない関数だとしたら
apply(f, (1,))とapply(g, ())
のようにempty tupleを使うのが理にかなってる

2024/05/08(水) 01:07:25.23

>>793
なるほど
ありがとう

2024/05/09(木) 23:41:44.90

SQLで書いてるクエリをSQLAlchemyでORMにしたいのに
全然出来んわ、半分諦めかけてる
なんかコツとかないんか？

2024/05/09(木) 23:48:54.52

word1かword2かword3のいずれかがstrに含まれているかどうか
はどうやったらすっきり書けるだろう

内包表記なら書けるけど、
if (word1, word2, word3) in str
くらいの判りやすさが欲しい

2024/05/10(金) 07:36:47.53

すぐに思いつかないようなゴルフが仮にできるとしても
関数化した方がわかりやすいとおもう

2024/05/10(金) 09:53:05.97

any(w in str for w in words)で不満か？

2024/05/10(金) 10:30:11.03

>>798
>>796 さんは「すっきり」と仰っていますが。

# 敢えて反語法で表現しました。

**デフォルトの名無しさん** (JP 0H33-ePh+) · 2024/05/10(金) 15:27:10.41

どういうこと？strかどうか調べたいていうこと？

2024/05/10(金) 17:50:44.59

>>800
(word1 in str) or (word2 in str) or (word3 in str)
を、すっきり書きたいのですと。

2024/05/10(金) 18:31:25.49

list in str
を許容するように文法を変える
結果のリストが得られるので、
any(list in str)
みたいに使う

2024/05/10(金) 18:35:00.30

and なのかor なのかは明示してくれ

2024/05/10(金) 18:40:17.35

isinstance(word1, str)

2024/05/10(金) 18:47:36.75

anyかallで>>804わたすのじゃだめなの？

2024/05/10(金) 18:50:16.41

>>796
ここで言うstrって変数じゃなくて型か？

2024/05/10(金) 19:40:33.29

短くするより分かりやすくする方がよくないか

2024/05/10(金) 21:21:08.00

any([isinstance(x, str) for x in (word1, word2, word3)])
any(map(isinstance, (word1, word2, word3), [str]*3))

2024/05/10(金) 21:41:43.74

関数一つかますしか無いだろうな

def find_words(list, str):
　return [w in str for w in list]

print(any(find_words(['a', 'b'], 'bcde')))

2024/05/10(金) 21:41:47.92

、pythonでWEBスクレイピングをしてるのですが、タスクスケジューラで動かすと画面が欠けます。
ログイン中だと問題なくでます。
なぜかサイズ指定しても効かないのですが、タスクスケジューラで登録して自動実行させてる方いませんでしょか？

2024/05/11(土) 00:19:43.68

>>810
「ユーザーがログオンしているかどうかに関わらず実行する」が選択された場合、
タスクはセッション0のデスクトップが無い環境で実行される(Vista以降)
通常のブラウザでイスクレイピングをしたければ適当なアカウントにログインしていなければならない
またはヘッドレスモードのあるブラウザなら動きそうではあるがどうだったかな

2024/05/11(土) 01:09:05.58

>>811
ありがとうございます。
ヘットレスモード試してみます。
まずはログインした状態でタスクスケジューラ起動とかが一番近道かもですね！

2024/05/11(土) 03:05:51.08

>>796
s = set(str.split())
if {word1, word2, word3} & s != {}:
　...

2024/05/11(土) 03:15:20.18

>>796
ごめん間違えた
s = set(str.split())
if {word1, word2, word3} & s != set():
　...

2024/05/11(土) 06:12:20.38

配列のインデックスが1じゃなく0から始まる利点て?

2024/05/11(土) 07:40:03.89

0の方がいろいろ合理的だけど、
printf(f'{count+1}')
とかやるよな

範囲を示す時に始点と終点よりも、始点と終点+1(次の要素の始点)の方が
便利なケースが圧倒的に多いけど、なんか怖いので愚直にやる

2024/05/11(土) 08:22:43.45

>>813-814
スマソ、なんか Trueにならなくね?

>>> word1 = 'abc'
>>> word2 = 'def'
>>> word3 = 'ghi'
>>> sstr = 'aaabcddd'
>>> s = set(sstr.split())
>>> {word1, word2, word3} & s != set()
False
>>> s = set('zzzzzzz'.split())
>>> {word1, word2, word3} & s != set()
False
>>>

2024/05/11(土) 08:24:59.32

>>815
Pythonって配列無いんじゃ？リストやろ

C言語系とかの配列的に添字が0から始まるのはメモリアドレスを計算する時に高速な為

2024/05/11(土) 09:00:38.69

1. {'sss'}.issubset({'s', 'ss', 'sst'})

2.
strings = ('miss')
ret = any([s for s in ('s', 'ss', 'ss') if s in strings])

3. filter(lambda s=s: s in strings, strings)

4.
strings = ('ss', )
is_in = strings in ('s', 'ss', 'sss')

2024/05/11(土) 11:03:50.73

strって関数オブジェクトじゃないの？

2024/05/11(土) 11:33:01.51

ヒント
画像情報テレポート
エネルギー瞬間にどう
観測結果論部あり
※情報とエネルギーを送れるのなら任意の波と線とHzを任意の場所で発生可能

上記の技術に脳内インプラントデータを対象者全身に送信で操り人形
地球外宇宙人もサイコパスが使用中

高度な科学を使用できていても自然環境も人間社会いも狡猾な者【人間を物として見る者】が圧勝
ガスライティング.ギャングストーカー.電磁波攻撃等
現在の若者サイコパスで無い者は何%いるのかな?

地球派【マイクロ波聴覚効果】は違法でないので宇宙人が行っていても合法
別の惑星はテロに該当なので問答無用で戦争

マイクロ波は波の種類なので
X線でマイクロ波を起こしているので
お前に200回のx線を打ち込んだも理解できるでしょう
※５Gはミリ波で動的動作も追跡可能になるのでマイクロ波より便利
テラヘルツ波はミリ波と比べて現在不明なので研究中

何Hzの帯域は対象者周囲の状況に応じて変化していると思われるので
線種類＋波種類＋何hz ＋使用w数＝音波【音の高さ】?

2024/05/11(土) 11:47:23.04

requests.get() したものに対して、
<meta charset= の内容を見てencodingを設定してくれる機能ってある?

2024/05/11(土) 12:21:55.32

>>817
その条件では使えない
英文みたいに空白で単語が区切られている時に使える
部分一致はsuffix arrayみたいな重く複雑なsetが必要
ひょっとしたら何かエレガントな書き方があるのかもしれないが

2024/05/11(土) 13:44:37.23

>>822
まずdecodeしないでmeta見れるの？

2024/05/11(土) 16:52:01.34

>>816 >>818
おk

2024/05/11(土) 16:57:44.24

apparent_encoding にするといいよという記事をよく見るけど、
encodingに困ってる時にapparent_encoding使うと悪化する
困ってない時は何もしなくていい
結局使い所が無い