Pythonのお勉強 Part66

2021/11/12(金) 07:48:11.11

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その55
https://mevius.5ch.net/test/read.cgi/tech/1633070807/

〇前スレ〇
Pythonのお勉強 Part65
https://mevius.5ch.net/test/read.cgi/tech/1621749112/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/12/02(木) 02:22:32.97

>>263
バカは書き込まないで

2021/12/02(木) 10:12:40.87

どうせJavaScriptでへんな自信付けてココに迷いこんだ口なだろうけどな

2021/12/02(木) 16:31:50.86

Pythonプログラマは年収が高いから魅力的なのかもな

2021/12/02(木) 17:15:47.74

Pythonを使った機械学習の本を読んでいます。

仮想環境を使うことを強く推奨すると書いてあります。

いままで、AnacondaのPythonを使ってきましたが、仮想環境を一切使ってきませんでした。

今から、仮想環境を作ってそれを使っても何も問題はないですか？

2021/12/02(木) 17:23:53.03

ライブラリのバージョンやらで混乱するくらいなら、最初から専用環境作れということでしょ
そっちのがめんどくさいと思うけど、仕事なら仕方ない

2021/12/02(木) 17:29:59.68

>>286
ありがとうございます。
趣味でやっているだけなので、必要性が実感できません。
仮想環境を作るとしても結局、最新のライブラリを使っていくだけになるのは目に見えています。

2021/12/02(木) 18:42:51.17

趣味なら自分で必要になってから考えたらいいんじゃね

2021/12/02(木) 18:48:50.53

>>288
そうすることにします。ありがとうございました。

2021/12/02(木) 19:45:26.75

>>284
因果関係がおかしいんだけどな。
プログラミングスキル以外が高い人(たとえは科学技術スキルやデータサイエンススキル)が、参入障壁が低いpythonに群がってるだけであって、pythonだけできたって仕方ない。
OpenCV,TensorFlow,Pytorch,jax,scipy,sclkit-learn,numpy,pandasあたりが使える人が年収高いというだけで、
それはPythonだけできても使える話ではない。
RDBや数学、統計の知識が必要なのだから。

2021/12/02(木) 19:52:09.42

稼いでる人はGoを使ってる

2021/12/03(金) 07:16:52.31

マルチコアを活かしてくれないツールを高速化する為に、
複数を非同期で同時に走らせたい
ただ、無制限に subprocess.Popen すると負荷が100%に張り付いてやばいので、
同時起動数の上限を設定したい

で、まあpoll()がNoneかどうか見ながらsleepしながらで動くんだけど、
同じことをやりたいケースがちょこちょこあるので、自前ライブラリ化を考える
でも、そんなもんは既に誰か作ってるのでは? という気がするんだけど、どっかにある?

2021/12/03(金) 08:38:51.44

オーバーヘッドを気にしないなら
multiprocessing.pool.Poolで任意サイズのプロセスプールを作ってそこからPopenする
threadingにも用意して欲しいんだが, 残念ながら無い

あとFutureでよければThreadPoolExecutorもワーカー数を指定できる
こちらはスレッドベースだ

2021/12/03(金) 09:23:02.26

やっぱりそのへんになるよね

たすきに長すぎな感じで、そこまで高度なことをしたい訳でもない
IOがネックになるからそこで詰まらないように並列処理したら効率的になるだろう、という思想だけど、
もっと原始的な、4コアあるのに1コアしか使ってないじゃんというレベルで、ネックの場所が違う

2021/12/03(金) 11:23:24.64

GNU Parallelとか

2021/12/03(金) 14:38:02.37

ProcessPoolExecutor？

2021/12/03(金) 16:07:39.39

100個のファイルに処理1を実行して、次に処理2を実行して、という場合、
並列でやるとしても処理1が全て完了してから処理2に取り掛かった方が安全で、
それは割と簡単にできる

処理順の依存関係まで指定してえいやっと全部一気に渡すと、済んだ人はどんどん先に進める方式だと、
効率最大でやってる内容は魔法みたいになる

キューに入れてもいいタイミングはユーザが判断してね方式だと、そんな怖いことはやりたくない
このへんの技術はとっくに枯れてる訳でもなくて、pythonのバージョンが上がるにつれて
よりシンプルに書けるようになってるっぽいので、いちばんいけてる奴だけ使いたい

2021/12/03(金) 16:50:15.61

>>297
よくわからんけど機械学習系のタスク管理ライブラリを当たってみるのがいいのでは

2021/12/03(金) 16:52:43.40

>>297
>並列でやるとしても処理1が全て完了してから処理2に取り掛かった方が安全で、

なんで安全なの？
ファイル間に依存性があるのかな？

2021/12/03(金) 19:20:43.02

使いこなせないから知らないけど
非同期処理ときたらaｓyncioじゃないの？

2021/12/03(金) 20:06:27.61

管理面倒だからそいうのはcelery使ってるわ

2021/12/03(金) 20:13:17.59

キューが空いたら依存関係見て依存してる処理が全部終わってる処理を検索してキューに入れるだけだろ
枯れてないとか意味わからん

2021/12/03(金) 21:05:26.85

依存関係はケースバイケースすぎて処理1と処理2が終わってないと処理3ができない、
みたいなのは
p3(p1(), p2())
みたいに引数の関係で書いて、それがうまい具合に遅延して評価されればいい
その時点で結構凄いことだけど、処理10まであって、
p10(p9(p8(p7(p6(p5(p4(p3(p2(p1(
って書くのかと思うと、それも嫌

そのへんは既に解決済みでもっとかっこよく書けるらしいけど、理解できてない

2021/12/03(金) 21:31:34.82

記述は依存している隣同士の関係だけでいいやん
それを動的に解釈していくか全展開するかはプログラムの中の話

2021/12/04(土) 13:56:24.80

デフォルトは自動で0になってて欲しい系の代表は defaultdict だな
pythonをperl化してしまう悪魔のモジュール
いわゆるautovivification
声に出して読みたいプログラミング用語

2021/12/04(土) 14:43:09.92

defaultdict()
引数なしで0はドキュメンテーション上ひどいけど
defaultdict(0)
callableじゃない引数ならcopy()する動作でもとは思う

2021/12/05(日) 22:33:04.61

東熱でデビューまだ？

2021/12/05(日) 22:50:01.39

tipsとか説明してる動画がいろいろあるけど、
どう考えても動画で見るよりも文字のサイトで見た方が効率いいな
アニメーションで説明するならまだしも、コード映して音声で説明するだけだし

2021/12/06(月) 09:58:30.45

その通り
でも見るより聞くほうが頭に入るっていう人はいる
そして動画なら普通は飛ばされるちょっとしたエラーへの対応なんかも映されてたりしていい
そういう意味じゃまぁまぁ分かってるぐらいのやつが試行錯誤しながらやってる動画が一番いいかもしれない動画なら
それと小技100選みたいなのは動画のほうがサクサク見れていいなって思った

2021/12/06(月) 10:16:07.53

動画はチュートリアル向きだね

2021/12/06(月) 10:24:06.22

仮に多少わかりやすかったとしても時間効率が悪すぎる

2021/12/06(月) 10:25:23.41

ん、今のとこ理解が追いついてない
と一時停止するのはまだいいとしても、
そこはもう判ったからくどく言わなくていい、
という部分だけ早送りするのは困難

2021/12/06(月) 13:10:34.16

いわゆる
教育サイトのヤツって制限つよいから使えんな
YouTubeのが倍速できていい

2021/12/06(月) 13:35:16.73

Udemyは倍速できた
開講者によって違うのかもしれんけど

2021/12/06(月) 15:04:28.27

python始めたての頃、日本語でpythonを解説してる動画があったんで見てみたけど、
内容の良し悪し以前にタイプ音が耳障りすぎて見てられなかったな
ｶﾁｬｶﾁｬ…ｯﾀｰﾝ!!ってまんま昔のミサワの画像みたいな

2021/12/06(月) 17:57:42.22

こういうプログラム組みたい、みたいなのはここでもいいのですか？

2021/12/06(月) 18:55:42.20

Pythonが主題ならいいよ

2021/12/06(月) 19:03:22.19

python **.sy ディレクトリ1 ディレクトリ2

としてコマンドライン引数2個を使い
ディレクトリ1から特定条件のファイル・ファイルサイズを抽出し
外部プログラムを利用して処理しディレクトリ2の場所にファイル名でフォルダを新規作成しそこにアウトプットしたいのですが

これは難しいですか？
半日かけて色々こねくり回してもファイルを抽出するところまでしかできませんでした

2021/12/06(月) 19:11:53.57

いいよ

2021/12/06(月) 19:14:31.95

どうせなら入力用と出力用は順不同でいけるように、-i -o オプションとか付けよう

2021/12/06(月) 19:16:54.93

Pythonを先週から使っててORMのdatasetを試してみてるんですけど、
find()に WHERE `hoge` > 10 相当の条件って指定できるんですか？

2021/12/06(月) 19:40:42.62

>>321
https://dataset.readthedocs.io/en/latest/queries.html
公式サイトみてる？
非公式のまとめサイトはあくまで公式サイトを補完するもの

2021/12/06(月) 20:13:19.50

>>322

やさしいのぅ。有難うございます。

2021/12/06(月) 21:04:00.66

シンプルなORMないかなーって色々触ってみるけどあれこれ機能が足りず結局SQLAlchemyになっちゃうよな

2021/12/06(月) 21:10:58.44

>>318
難しくない。shutilかな。

2021/12/06(月) 21:33:56.87

>>325
できればヒントやサンプルをいただけませんか

2021/12/06(月) 21:42:01.16

ヒント : subprocess

2021/12/06(月) 22:13:57.72

>>326
やろうとしてることを段階的に分けて書いてみて

2021/12/06(月) 22:22:51.24

>>328
1.ファイルの入ったフォルダをコマンドライン引数1に設定する

2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する

3.抽出したファイルを外部ツールにかける

4.外部ツールにかけた結果をコマンドライン2引数のディレクトリ内に展開する

5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する

こんな感じです
for + os.walkとendswithでファイル一覧を抽出できてもその抽出したファイルをその先に持って行ったり
外部ツール利用の方法が全くわかりません

2021/12/06(月) 23:02:13.62

streamlinkはpythonで書かれてるのに、
pythonからの使い方が判らないので、subprocessでpython呼び出してる

2021/12/06(月) 23:06:57.52

Pythonでやるからややこしい
1,2はfind
3,4,5はxargs + sh(cd, mkdir)
でできる内容

Pythonでやるのがお題ならごめん

2021/12/06(月) 23:16:45.17

>>331
バッチでってことですか？
FFMPEGがワイルドカード対応してなくて無理でした

2021/12/06(月) 23:24:01.09

シェルの方が早そうだね

2021/12/06(月) 23:29:51.84

>>329
>1.ファイルの入ったフォルダをコマンドライン引数1に設定する
>2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する
>5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する
2と5の間はとりあえずスキップして、ここだけの実装は可能？

2021/12/06(月) 23:31:26.15

>>334
2の途中で詰まりました
抽出したファイルの扱い方がわからなく・・・

2021/12/06(月) 23:49:14.76

配列に入れればいいだけじゃね

2021/12/07(火) 00:14:41.57

>>332
バッチてことはWin環境なんかな
Pythonで解決した後でもいいからPowerShellもしらべてみて
習得にあるていど時間かかるけどやれることが広がるよ
あとワイルドカード展開するのはコマンドじゃなくて通常はシェルの仕事

2021/12/07(火) 00:34:04.97

すみませんバッチファイルの本を買って勉強します
ありがとうございました

2021/12/07(火) 00:59:42.03

実際問題として、PS使うならPythonで書こうとするかなぁ
他のOSでも使うことができるし

とりあえずバッチとwshは使いたくない

2021/12/07(火) 01:31:43.51

find -execかfind xargsが鉄板だと思うけど
外部コマンドのstdout/stderr出力をPython側でキャプチャする必要なければそんなにややこしくもない

for path in Path(search_dir).glob(pattern):
__if path.stat().st_size > 1000:
____dir_path = Path(output_dir).joinpath(path.stem)
____dir_path.mkdir()
____new_path = dir_path.joinpath(path.name)
____os.system(f'echo "{path}, {dir_path}" > "{new_path}"')

(同じファイル名があった場合の対処はしてない)

2021/12/07(火) 01:36:39.28

winでもwsl2で >331が書いてる手順でﾔﾚる
powershellも覚えれば便利なんだろうけど…

2021/12/07(火) 06:51:56.92

>>329
2．は os.listdirすればリストで返してくれる
この辺見てみた？
https://note.nkmk.me/python-os-path-getsize/

2021/12/07(火) 07:18:25.74

使うのがffmpegの場合、他にも考えるべきことが大量にあるので、
一括ではうまく行かないんだよな

何が来ても自分好みのファイルに変換する万能スクリプトを一つ書いて、
それに処理するファイル一覧を食わせる方式に落ち着いた

2021/12/07(火) 08:57:52.26

awk,sedが必要になったらシェルスクリプトを諦めて全部Pythonで書くかな。
あれらを今から学習する気力が湧かない。

2021/12/07(火) 09:05:21.33

PSはPSでしかできないパワフルなことがあるので、
その部分だけPSでやるのがいい
windowsの底の部分を簡単にいじれるのはPSだけ

2021/12/07(火) 10:45:42.99

質問するならコード貼ってほしいな
このスレのテンプレにpaste用サイトが書いてある

2021/12/07(火) 11:08:12.05

PSはlinuxでもosxでも動くし、あれだけで出来ること結構あるから知ってると便利だよな

2021/12/07(火) 11:49:17.79

ガチでヌーブなんですけどrequestsとbeautifulsoupでスクレイピングやってます
waitかけないとバンされるよと言われましたがどうすればいいですか？
requests.get()でtimeoutは今書きましたがforで同じサイトの似たようなページに何度もアクセスするのでサーバーへの負荷はすごいと思います
これに対してどうすればいいですか？

2021/12/07(火) 12:01:37.39

適度にsleepする

2021/12/07(火) 12:17:07.83

手動でブラウザ操作したときまんまsleepしたらいいだけ
サーバ構築する側はボットなんか勘定にいれてコスト設計してないんだから

2021/12/07(火) 12:22:57.09

>>342
for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith("〇〇"):
os.path.getsize(ts)
print(os.path.join(file))

これでファイルは取得できるのですがそのファイルを参照する方法がわからず・・・

2021/12/07(火) 12:24:12.30

こうでした

for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith(".〇〇"):
print(os.path.join(file))

2021/12/07(火) 13:08:03.12

並列数1なら大したことないけどね
応答時間200ミリ秒なら、毎秒最大5リクエストだし

2021/12/07(火) 13:09:23.97

参照って何をしたいのか知らないけど、ファイル名取得出来てるんだからオープンするのも他のコマンドの引数に与えるのも可能では

2021/12/07(火) 13:32:14.96

>>352
Ruby では、glob に拡張子も指定できる

# 絶対パスのディレクトリ名の後ろに、*.txt を付ける。
# . で始まる、隠し directory, file を除く
glob_pattern = "C:/Users/Owner/Documents/**/*.txt"

separator = "-" * 30 + "\n"

Dir.glob( glob_pattern )
.select { |full_path| File.file?( full_path ) } # ファイルのみ
.each do |full_path|
puts "#{ separator }#{ full_path }\n#{ separator }" + File.read( full_path )
end

2021/12/07(火) 14:32:51.33

できないglobなんか無いだろ

from pathlib import Path
p = Path("c:/path")
for filename in p.glob("*.mp4"):
print(filename)

2021/12/07(火) 15:09:33.84

つかglobを何だと思ってんだガイジは

2021/12/07(火) 15:23:50.74

スレタイ読めない人がいるな

2021/12/07(火) 21:21:55.14

オワコンのruby薦められても困る

2021/12/07(火) 21:40:58.38

rubyとperlとVBとobjective-Cの人は、脱出するのが早いほど幸せになれる

2021/12/07(火) 21:43:22.87

すんげえ苦労したけどなんとか形になりました
バッチなのですれ違いすみません
もっと勉強して最適化していきます
わかってしまえばすごくシンプル

set Tool="Tool"
set template="template"

for %%f in (%1\*.〇〇) do (
mkdir "%2\%%~nf"
%Tool% -i %%f -o "%2\%%~nf\%%~nf.dgi" -a -e
del "%2\%%~nf\%%~nf.log
)

2021/12/07(火) 22:06:22.51

ワロタｗ

2021/12/07(火) 22:58:20.49

嘘だろ

2021/12/07(火) 23:00:21.81

クソワロタ

2021/12/07(火) 23:12:35.70

templateって何？

2021/12/07(火) 23:44:21.65

ポテンシャルを感じる

**デフォルトの名無しさん** · 2021/12/08(水) 01:37:02.26

from datetime import datetime, timedelta
import pytz
dt=datetime.now(pytz.timezone("Asia/Tokyo"))
print(dt)
print(dt.today())# timezone変更　不適用
print(dt.time())# timezone変更　適用
dt_utc=dt.astimezone(pytz.timezone("UTC"))
print(dt_utc)
print(dt_utc.today())#
print(dt_utc.time())#

#2021-12-08 01:34:40.591170+09:00
#2021-12-07 16:34:40.592894
#01:34:40.591170

#2021-12-07 16:34:40.591170+00:00
#2021-12-07 16:34:40.598068
#16:34:40.591170

.today()てtimezone変更引き継いで？くれないんですね・・

2021/12/08(水) 02:08:39.64

Pythonで組みなおしています
デフォルト関数も多そうだし条件分岐とかが簡単そうですが
外部ツール起動に対するオプション調査中です
ファイル名を取得してその名前でディレクトリを作成するところまではできました

import sys
import os
import subprocess

for i in os.listdir(sys.argv[1]):
file, ext = os.path.splitext(i)
os.mkdir(sys.argv[2]+file)

2021/12/08(水) 07:20:30.37

>>367
参考になるかも
https://qiita.com/shota243/items/91660ece72b5e84c3adb

2021/12/08(水) 13:19:52.67

外部ツールに抽出ファイルをかけるのが難しいですね

%Tool% -i %%f -o "%2\%%~nf\%%~nf.〇〇〇" -a -e
この処理をPythonでどうやるのか？
subprocess.runあたりを使うっぽいのですがその後の書き方や処理方法が不透明
ターミナルにパイプして処理する？とかになるなら結局バッチかパワーシェルで
統一した方が早いのでしょうか

2021/12/08(水) 13:33:21.38

標準出力を取得して、とかやるとそれ用のことを書かないといけないけど、
実行させるだけなら超シンプル

subprocessから取得したデータをパイプでffmpegに渡して、
とかやらせてちゃんと動くとちょっと嬉しい

2021/12/08(水) 13:43:19.97

ニコ生のえっちなやつ録画したいニキおつ

2021/12/08(水) 15:21:18.60

>>370
バッチで用が済むなら終わりでいいのでは
汚いスクリプトなんてプログラミングの勉強にならないし

2021/12/08(水) 16:12:58.05

m = re.search('pattern', str)
if m:
　　item = m.group(1)

みたいには書けるけど、ifの中にmの取得を一緒に書けない?
そうでないと、if elif elseで書けない

2021/12/08(水) 16:16:26.00

昔のpythonでは書けなかったんですが
python3.8からassignment expression := ができるようになりました

2021/12/08(水) 16:22:47.75

おおー、できるのか
でもうちのは3.7だからできないわ
会社のは3.6だからもっとできない

変な互換性のなさを作り込むよりは、3.6でもやれる方法を考えよう

2021/12/08(水) 16:31:06.57

>>370
各変数を別途取得して、subprocess.runで起動するアプリの引数として与えるだけ
自分で引数をオプションとして与えたいなら、argparseを使う

2021/12/08(水) 16:31:50.71

item = data.get(1)
if item:
id(item)

#3.8
if item:= data.get(1):
id(item)

2021/12/08(水) 16:51:20.77

pythonの野郎宗旨替えしやがったのか

2021/12/08(水) 17:00:08.30

>>374
スコープの話なら、関数こさえてreturnで拾うという手もあるけど、めんどくさいね

2021/12/08(水) 17:02:23.43

無駄な処理は増えるけど
m1 = re.～
m2 = re.～
としておいてから、
if m1:
elif m2:
なら書ける

代入が評価もできる仕組みは、書き間違えてバグるからというよりは、
単純に読みにくくなる