Pythonのお勉強 Part66

2021/11/12(金) 07:48:11.11

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その55
https://mevius.5ch.net/test/read.cgi/tech/1633070807/

〇前スレ〇
Pythonのお勉強 Part65
https://mevius.5ch.net/test/read.cgi/tech/1621749112/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/12/03(金) 16:50:15.61

>>297
よくわからんけど機械学習系のタスク管理ライブラリを当たってみるのがいいのでは

2021/12/03(金) 16:52:43.40

>>297
>並列でやるとしても処理1が全て完了してから処理2に取り掛かった方が安全で、

なんで安全なの？
ファイル間に依存性があるのかな？

2021/12/03(金) 19:20:43.02

使いこなせないから知らないけど
非同期処理ときたらaｓyncioじゃないの？

2021/12/03(金) 20:06:27.61

管理面倒だからそいうのはcelery使ってるわ

2021/12/03(金) 20:13:17.59

キューが空いたら依存関係見て依存してる処理が全部終わってる処理を検索してキューに入れるだけだろ
枯れてないとか意味わからん

2021/12/03(金) 21:05:26.85

依存関係はケースバイケースすぎて処理1と処理2が終わってないと処理3ができない、
みたいなのは
p3(p1(), p2())
みたいに引数の関係で書いて、それがうまい具合に遅延して評価されればいい
その時点で結構凄いことだけど、処理10まであって、
p10(p9(p8(p7(p6(p5(p4(p3(p2(p1(
って書くのかと思うと、それも嫌

そのへんは既に解決済みでもっとかっこよく書けるらしいけど、理解できてない

2021/12/03(金) 21:31:34.82

記述は依存している隣同士の関係だけでいいやん
それを動的に解釈していくか全展開するかはプログラムの中の話

2021/12/04(土) 13:56:24.80

デフォルトは自動で0になってて欲しい系の代表は defaultdict だな
pythonをperl化してしまう悪魔のモジュール
いわゆるautovivification
声に出して読みたいプログラミング用語

2021/12/04(土) 14:43:09.92

defaultdict()
引数なしで0はドキュメンテーション上ひどいけど
defaultdict(0)
callableじゃない引数ならcopy()する動作でもとは思う

2021/12/05(日) 22:33:04.61

東熱でデビューまだ？

2021/12/05(日) 22:50:01.39

tipsとか説明してる動画がいろいろあるけど、
どう考えても動画で見るよりも文字のサイトで見た方が効率いいな
アニメーションで説明するならまだしも、コード映して音声で説明するだけだし

2021/12/06(月) 09:58:30.45

その通り
でも見るより聞くほうが頭に入るっていう人はいる
そして動画なら普通は飛ばされるちょっとしたエラーへの対応なんかも映されてたりしていい
そういう意味じゃまぁまぁ分かってるぐらいのやつが試行錯誤しながらやってる動画が一番いいかもしれない動画なら
それと小技100選みたいなのは動画のほうがサクサク見れていいなって思った

2021/12/06(月) 10:16:07.53

動画はチュートリアル向きだね

2021/12/06(月) 10:24:06.22

仮に多少わかりやすかったとしても時間効率が悪すぎる

2021/12/06(月) 10:25:23.41

ん、今のとこ理解が追いついてない
と一時停止するのはまだいいとしても、
そこはもう判ったからくどく言わなくていい、
という部分だけ早送りするのは困難

2021/12/06(月) 13:10:34.16

いわゆる
教育サイトのヤツって制限つよいから使えんな
YouTubeのが倍速できていい

2021/12/06(月) 13:35:16.73

Udemyは倍速できた
開講者によって違うのかもしれんけど

2021/12/06(月) 15:04:28.27

python始めたての頃、日本語でpythonを解説してる動画があったんで見てみたけど、
内容の良し悪し以前にタイプ音が耳障りすぎて見てられなかったな
ｶﾁｬｶﾁｬ…ｯﾀｰﾝ!!ってまんま昔のミサワの画像みたいな

2021/12/06(月) 17:57:42.22

こういうプログラム組みたい、みたいなのはここでもいいのですか？

2021/12/06(月) 18:55:42.20

Pythonが主題ならいいよ

2021/12/06(月) 19:03:22.19

python **.sy ディレクトリ1 ディレクトリ2

としてコマンドライン引数2個を使い
ディレクトリ1から特定条件のファイル・ファイルサイズを抽出し
外部プログラムを利用して処理しディレクトリ2の場所にファイル名でフォルダを新規作成しそこにアウトプットしたいのですが

これは難しいですか？
半日かけて色々こねくり回してもファイルを抽出するところまでしかできませんでした

2021/12/06(月) 19:11:53.57

いいよ

2021/12/06(月) 19:14:31.95

どうせなら入力用と出力用は順不同でいけるように、-i -o オプションとか付けよう

2021/12/06(月) 19:16:54.93

Pythonを先週から使っててORMのdatasetを試してみてるんですけど、
find()に WHERE `hoge` > 10 相当の条件って指定できるんですか？

2021/12/06(月) 19:40:42.62

>>321
https://dataset.readthedocs.io/en/latest/queries.html
公式サイトみてる？
非公式のまとめサイトはあくまで公式サイトを補完するもの

2021/12/06(月) 20:13:19.50

>>322

やさしいのぅ。有難うございます。

2021/12/06(月) 21:04:00.66

シンプルなORMないかなーって色々触ってみるけどあれこれ機能が足りず結局SQLAlchemyになっちゃうよな

2021/12/06(月) 21:10:58.44

>>318
難しくない。shutilかな。

2021/12/06(月) 21:33:56.87

>>325
できればヒントやサンプルをいただけませんか

2021/12/06(月) 21:42:01.16

ヒント : subprocess

2021/12/06(月) 22:13:57.72

>>326
やろうとしてることを段階的に分けて書いてみて

2021/12/06(月) 22:22:51.24

>>328
1.ファイルの入ったフォルダをコマンドライン引数1に設定する

2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する

3.抽出したファイルを外部ツールにかける

4.外部ツールにかけた結果をコマンドライン2引数のディレクトリ内に展開する

5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する

こんな感じです
for + os.walkとendswithでファイル一覧を抽出できてもその抽出したファイルをその先に持って行ったり
外部ツール利用の方法が全くわかりません

2021/12/06(月) 23:02:13.62

streamlinkはpythonで書かれてるのに、
pythonからの使い方が判らないので、subprocessでpython呼び出してる

2021/12/06(月) 23:06:57.52

Pythonでやるからややこしい
1,2はfind
3,4,5はxargs + sh(cd, mkdir)
でできる内容

Pythonでやるのがお題ならごめん

2021/12/06(月) 23:16:45.17

>>331
バッチでってことですか？
FFMPEGがワイルドカード対応してなくて無理でした

2021/12/06(月) 23:24:01.09

シェルの方が早そうだね

2021/12/06(月) 23:29:51.84

>>329
>1.ファイルの入ったフォルダをコマンドライン引数1に設定する
>2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する
>5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する
2と5の間はとりあえずスキップして、ここだけの実装は可能？

2021/12/06(月) 23:31:26.15

>>334
2の途中で詰まりました
抽出したファイルの扱い方がわからなく・・・

2021/12/06(月) 23:49:14.76

配列に入れればいいだけじゃね

2021/12/07(火) 00:14:41.57

>>332
バッチてことはWin環境なんかな
Pythonで解決した後でもいいからPowerShellもしらべてみて
習得にあるていど時間かかるけどやれることが広がるよ
あとワイルドカード展開するのはコマンドじゃなくて通常はシェルの仕事

2021/12/07(火) 00:34:04.97

すみませんバッチファイルの本を買って勉強します
ありがとうございました

2021/12/07(火) 00:59:42.03

実際問題として、PS使うならPythonで書こうとするかなぁ
他のOSでも使うことができるし

とりあえずバッチとwshは使いたくない

2021/12/07(火) 01:31:43.51

find -execかfind xargsが鉄板だと思うけど
外部コマンドのstdout/stderr出力をPython側でキャプチャする必要なければそんなにややこしくもない

for path in Path(search_dir).glob(pattern):
__if path.stat().st_size > 1000:
____dir_path = Path(output_dir).joinpath(path.stem)
____dir_path.mkdir()
____new_path = dir_path.joinpath(path.name)
____os.system(f'echo "{path}, {dir_path}" > "{new_path}"')

(同じファイル名があった場合の対処はしてない)

2021/12/07(火) 01:36:39.28

winでもwsl2で >331が書いてる手順でﾔﾚる
powershellも覚えれば便利なんだろうけど…

2021/12/07(火) 06:51:56.92

>>329
2．は os.listdirすればリストで返してくれる
この辺見てみた？
https://note.nkmk.me/python-os-path-getsize/

2021/12/07(火) 07:18:25.74

使うのがffmpegの場合、他にも考えるべきことが大量にあるので、
一括ではうまく行かないんだよな

何が来ても自分好みのファイルに変換する万能スクリプトを一つ書いて、
それに処理するファイル一覧を食わせる方式に落ち着いた

2021/12/07(火) 08:57:52.26

awk,sedが必要になったらシェルスクリプトを諦めて全部Pythonで書くかな。
あれらを今から学習する気力が湧かない。

2021/12/07(火) 09:05:21.33

PSはPSでしかできないパワフルなことがあるので、
その部分だけPSでやるのがいい
windowsの底の部分を簡単にいじれるのはPSだけ

2021/12/07(火) 10:45:42.99

質問するならコード貼ってほしいな
このスレのテンプレにpaste用サイトが書いてある

2021/12/07(火) 11:08:12.05

PSはlinuxでもosxでも動くし、あれだけで出来ること結構あるから知ってると便利だよな

2021/12/07(火) 11:49:17.79

ガチでヌーブなんですけどrequestsとbeautifulsoupでスクレイピングやってます
waitかけないとバンされるよと言われましたがどうすればいいですか？
requests.get()でtimeoutは今書きましたがforで同じサイトの似たようなページに何度もアクセスするのでサーバーへの負荷はすごいと思います
これに対してどうすればいいですか？

2021/12/07(火) 12:01:37.39

適度にsleepする

2021/12/07(火) 12:17:07.83

手動でブラウザ操作したときまんまsleepしたらいいだけ
サーバ構築する側はボットなんか勘定にいれてコスト設計してないんだから

2021/12/07(火) 12:22:57.09

>>342
for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith("〇〇"):
os.path.getsize(ts)
print(os.path.join(file))

これでファイルは取得できるのですがそのファイルを参照する方法がわからず・・・

2021/12/07(火) 12:24:12.30

こうでした

for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith(".〇〇"):
print(os.path.join(file))

2021/12/07(火) 13:08:03.12

並列数1なら大したことないけどね
応答時間200ミリ秒なら、毎秒最大5リクエストだし

2021/12/07(火) 13:09:23.97

参照って何をしたいのか知らないけど、ファイル名取得出来てるんだからオープンするのも他のコマンドの引数に与えるのも可能では

2021/12/07(火) 13:32:14.96

>>352
Ruby では、glob に拡張子も指定できる

# 絶対パスのディレクトリ名の後ろに、*.txt を付ける。
# . で始まる、隠し directory, file を除く
glob_pattern = "C:/Users/Owner/Documents/**/*.txt"

separator = "-" * 30 + "\n"

Dir.glob( glob_pattern )
.select { |full_path| File.file?( full_path ) } # ファイルのみ
.each do |full_path|
puts "#{ separator }#{ full_path }\n#{ separator }" + File.read( full_path )
end

2021/12/07(火) 14:32:51.33

できないglobなんか無いだろ

from pathlib import Path
p = Path("c:/path")
for filename in p.glob("*.mp4"):
print(filename)

2021/12/07(火) 15:09:33.84

つかglobを何だと思ってんだガイジは

2021/12/07(火) 15:23:50.74

スレタイ読めない人がいるな

2021/12/07(火) 21:21:55.14

オワコンのruby薦められても困る

2021/12/07(火) 21:40:58.38

rubyとperlとVBとobjective-Cの人は、脱出するのが早いほど幸せになれる

2021/12/07(火) 21:43:22.87

すんげえ苦労したけどなんとか形になりました
バッチなのですれ違いすみません
もっと勉強して最適化していきます
わかってしまえばすごくシンプル

set Tool="Tool"
set template="template"

for %%f in (%1\*.〇〇) do (
mkdir "%2\%%~nf"
%Tool% -i %%f -o "%2\%%~nf\%%~nf.dgi" -a -e
del "%2\%%~nf\%%~nf.log
)

2021/12/07(火) 22:06:22.51

ワロタｗ

2021/12/07(火) 22:58:20.49

嘘だろ

2021/12/07(火) 23:00:21.81

クソワロタ

2021/12/07(火) 23:12:35.70

templateって何？

2021/12/07(火) 23:44:21.65

ポテンシャルを感じる

**デフォルトの名無しさん** · 2021/12/08(水) 01:37:02.26

from datetime import datetime, timedelta
import pytz
dt=datetime.now(pytz.timezone("Asia/Tokyo"))
print(dt)
print(dt.today())# timezone変更　不適用
print(dt.time())# timezone変更　適用
dt_utc=dt.astimezone(pytz.timezone("UTC"))
print(dt_utc)
print(dt_utc.today())#
print(dt_utc.time())#

#2021-12-08 01:34:40.591170+09:00
#2021-12-07 16:34:40.592894
#01:34:40.591170

#2021-12-07 16:34:40.591170+00:00
#2021-12-07 16:34:40.598068
#16:34:40.591170

.today()てtimezone変更引き継いで？くれないんですね・・

2021/12/08(水) 02:08:39.64

Pythonで組みなおしています
デフォルト関数も多そうだし条件分岐とかが簡単そうですが
外部ツール起動に対するオプション調査中です
ファイル名を取得してその名前でディレクトリを作成するところまではできました

import sys
import os
import subprocess

for i in os.listdir(sys.argv[1]):
file, ext = os.path.splitext(i)
os.mkdir(sys.argv[2]+file)

2021/12/08(水) 07:20:30.37

>>367
参考になるかも
https://qiita.com/shota243/items/91660ece72b5e84c3adb

2021/12/08(水) 13:19:52.67

外部ツールに抽出ファイルをかけるのが難しいですね

%Tool% -i %%f -o "%2\%%~nf\%%~nf.〇〇〇" -a -e
この処理をPythonでどうやるのか？
subprocess.runあたりを使うっぽいのですがその後の書き方や処理方法が不透明
ターミナルにパイプして処理する？とかになるなら結局バッチかパワーシェルで
統一した方が早いのでしょうか

2021/12/08(水) 13:33:21.38

標準出力を取得して、とかやるとそれ用のことを書かないといけないけど、
実行させるだけなら超シンプル

subprocessから取得したデータをパイプでffmpegに渡して、
とかやらせてちゃんと動くとちょっと嬉しい

2021/12/08(水) 13:43:19.97

ニコ生のえっちなやつ録画したいニキおつ

2021/12/08(水) 15:21:18.60

>>370
バッチで用が済むなら終わりでいいのでは
汚いスクリプトなんてプログラミングの勉強にならないし

2021/12/08(水) 16:12:58.05

m = re.search('pattern', str)
if m:
　　item = m.group(1)

みたいには書けるけど、ifの中にmの取得を一緒に書けない?
そうでないと、if elif elseで書けない

2021/12/08(水) 16:16:26.00

昔のpythonでは書けなかったんですが
python3.8からassignment expression := ができるようになりました

2021/12/08(水) 16:22:47.75

おおー、できるのか
でもうちのは3.7だからできないわ
会社のは3.6だからもっとできない

変な互換性のなさを作り込むよりは、3.6でもやれる方法を考えよう

2021/12/08(水) 16:31:06.57

>>370
各変数を別途取得して、subprocess.runで起動するアプリの引数として与えるだけ
自分で引数をオプションとして与えたいなら、argparseを使う

2021/12/08(水) 16:31:50.71

item = data.get(1)
if item:
id(item)

#3.8
if item:= data.get(1):
id(item)

2021/12/08(水) 16:51:20.77

pythonの野郎宗旨替えしやがったのか

2021/12/08(水) 17:00:08.30

>>374
スコープの話なら、関数こさえてreturnで拾うという手もあるけど、めんどくさいね

2021/12/08(水) 17:02:23.43

無駄な処理は増えるけど
m1 = re.～
m2 = re.～
としておいてから、
if m1:
elif m2:
なら書ける

代入が評価もできる仕組みは、書き間違えてバグるからというよりは、
単純に読みにくくなる

2021/12/08(水) 17:12:25.01

Pythonのifのスコープは脳に優しくないな

2021/12/08(水) 17:22:50.60

プライベートだと思っていた彼女のホールがグローバルだった

2021/12/08(水) 19:30:48.14

入力行をsplitして取り込む
arg1, arg2, arg3 = line.split('\t')
みたいな感じ

でも、入力がちゃんとしてなくて数が多くても少なくてもエラーになる
そこはよしなにやって欲しい
足りない部分はNoneで埋めて、余った分は捨てていい

というええかげんなことをしようと思ったら、ええかげん関数を作るしかないのかな

2021/12/08(水) 19:35:03.01

hash = {'ぐれ':1, 'ぷ':2}

matched = m.group(1)

if not hash.get(matched):
print('i want to write else case')
elif hash［matched］== 1:
print('do 1 case')

？？？

2021/12/08(水) 21:14:52.99

>>384
arg1, arg2, arg3, *_ = line.split('¥t') + [None, None]

2021/12/08(水) 23:31:45.91

+ でいいんだな

2021/12/09(木) 02:15:13.68

すみません、質問なのですが、
newline= ってpython3じゃないと使えないのですか？

2021/12/09(木) 02:26:38.04

調べてから質問してる？

2021/12/09(木) 02:29:06.32

してる

**デフォルトの名無しさん** · 2021/12/09(木) 05:36:26.42

"newline=　を使う"ってなに？
文字列の中に改行コードは使えるか
って意味じゃないよね
それだとそっこーぐぐったら出てくるし。
なんかのライブラリやらフレームワーク的な話なのだろうか

**デフォルトの名無しさん** · 2021/12/09(木) 05:39:43.24

あるいはクロスプラットフォームでのCRLFかLFかみたいな話かな

2021/12/09(木) 06:51:10.51

openのオプションでしょ

**デフォルトの名無しさん** · 2021/12/09(木) 08:02:22.78

>>388
python3.8.1
https://techiedelight.com/compiler/?MQK2

python2.7.17
https://techiedelight.com/compiler/?lKam

2021/12/09(木) 08:48:12.08

beautifulsoupでattributeerror: nonetype nas no attribute stringが発生するんだけどnoneになることが想定される場合は一々いっこっこifでかこってやらないとだめなの？

2021/12/09(木) 08:56:56.15

ifっていうかtryか

2021/12/09(木) 08:59:10.31

最大限何でも見つかるようにしとくから、緩めるのはユーザ側でやってね
という姿勢は間違ってないんだけどな
元から緩かったら厳しくしようがない