Pythonのお勉強 Part66

2021/11/12(金) 07:48:11.11

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その55
https://mevius.5ch.net/test/read.cgi/tech/1633070807/

〇前スレ〇
Pythonのお勉強 Part65
https://mevius.5ch.net/test/read.cgi/tech/1621749112/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/11/30(火) 22:52:42.79

上から埋まっていく分野では重要

2021/11/30(火) 22:54:30.10

釣鐘状の分布していないときに重要

2021/11/30(火) 23:07:37.57

平均値でも中央値でもいいけど
そのレベルの人の能力が分からないので
そもそも議論にならない

2021/11/30(火) 23:30:12.90

別に議論に加わらなくても良いですよ

2021/12/01(水) 00:32:10.74

統計検定3級おすすめ
データ分析の議論に参加できる最低ラインの保証になる

2021/12/01(水) 00:42:15.22

>>252
ロバスト統計ってご存知無い？

2021/12/01(水) 01:33:15.78

山本太郎の「れいわ」が躍進したのは、
25年の自公政権で、所得の中央値が108万円低下したことを、暴いたから

世界中で全体未聞の、GDP が上がらなかった国。
ほぼ全員を貧乏にした与党

消費税のほとんどが、福祉に使われなかった。
法人税の穴埋めに使われた

でも、こういう事を知らないから、選挙では自公が圧勝する

2021/12/01(水) 02:17:03.28

>>252
中央値なんて中学校の数学で習うもの知らないやつが
＞あんまり統計的に意味がある数字じゃないよな
は草

2021/12/01(水) 03:17:11.02

>>259
よくわからん
知ったのか知らないのかはっきりしなよ
あとスレ違いだからよそでやって

2021/12/01(水) 09:34:10.31

配列の範囲外を参照したら0を返してくれたら楽に書ける
初期化してない変数は0や空文字だとしたい

そういうのは許さないのがpythonの思想なんだろうけど、
クラスライブラリとか、「よく判らんけどいい感じにやってくれる」に満ち溢れてると思うんだよな

2021/12/01(水) 09:49:40.77

さすがに初期化してないのに0で返ってきたら違和感ありすぎる
その0どこのやつやねん

2021/12/01(水) 09:53:13.32

listを継承したsafelistでも作ってsafelist.get()すればいい

2021/12/01(水) 10:43:06.24

numpy.zeros(m, n) じゃダメなのか
sparsityによるけど

2021/12/01(水) 10:53:16.07

なんていうか、出来るからといって
何でもやっていいわけではないよな…？

型宣言して型無視したり、変数名と全然違う振る舞いのコードもかけるけど
やっていいかどうかを現場で議論してるんだよな？

2021/12/01(水) 11:08:20.51

>>248
「半分の人間は平均値以下」
この命題は偽だぞ
90,80,85,30
この4つの数値の平均は71.25
平均値以下は1つ

2021/12/01(水) 11:13:00.90

中央値に意味が無いと言えるのは中央値と平均値の乖離が小さい場合くらいで、
そんな状況はほぼない
日本全体の平均年収が436万円であるのに対して、日本全体の年収の中央値は370万円
これの意味分かるか？

2021/12/01(水) 11:49:03.99

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw

2021/12/01(水) 12:03:11.43

>>259
Ruby氏は政治も語るのか
自分でRailsサーバー建ててそこでやってくれ

ここの本来の住人がやると、Djangoで作る

2021/12/01(水) 12:29:23.91

統計は正しく使わないと意味のある結果を導き出せない
知らないで使えば無知だが
知ってて使わないのは詐欺だ

2021/12/01(水) 13:20:47.75

お前らほんとフワフワした話しかしねーのな

2021/12/01(水) 13:51:51.48

バシッとお願いしやす

2021/12/01(水) 14:00:04.80

Noneをゼロでキャッチするガイジは死ね

2021/12/01(水) 17:08:27.52

「意味がない」「正しい」
会社でこんな曖昧な表現使ってる人見たことないわ

2021/12/01(水) 17:48:31.00

>>263
DSPとかの飽和モードってそんなんだから
まぁ需要はあるんじゃね？

アセンブラ以外で実装した言語を見た事が無いから実装はされないと思うけど

2021/12/01(水) 18:05:55.99

配列はみ出してるのにそのまま処理続行されるとか悪夢でしか無い

2021/12/01(水) 20:10:29.91

世の中には3種類の人間がいる
数を数えられる人間と、数を数えられない人間だ

2021/12/01(水) 20:15:58.72

モンティ・パイソンのスペイン宗教裁判
NOBODY expects the Spanish Inquisition!
Our chief weapon is surprise...surprise and fear.

単数で始めたのにandで繋げてしまって文法が破綻する、という部分が面白いのに、なかなか伝わらない

Our two weapons are fear and surprise...and ruthless efficiency.
言い直して複数形にしたけど、わざわざtwoを付けて3つ言うという部分はもはや惰性

2021/12/01(水) 20:22:16.08

まったくわからない

2021/12/01(水) 22:31:02.94

>>252
標準偏差→正規分布、の間違い？
結構統計や確率分布も勉強すると面白いよ。
積率母関数はラプラス変換で、特性関数はフーリエ変換とかね。

2021/12/02(木) 02:22:32.97

>>263
バカは書き込まないで

2021/12/02(木) 10:12:40.87

どうせJavaScriptでへんな自信付けてココに迷いこんだ口なだろうけどな

2021/12/02(木) 16:31:50.86

Pythonプログラマは年収が高いから魅力的なのかもな

2021/12/02(木) 17:15:47.74

Pythonを使った機械学習の本を読んでいます。

仮想環境を使うことを強く推奨すると書いてあります。

いままで、AnacondaのPythonを使ってきましたが、仮想環境を一切使ってきませんでした。

今から、仮想環境を作ってそれを使っても何も問題はないですか？

2021/12/02(木) 17:23:53.03

ライブラリのバージョンやらで混乱するくらいなら、最初から専用環境作れということでしょ
そっちのがめんどくさいと思うけど、仕事なら仕方ない

2021/12/02(木) 17:29:59.68

>>286
ありがとうございます。
趣味でやっているだけなので、必要性が実感できません。
仮想環境を作るとしても結局、最新のライブラリを使っていくだけになるのは目に見えています。

2021/12/02(木) 18:42:51.17

趣味なら自分で必要になってから考えたらいいんじゃね

2021/12/02(木) 18:48:50.53

>>288
そうすることにします。ありがとうございました。

2021/12/02(木) 19:45:26.75

>>284
因果関係がおかしいんだけどな。
プログラミングスキル以外が高い人(たとえは科学技術スキルやデータサイエンススキル)が、参入障壁が低いpythonに群がってるだけであって、pythonだけできたって仕方ない。
OpenCV,TensorFlow,Pytorch,jax,scipy,sclkit-learn,numpy,pandasあたりが使える人が年収高いというだけで、
それはPythonだけできても使える話ではない。
RDBや数学、統計の知識が必要なのだから。

2021/12/02(木) 19:52:09.42

稼いでる人はGoを使ってる

2021/12/03(金) 07:16:52.31

マルチコアを活かしてくれないツールを高速化する為に、
複数を非同期で同時に走らせたい
ただ、無制限に subprocess.Popen すると負荷が100%に張り付いてやばいので、
同時起動数の上限を設定したい

で、まあpoll()がNoneかどうか見ながらsleepしながらで動くんだけど、
同じことをやりたいケースがちょこちょこあるので、自前ライブラリ化を考える
でも、そんなもんは既に誰か作ってるのでは? という気がするんだけど、どっかにある?

2021/12/03(金) 08:38:51.44

オーバーヘッドを気にしないなら
multiprocessing.pool.Poolで任意サイズのプロセスプールを作ってそこからPopenする
threadingにも用意して欲しいんだが, 残念ながら無い

あとFutureでよければThreadPoolExecutorもワーカー数を指定できる
こちらはスレッドベースだ

2021/12/03(金) 09:23:02.26

やっぱりそのへんになるよね

たすきに長すぎな感じで、そこまで高度なことをしたい訳でもない
IOがネックになるからそこで詰まらないように並列処理したら効率的になるだろう、という思想だけど、
もっと原始的な、4コアあるのに1コアしか使ってないじゃんというレベルで、ネックの場所が違う

2021/12/03(金) 11:23:24.64

GNU Parallelとか

2021/12/03(金) 14:38:02.37

ProcessPoolExecutor？

2021/12/03(金) 16:07:39.39

100個のファイルに処理1を実行して、次に処理2を実行して、という場合、
並列でやるとしても処理1が全て完了してから処理2に取り掛かった方が安全で、
それは割と簡単にできる

処理順の依存関係まで指定してえいやっと全部一気に渡すと、済んだ人はどんどん先に進める方式だと、
効率最大でやってる内容は魔法みたいになる

キューに入れてもいいタイミングはユーザが判断してね方式だと、そんな怖いことはやりたくない
このへんの技術はとっくに枯れてる訳でもなくて、pythonのバージョンが上がるにつれて
よりシンプルに書けるようになってるっぽいので、いちばんいけてる奴だけ使いたい

2021/12/03(金) 16:50:15.61

>>297
よくわからんけど機械学習系のタスク管理ライブラリを当たってみるのがいいのでは

2021/12/03(金) 16:52:43.40

>>297
>並列でやるとしても処理1が全て完了してから処理2に取り掛かった方が安全で、

なんで安全なの？
ファイル間に依存性があるのかな？

2021/12/03(金) 19:20:43.02

使いこなせないから知らないけど
非同期処理ときたらaｓyncioじゃないの？

2021/12/03(金) 20:06:27.61

管理面倒だからそいうのはcelery使ってるわ

2021/12/03(金) 20:13:17.59

キューが空いたら依存関係見て依存してる処理が全部終わってる処理を検索してキューに入れるだけだろ
枯れてないとか意味わからん

2021/12/03(金) 21:05:26.85

依存関係はケースバイケースすぎて処理1と処理2が終わってないと処理3ができない、
みたいなのは
p3(p1(), p2())
みたいに引数の関係で書いて、それがうまい具合に遅延して評価されればいい
その時点で結構凄いことだけど、処理10まであって、
p10(p9(p8(p7(p6(p5(p4(p3(p2(p1(
って書くのかと思うと、それも嫌

そのへんは既に解決済みでもっとかっこよく書けるらしいけど、理解できてない

2021/12/03(金) 21:31:34.82

記述は依存している隣同士の関係だけでいいやん
それを動的に解釈していくか全展開するかはプログラムの中の話

2021/12/04(土) 13:56:24.80

デフォルトは自動で0になってて欲しい系の代表は defaultdict だな
pythonをperl化してしまう悪魔のモジュール
いわゆるautovivification
声に出して読みたいプログラミング用語

2021/12/04(土) 14:43:09.92

defaultdict()
引数なしで0はドキュメンテーション上ひどいけど
defaultdict(0)
callableじゃない引数ならcopy()する動作でもとは思う

2021/12/05(日) 22:33:04.61

東熱でデビューまだ？

2021/12/05(日) 22:50:01.39

tipsとか説明してる動画がいろいろあるけど、
どう考えても動画で見るよりも文字のサイトで見た方が効率いいな
アニメーションで説明するならまだしも、コード映して音声で説明するだけだし

2021/12/06(月) 09:58:30.45

その通り
でも見るより聞くほうが頭に入るっていう人はいる
そして動画なら普通は飛ばされるちょっとしたエラーへの対応なんかも映されてたりしていい
そういう意味じゃまぁまぁ分かってるぐらいのやつが試行錯誤しながらやってる動画が一番いいかもしれない動画なら
それと小技100選みたいなのは動画のほうがサクサク見れていいなって思った

2021/12/06(月) 10:16:07.53

動画はチュートリアル向きだね

2021/12/06(月) 10:24:06.22

仮に多少わかりやすかったとしても時間効率が悪すぎる

2021/12/06(月) 10:25:23.41

ん、今のとこ理解が追いついてない
と一時停止するのはまだいいとしても、
そこはもう判ったからくどく言わなくていい、
という部分だけ早送りするのは困難

2021/12/06(月) 13:10:34.16

いわゆる
教育サイトのヤツって制限つよいから使えんな
YouTubeのが倍速できていい

2021/12/06(月) 13:35:16.73

Udemyは倍速できた
開講者によって違うのかもしれんけど

2021/12/06(月) 15:04:28.27

python始めたての頃、日本語でpythonを解説してる動画があったんで見てみたけど、
内容の良し悪し以前にタイプ音が耳障りすぎて見てられなかったな
ｶﾁｬｶﾁｬ…ｯﾀｰﾝ!!ってまんま昔のミサワの画像みたいな

2021/12/06(月) 17:57:42.22

こういうプログラム組みたい、みたいなのはここでもいいのですか？

2021/12/06(月) 18:55:42.20

Pythonが主題ならいいよ

2021/12/06(月) 19:03:22.19

python **.sy ディレクトリ1 ディレクトリ2

としてコマンドライン引数2個を使い
ディレクトリ1から特定条件のファイル・ファイルサイズを抽出し
外部プログラムを利用して処理しディレクトリ2の場所にファイル名でフォルダを新規作成しそこにアウトプットしたいのですが

これは難しいですか？
半日かけて色々こねくり回してもファイルを抽出するところまでしかできませんでした

2021/12/06(月) 19:11:53.57

いいよ

2021/12/06(月) 19:14:31.95

どうせなら入力用と出力用は順不同でいけるように、-i -o オプションとか付けよう

2021/12/06(月) 19:16:54.93

Pythonを先週から使っててORMのdatasetを試してみてるんですけど、
find()に WHERE `hoge` > 10 相当の条件って指定できるんですか？

2021/12/06(月) 19:40:42.62

>>321
https://dataset.readthedocs.io/en/latest/queries.html
公式サイトみてる？
非公式のまとめサイトはあくまで公式サイトを補完するもの

2021/12/06(月) 20:13:19.50

>>322

やさしいのぅ。有難うございます。

2021/12/06(月) 21:04:00.66

シンプルなORMないかなーって色々触ってみるけどあれこれ機能が足りず結局SQLAlchemyになっちゃうよな

2021/12/06(月) 21:10:58.44

>>318
難しくない。shutilかな。

2021/12/06(月) 21:33:56.87

>>325
できればヒントやサンプルをいただけませんか

2021/12/06(月) 21:42:01.16

ヒント : subprocess

2021/12/06(月) 22:13:57.72

>>326
やろうとしてることを段階的に分けて書いてみて

2021/12/06(月) 22:22:51.24

>>328
1.ファイルの入ったフォルダをコマンドライン引数1に設定する

2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する

3.抽出したファイルを外部ツールにかける

4.外部ツールにかけた結果をコマンドライン2引数のディレクトリ内に展開する

5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する

こんな感じです
for + os.walkとendswithでファイル一覧を抽出できてもその抽出したファイルをその先に持って行ったり
外部ツール利用の方法が全くわかりません

2021/12/06(月) 23:02:13.62

streamlinkはpythonで書かれてるのに、
pythonからの使い方が判らないので、subprocessでpython呼び出してる

2021/12/06(月) 23:06:57.52

Pythonでやるからややこしい
1,2はfind
3,4,5はxargs + sh(cd, mkdir)
でできる内容

Pythonでやるのがお題ならごめん

2021/12/06(月) 23:16:45.17

>>331
バッチでってことですか？
FFMPEGがワイルドカード対応してなくて無理でした

2021/12/06(月) 23:24:01.09

シェルの方が早そうだね

2021/12/06(月) 23:29:51.84

>>329
>1.ファイルの入ったフォルダをコマンドライン引数1に設定する
>2.フォルダ内から特定の拡張子かつ一定以上のファイルサイズのものを抽出する
>5.フォルダは4の指定ディレクトリ内にファイル名で新規作成する
2と5の間はとりあえずスキップして、ここだけの実装は可能？

2021/12/06(月) 23:31:26.15

>>334
2の途中で詰まりました
抽出したファイルの扱い方がわからなく・・・

2021/12/06(月) 23:49:14.76

配列に入れればいいだけじゃね

2021/12/07(火) 00:14:41.57

>>332
バッチてことはWin環境なんかな
Pythonで解決した後でもいいからPowerShellもしらべてみて
習得にあるていど時間かかるけどやれることが広がるよ
あとワイルドカード展開するのはコマンドじゃなくて通常はシェルの仕事

2021/12/07(火) 00:34:04.97

すみませんバッチファイルの本を買って勉強します
ありがとうございました

2021/12/07(火) 00:59:42.03

実際問題として、PS使うならPythonで書こうとするかなぁ
他のOSでも使うことができるし

とりあえずバッチとwshは使いたくない

2021/12/07(火) 01:31:43.51

find -execかfind xargsが鉄板だと思うけど
外部コマンドのstdout/stderr出力をPython側でキャプチャする必要なければそんなにややこしくもない

for path in Path(search_dir).glob(pattern):
__if path.stat().st_size > 1000:
____dir_path = Path(output_dir).joinpath(path.stem)
____dir_path.mkdir()
____new_path = dir_path.joinpath(path.name)
____os.system(f'echo "{path}, {dir_path}" > "{new_path}"')

(同じファイル名があった場合の対処はしてない)

2021/12/07(火) 01:36:39.28

winでもwsl2で >331が書いてる手順でﾔﾚる
powershellも覚えれば便利なんだろうけど…

2021/12/07(火) 06:51:56.92

>>329
2．は os.listdirすればリストで返してくれる
この辺見てみた？
https://note.nkmk.me/python-os-path-getsize/

2021/12/07(火) 07:18:25.74

使うのがffmpegの場合、他にも考えるべきことが大量にあるので、
一括ではうまく行かないんだよな

何が来ても自分好みのファイルに変換する万能スクリプトを一つ書いて、
それに処理するファイル一覧を食わせる方式に落ち着いた

2021/12/07(火) 08:57:52.26

awk,sedが必要になったらシェルスクリプトを諦めて全部Pythonで書くかな。
あれらを今から学習する気力が湧かない。

2021/12/07(火) 09:05:21.33

PSはPSでしかできないパワフルなことがあるので、
その部分だけPSでやるのがいい
windowsの底の部分を簡単にいじれるのはPSだけ

2021/12/07(火) 10:45:42.99

質問するならコード貼ってほしいな
このスレのテンプレにpaste用サイトが書いてある

2021/12/07(火) 11:08:12.05

PSはlinuxでもosxでも動くし、あれだけで出来ること結構あるから知ってると便利だよな

2021/12/07(火) 11:49:17.79

ガチでヌーブなんですけどrequestsとbeautifulsoupでスクレイピングやってます
waitかけないとバンされるよと言われましたがどうすればいいですか？
requests.get()でtimeoutは今書きましたがforで同じサイトの似たようなページに何度もアクセスするのでサーバーへの負荷はすごいと思います
これに対してどうすればいいですか？

2021/12/07(火) 12:01:37.39

適度にsleepする

2021/12/07(火) 12:17:07.83

手動でブラウザ操作したときまんまsleepしたらいいだけ
サーバ構築する側はボットなんか勘定にいれてコスト設計してないんだから

2021/12/07(火) 12:22:57.09

>>342
for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith("〇〇"):
os.path.getsize(ts)
print(os.path.join(file))

これでファイルは取得できるのですがそのファイルを参照する方法がわからず・・・

2021/12/07(火) 12:24:12.30

こうでした

for curDir, dirs, files in os.walk(sys.argv[1]):
for file in files:
if file.endswith(".〇〇"):
print(os.path.join(file))