Pythonのお勉強 Part66

2021/11/15(月) 18:59:43.37

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その55
https://mevius.5ch.net/test/read.cgi/tech/1633070807/

〇前スレ〇 Pythonのお勉強 Part65
https://mevius.5ch.net/test/read.cgi/tech/1621749112/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/05/13(金) 14:53:47.58

ひとまずPCにpython27をインストールしました。
次にソースからexeを作成するcmdファイルがありました。
pythonのあとにsetup.py py2exeとあり、setupを見るとソース名が指定してあります。

実行すると何も表示されずするっと消えます。
exeはdistフォルダーに出力とネットではみましたが作成されていません。

エラーが出ているのでしょうか・

2022/05/13(金) 15:06:45.57

まずそのpythonを窓から投げ捨ててください

そのバージョンはサポート切れで今後も躓きまくると思うので、3.10をインストールしなおしたほうがいいよ

2022/05/13(金) 15:10:10.67

今後のことは3がいいだろうけど、2が3で動かないのはほぼ確実なので、
正しく移植するのが困難だからとりあえず2がいい

**デフォルトの名無しさん** (JP 0Ha2-548A) · 2022/05/13(金) 15:11:01.68

それをすてるなんてとんでもない！

2022/05/13(金) 15:12:07.07

ありがとうございます。
実は最新版をいれたのですがソースの規則違反が出てググると3以上で改定されていると・・・
ソース修正ができないのとバグでも出したら怖いので過去Verをいれています。
exe作成時のログは見る事は可能でしょうか

**デフォルトの名無しさん** (JP 0Ha2-VY/U) · 2022/05/13(金) 15:15:40.45

たぶんどっか違うフォルダに保存されてんじゃないの
フルパス指定してみ

2022/05/13(金) 15:27:54.08

エクスプローラーの検索でCドラを検索しても***.exeはヒットせずです。困りました

2022/05/13(金) 15:37:11.42

ちなみに君のpython2.7にはpy2exeがインストールされているのかい？
>py -2 -m pip install py2exe

2022/05/13(金) 15:42:16.79

py2exeだけでなく、いろんなモジュールが足りなさそう。

2022/05/13(金) 15:42:55.38

オプション-2を外して実行するno module named pipです

2022/05/13(金) 15:46:03.46

ごめん、2.7はpip使えないんだね。
https://sourceforge.net/projects/py2exe/files/py2exe/0.6.9/
から2.7用をダウンロードしてインストールして。

ちなみに、その .py はpython2.7をインストールしたPCで動く？
モジュール足りてる？

2022/05/13(金) 16:01:49.02

https://www.python-izm.com/third_party/executable/py2exe/

2022/05/13(金) 16:15:55.03

>>861 的確なアドバイスに大変感謝します！！！インストール後にexe作成のcmd実行で
画面えらいメッセージが流れdistフォルダーが作成されました。

近くにいたら寿司でも奢りたい気分ですがまさか5chで解決するとはｗ
本当に泣きたいくらいに感謝です。ありがとうございました。

2022/05/13(金) 17:10:28.05

釣り質問じゃなかったのか‥

2022/05/13(金) 17:53:38.97

>>863 できたexeファイルはまともに動くかい？
なんかモジュールが足りないとかエラーメッセージでないかい？

2022/05/13(金) 18:13:37.25

ありがとうございます。先ほど本番環境で検証したら

LoaLibrary(pythondll) failedが表示され動作停止されました。

なかなかすんなりいきません。

2022/05/13(金) 18:18:27.99

ソースの先頭部分、import文だけでも晒してみ。

2022/05/13(金) 18:19:26.63

必要なモジュールが足りてないんだわ。py2exeだけじゃなくて必要なものが色々足りてないと思う。

2022/05/13(金) 18:29:53.64

こんな感じです。

# coding: cp932

import os
import os.path
import shutil
import ftplib
import sys
import ConfigParser
import md5
import datetime
import logging
import logging.config
import yaml # warning: this package needs to be installed manually before
# download at: http://pyyaml.org/wiki/PyYAML

2022/05/13(金) 18:39:39.77

https://qiita.com/sg0hsmt/items/f8fc8d587bff816654a8
を参考に pip をインストール。
pip install で ConfigParser, md5, yaml をインストール。
で、再度 exe を作成。

2022/05/13(金) 18:41:46.96

3.10の仮想環境で確認しているから、ひょっとしたらもっと足りないかもしれない。

2022/05/13(金) 18:45:07.56

2.7時代のモジュールインストールって pip で問題なし? to 諸先輩方。

**デフォルトの名無しさん** · 2022/05/13(金) 19:08:43.44

ワンチャン３系でこれでexe化して動くかも知れない
https://colab.research.google.com/drive/1S8Rwdz7m6BtVivwviLDGoISPGKpDRFWG

2022/05/13(金) 19:12:21.15

pipのインストールサイトを見ましたがこれはAまたはBのどちらかをすればよいのでしょうか。
また、(a)はコマンドプロンプトで実行を意味していますでしょうか。素人すぎる質問ですみません

2022/05/13(金) 19:24:22.42

(a)の方が簡単そう。URLは生きてた。コマンドプロンプトでもパワーシェルでもOK。

2022/05/13(金) 19:29:45.53

curlってwindowsにあるんだっけ？...

2022/05/13(金) 20:01:23.82

Windows 10 Ver.1803（RS3）から標準でburlburl.exeがあるしPowerShellにもInvoke-WebRequestのAliasとしてcurlがある

2022/05/13(金) 20:08:59.92

ひとまず(a)でインストールできています。Exeも作り直しテストをしたいとこですが
本番環境ですぐにできないため、明日に持ち越しです・・・
ご協力いただいた方には本当に感謝します。明日も質問を上げるかも知れませんので
是非よろしくお願いします！！！

2022/05/13(金) 20:12:07.27

とりあえず乙

2022/05/14(土) 00:43:01.55

一番簡単に取れるPythonの資格は何？

2022/05/14(土) 08:39:39.21

async/awaiｔってマルチスレッドと何が違うの？
どっちも並行処理でしょ？

2022/05/14(土) 08:43:42.98

async/awaitがちょっと抽象的な書き方です

2022/05/14(土) 09:15:07.14

>>882
抽象的ってどういうこと？

2022/05/14(土) 09:28:44.78

マルチスレッドは並行動作させる仕組み
await/asyncは並行動作させるための記述方法

2022/05/14(土) 10:23:45.32

言語機能かライブラリかってことか
当然async/awaitのほうが性能はいいわけだな

2022/05/14(土) 10:40:14.07

>>885
そんな話はしとらん

2022/05/14(土) 10:55:58.27

async awaitはシングルスレッドでCPUリソースを有効活用する仕組み、
マルチスレッドは実装によっては複数コアで実行される可能性がある、
じゃね？
で、CPythonはマルチスレッド対応がイケてないからマルチプロセッシングやasync awaitのほうが早い、と

2022/05/14(土) 11:12:36.39

async/awaitってシングルスレッドなのか
それじゃ根本から全然違うな

2022/05/14(土) 11:19:02.13

単に非同期なだけで、下のスレッドの使われ方は言及しない
大抵の実装はマルチスレッド使うんじゃないか？

2022/05/14(土) 11:35:19.17

並行処理のところは実装依存てことか
async/awaitのほうがスレッドより早いのも実装によるってことかな
早いなら使ってみるけど

2022/05/14(土) 11:46:36.70

シングルスレッドかマルチスレッドかは処理の切り替えの効率だけの話で、
CPUが具体的にどうなってるかまで考えてコード書かない

2022/05/14(土) 11:48:41.98

プログラミングスタイルのちがいだからそこ
両方つかえばすぐわかると思うけど頭でっかちになってる

2022/05/14(土) 11:49:43.80

>>892
文脈からマルチスレッド=threadingと思ってるとした前提

2022/05/14(土) 12:00:04.45

>>889
マルチスレッドで動かすためにはプログラマ自身がクリティカルセクションとかアトミック処理とかマルチスレッドで動くことに気を使わないといけないけど、async awaitでそんなコード見たことないよね？
マルチスレッドで動かしはじめたら世間が大混乱するからasync awaitをマルチスレッドで実装している処理系なんて一つもないと思うよ

2022/05/14(土) 12:08:53.97

干渉を気にしないといけないのはマルチプロセスなのでは?

2022/05/14(土) 12:13:43.53

マルチスレッドでも変わらないよ。
手書きしたスワップ処理をマルチスレッドで動かしたときのことを考えてみて

2022/05/14(土) 12:27:08.85

>>894
馬鹿なんでは…
マルチスレッドと排他処理でみんなしこしこ書いてるわけでしょ

2022/05/14(土) 13:02:49.29

>>892
おれはJavaScriptも書くからasync/awaitには馴染みがある
ただPythonのasync/awaitは色々覚えることが多い気がする

2022/05/14(土) 15:34:48.59

>>889
自動で複数スレッドを使うような実装も可能だろうけど
PythonはGILがあるから1プロセスで複数タスクを並列実行はできないので基本みんなシングルスレッド

asyncioやtrioでもブロッキングなAPIをawaitできるようにするのにスレッドを使うけど
自動じゃなくてプログラマが別スレッドを使うように指定する

2022/05/14(土) 15:55:29.78

>>899
マルチスレッドだよ
単に同時に動かんだけで
なんか言葉の使い方変だよ

2022/05/14(土) 16:04:59.45

ProcessPoolExecutor だと複数プロセス動く

**878** (ﾜｯﾁｮｲ 0f5f-hFP2) · 2022/05/14(土) 16:39:07.81

本日テストをしましたが状況変わらずです。

lodlibrary(pythondll)　failed

こちらでググりまくりましたがしっくりくるものなしです。
python 2.7では

2022/05/14(土) 17:09:04.91

ConfigParser, md5, yamlはインストールした？
>pip install configparser
同様に md5, yaml も。」

2022/05/14(土) 17:31:05.25

2.7.18インストールして確認中。
ごめん。yamlはソースにある通り
http://pyyaml.org/wiki/PyYAML
から2.7用をインストールして。

2022/05/14(土) 17:39:51.00

必要なのはyamlだけでした。他は大丈夫。2.7.18で確認。

2022/05/14(土) 17:55:05.18

>>902
もしかしてdistにexe以外も出力されてるのにexeファイルだけ本番環境に持って行ってる？
それだと単独ファイルにしたいならsetup.py書き換えないと

2022/05/14(土) 18:06:44.64

pipのインストールでエラー出ていないためno moduleのため(b)実行

その後にinstall ConfigParserで下記です

ERROR: Could not find a version that satisfies the requirement ConfigParser (from versions: none)
ERROR: No matching distribution found for ConfigParser

これも適正なバージョンがあるのでしょうか

2022/05/14(土) 18:49:50.06

ごめんて。confipaserとmd5はインストール不要。
yamlだけ上記URLからダウンロードしてインストール。

2022/05/14(土) 19:22:11.28

ご指摘の通り、distをみると何やらlibrary.zipも更新されていたため、持ち込みすると
確かにエラーはなく瞬時に終了。

ただし、このPGMはメッセージを表示するので何か不足してするっとしてる模様です。
今度は原因追及のためのデバッグでしょうか・・・

2022/05/14(土) 19:52:40.03

>>900
マルチコアCPUが普通だから、欲しいのは
同時に動かんマルチスレッドではなく
同時に動くマルチスレッドだからな。

Ruby、JavaScriptと言った他のスクリプト言語でも
同時に動かんマルチスレッドなのかな

2022/05/14(土) 19:57:24.63

>>909
yamlはインストールした？ pipからじゃなくて、ソースに書いてあるURLからダウンロードしてインストールだよ。
インストール後、exeを再作成した？

2022/05/14(土) 20:00:21.13

https://www.python-izm.com/third_party/executable/py2exe/
stup.py に 'bundle_files': 1 と書いてあれば単一ファイルになるのでlibrary.zipは不要。exeのみの持ち込みでOK。

2022/05/14(土) 20:02:05.32

コマンドプロンプトで該当.pyファイルのあるフォルダーに移動。
> python ～.py
で表示されるエラーメッセージは？

2022/05/14(土) 20:06:53.07

マルチコアが活きるのは膨大な計算量の必要なかなり限定した用途だけで、
PCが重い原因は普通はI/Oが詰まってるだけだから、
待ち時間を無くすだけで高速化する

2022/05/14(土) 20:15:55.36

計算量が重いならPythonを使うべきじゃない

2022/05/14(土) 20:16:11.96

>>910
割と同時に動かんよね
まず需要があるのは非同期とかノンブロッキングってことだよね

2022/05/14(土) 20:37:14.90

>>916
pyrthon(スクリプト系言語?)で需要があるのはそれらで、
同時に動くマルチスレッドは需要があんまりないということで
Pythonの実装が楽な(?)同時に動かんマルチスレッドでいいやなんかな。
一方、C/C++と言ったバイナリを生成する言語なら同時に動くマルチスレッド
が出来るからな。まぁ、言語によって需要が違うからこうなるんだろうが。

2022/05/14(土) 21:09:13.65

>>910
RubyもGILあるからPythonと同じ
JavaScriptは同時に動くけど起動や受け渡しのオーバーヘッドが大きいから
重いCPUバウンドな処理にしか使わない

2022/05/14(土) 21:52:06.99

>>918
そうなのか
>JavaScriptは同時に動くけど起動や受け渡しのオーバーヘッドが大きいから...
スクリプト系言語でも出来るようにすることはできるが、こんなもんになるから
使う用途が限られるってことか。
Pythonで同時に動くマルチスレッドを実現しても、スレッド間の受け渡しのオーバーヘッドが大きいとなると
マルチプロセスと変わらないからな

2022/05/14(土) 22:33:29.74

教えてください
❕のosコマンドを読み込む方法を。

VSCode editorでJupiterの拡張子ipynbをローカルで実行するとき、!lsはエラーはかない
拡張子pyだと
!lsがエラーになる
.pyだと❕はことごとくエラーになる
windowsでAnacondaで作成したPython環境です

2022/05/14(土) 23:16:29.05

javascriptこそ基本的にシングルスレッドやろ？
ばんばん割り込み使うけど
Web WorkderAPIとかいうのあるらしい

**デフォルトの名無しさん** (JP 0H6b-M8Iz) · 2022/05/15(日) 09:07:10.14

JSはsetTimeoutとか使うと別スレッドであとでやってくれるんじゃないの？

2022/05/15(日) 10:02:05.44

ネイティブとグリーンなスレッドを区別せんと話が交錯する
コンテキストの維持にネイティブスレッド利用してる実装はあるかもしれんけど
ややこしくなるから並列でスケジューリングはしてないはず

2022/05/15(日) 10:36:17.87

>>922
タイマー自体がホスト環境で実行されるだけでJSの実行スレッドはシングルスレッド
タイマー経過しても他の処理が実行中なら終わるまでコールバック関数は待たされる

2022/05/15(日) 12:41:52.49

>>923
でも真の並行動作が必要になる話もしとらんわけでどっちでもいいのでは

2022/05/15(日) 21:04:51.49

ngramを作りたいのですが文章が以下のようなlistで表されています
何かいい方法ありますか？

[’あいう’, obj, ’えお’]
ほしい結果　('あ', 'い'), ('い', 'う'), ('う', obj), (obj, 'え'), ('え', 'お'),

2022/05/15(日) 21:11:11.14

全体を1つのリストにする

2022/05/15(日) 21:55:10.13

>>926
フラット化すれば後は簡単だと思うんだけどリスト直下の文字列以外は無視したのでいいのかな？
ネストしたものを考慮するかどうかで少し変わってくる

['あいう', 123, 'えお', ['か', ('き', 'く')], 'け']

2022/05/15(日) 22:44:35.48

両方書いてみた
https://ideone.com/2enXYU

リストをフラット化したり、1個ずらしで2個ずつとってきたりする機能は
toolz, more_itertools, numpyあたりに用意されてるからそれらを使ってもいいと思う

2022/05/16(月) 00:40:08.91

>>929
ありがとうございます！
ネストは考慮したくないので単純にフラットにしたので期待した操作ができました！

2022/05/16(月) 20:37:02.35

>>929
普段からこの手の処理を書いてるの？
読んでけば理解できるが、ゼロから書けと言われたら書ける気がしないw
python特有なのかな？

多分自分が書いたら全く違う処理になりそうだよw

2022/05/16(月) 21:01:23.03

teeが特殊

2022/05/17(火) 19:10:53.17

Ruby で書くと、

input_ary = [ "あい", 123, "お" ]

ary = input_ary.map do |elem|
# 文字列型なら、各文字を要素とする配列に変換する。
# "あい" なら、[ "あ", "い" ] となる
if elem.instance_of?( String )
elem.chars
else
elem
end
end
p ary #=> [ ["あ", "い"], 123, ["お"] ]

ary.flatten! # 配列を再帰的に平坦化する
p ary #=> [ "あ", "い", 123, "お" ]

result = ary.each_cons( 2 ).map( &:itself )
p result #=> [ ["あ", "い"], ["い", 123], [123, "お"] ]

2022/05/18(水) 19:39:11.84

pysparkの動作速度。
誰かsparkつかってない？
教えてほしいんだが。

2022/05/18(水) 22:14:37.48

>>934
DBからのデータ取得は早いし大容量扱えるけど、その他は遅い印象(スペック引き出せてないだけかもだけど)
ググってもあんまり引っ掛からないしイマイチ

**デフォルトの名無しさん** · 2022/05/18(水) 23:01:46.53

def add(x: int, y: int) -> int:return x + y
アノテーションってエラーは吐いてくれないので
エディタやmypyなどでチェックするしかないですが
有名なフレームワークだと同じように書いた場合、エラーが出てくれますよね
あれは一体どういう仕組みなのでしょうか？
@app.get("/id/{id}")
def get(id:int):return id
的なやつです
functoolsのsingledispatchみたいな感じだと思ったので
要は引数の型アノテーション（コロン以下）を取得できればオーバーロードできるのではと思い
ソースみましたがさっぱりです・・

**デフォルトの名無しさん** · 2022/05/18(水) 23:18:00.65

レス直後改めてソース見たらそっこー見つかりました・・
__annotations__でいけました
解決はしていませんが。。
intとかだと引数と__annotations__をif文で比較すればいいのでしょうが
typingとか複雑なスキーマだった場合どうやっているのでしょうね

**937** · 2022/05/19(木) 11:55:39.36

とりあえずFastAPIはpydanticのBaseModelで実装していることはわかりました
そのpydanticはtypingのForwardRefを使っていて
BaseModelでは__annotations__周りのコードがかかれており、ForwardRefでBaseModelのメソッドから評価しているのかなと思いました
結局、どのように評価しているのか根本的にはわかりませんでしたがBaseModelを使って型アノテーションの例外チェックをしているみたいです
from pydantic import BaseModel
class Model1(BaseModel):
a: int
class Model2(BaseModel):
a: str
print(Model1(a="1"))
#print(Model1(a="a"))
print(Model2(a="1"))
print(Model2(a=1))
#print(Model2(a=[]))

2022/05/19(木) 12:22:04.51

Python公式

Python 3.9.13 is now available
Python 3.9.13 is the final regular maintenance release.

2022/05/19(木) 14:02:10.03

バージョン,リリース日,サポート期限
3.7,2018年6月27日,2023年6月
3.8,2019年10月14日,2024年10月
3.9,2020年10月5日,2025年10月
3.10,2021年10月4日,2026年10月

バージョン確認方法
import sys
print(sys.version)

2022/05/19(木) 14:23:05.37

>>935
ありがとう。
ではcudaの方が良い感じですか？
どうでしょうか？

2022/05/19(木) 14:30:27.30

CUDAは単独ではSparkのように複雑な処理やデータフローを組めないし、
SparkはCUDAのように高速な行列計算を行えない
車とエンジンを比較してるようなもん

**デフォルトの名無しさん** (JP 0H6b-xNxK) · 2022/05/20(金) 09:55:57.41

from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers import Dense,Activation
model=Sequential()
model.add(Dense(10000,input_dim=100))
model.add(Activation('relu'))
model.add(Dense(10000))
model.add(Activation('relu'))
model.add(Dense(10000))
model.add(Activation('relu'))
model.add(Dense(100))
model.add(Activation('softmax'))

というモデルがあったとします。
こうして得られたモデルのパラメータをわけあってちょっとだけ手動でいじって別のモデルに使いたいと考えています。
・パラメータをprintする方法
・別のモデルに手動で初期パラメータを設定する方法
を教えてください。

2022/05/20(金) 12:59:55.38

modelの.wetghtsとかで取り出せなかったっけか

**デフォルトの名無しさん** · 2022/05/20(金) 14:13:12.03

みなさんはもし漫画を描くことができたらpythonで何をしますか

**デフォルトの名無しさん** (JP 0H6b-VZqP) · 2022/05/20(金) 14:20:43.14

>>944
ありがとうございます
取り出しは行けました
別のモデルに手動で初期パラメータを設定するのは何かメソッド等ありますか？

**デフォルトの名無しさん** (JP 0H6b-s111) · 2022/05/20(金) 14:58:22.19

すみません、自己解決しました
get_weightsとset_weightsがあるようです

**デフォルトの名無しさん** · 2022/05/21(土) 13:37:02.16

予定をデータベースに登録するとき
ざっくり
・予定の内容
・予定の期間（始まりの日付け、終わりの日付け）
がありますが
始まり(start)と終わり(end)をdatetime型で管理するときにふと疑問に思いました

（１）始まりを指定しない　or　（２）終わりを指定しない
場合です

予定表の場合は、
（１）は登録するときのジャスト現在時刻を登録すればいいと思いますが
（２）はどうすればいいでしょうか
ようは有効期限と同等だと思いますが
１００年先とか適当な感じでいいのでしょうか？
そういうときのためのdatetimeの機能とかあるのでしょうか

2022/05/21(土) 13:49:38.07

ユースケース次第と思うけど、datetime.datetime.maxでも入れとけば

2022/05/21(土) 13:58:12.12

既存の型だけでやりくりしようとしないで、必要に応じて細かいクラスをどんどん作る