Pythonのお勉強 Part65

2021/05/23(日) 14:51:52.02

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その53
https://mevius.5ch.net/test/read.cgi/tech/1615846784/

〇前スレ〇 Pythonのお勉強 Part64
https://mevius.5ch.net/test/read.cgi/tech/1600035173/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/07/31(土) 10:45:24.88

>>247
100byteなら１０GBじゃね？

2021/07/31(土) 11:15:53.00

Java でも、512MB まで

ブラウザで動画とか、それ以上のものは、stream。
1行ずつ読み込んでは処理して、捨てる方式

すべてのデータを、メモリ内に保持できない

2021/07/31(土) 12:01:41.86

データ分析だと100万件 × 100のdouble行列をメモリに保持するのは普通にあるね
数億件の規模になるとアルゴリズム変えて少しずつ読むようにするけど

2021/07/31(土) 13:11:59.38

なんかsklearnのPCAには巨大なデータ向けにバッチ処理して少しずつメモリに乗せるみたいなインターフェースが用意されていたような
どんな処理したいかはわからんけど既にライブラリ化されてたら便利だね

2021/08/01(日) 01:59:19.65

Dask

2021/08/07(土) 12:35:27.59

>>228

鴨澤眞夫さんの翻訳能力は高いのに

2021/08/07(土) 13:51:24.41

Pythonで

status, response_headers = headers_sent[:] = headers_set

の意味がわからないので誰か教えて。左辺はカンマ区切ってで2つの変数が書いてあるが、右辺には
変数が一つしかないように見える。以下の #(100) のところに出てくる。

____headers_set__=_[]
____headers_sent_=_[]

____def_write(data):
________if_not_headers_set:
_____________raise_AssertionError("write()_before_start_response()")

________elif_not_headers_sent:
_____________#_Before_the_first_output,_send_the_stored_headers
_____________status,_response_headers_=_headers_sent[:]_=_headers_set____#(100)
_____________sys.stdout.buffer.write(('Status:_%s\r\n'_%_status).encode("ascii"))
_____________for_header_in_response_headers:
_________________sys.stdout.buffer.write(('%s:_%s\r\n'_%_header).encode("ascii"))
_____________sys.stdout.buffer.write(('\r\n').encode("ascii"))

________sys.stdout.buffer.write(data)
________sys.stdout.buffer.flush()

2021/08/07(土) 14:17:12.70

別の場所で予め
headers_set[:] = [status,response_headers]　#200
となっていたらしい。それで結局、
status, response_headers = headers_sent[:] = headers_set
は、一番左の部分への影響は、
status, response_headers = headers_set
と書いたのと同じになるということなのかな。

あと、#200の書き方も分かりにくいが、
headers_set = [status,response_headers]
と同じ意味かな？

2021/08/07(土) 14:33:16.03

>>255
分かった。
y = x;　　　// y は、x と同じ場所を指してしまう。
y[:] = x;　　// y の中身が x と同じになるだけで、y のアドレス(id)が変わらない。
ということらしいね。
知らんけど。

2021/08/07(土) 14:35:35.86

>>256
yのアドレスではなく、yが指すオブジェクトのアドレスだった。
y = x は、yが指す場所を x が指すものと同じにしているだけで、
y[:] = x は、x の中身を y にコピーしているということらしいね。

2021/08/07(土) 20:16:00.17

y[:]もyも同じじゃないの
ただしyが数値ならあてはまらないから
y[:]でリストだということを表現したかったんじゃ

2021/08/07(土) 22:07:14.58

文字列かも

2021/08/07(土) 22:52:42.57

import copy

new_array = copy.copy(array)

と同じだよね。

2021/08/10(火) 16:39:21.80

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/08/11(水) 09:03:31.32

>>258
y = x は、x が指しているオブジェクトを y も参照する様になるだけ。
Cで言えばポインタのアドレスをコピーしている感じ。
y[:] = x は、x の中身を y にコピーする。
なので、この2つは意味が違う。

2021/08/15(日) 18:03:04.72

新人PGをpythonのコーダーに育てるのは、
修飾子をサポートしている他の言語の新人PGを育てるよりコストがかかる印象
設計について学ぶ前に、アクセス制限のないコードに慣れるのは良くないな

2021/08/16(月) 16:58:05.48

俺の頭がポンコツすぎて、よくどの変数にどんなシェイプのテンソルを突っ込んだかを忘れちゃうんだけどさ
静的にできる範囲でテンソルのシェイプを推論して、VSCode上で表示してくれるエクステンションとかあったら教えてくれんかな？

2021/08/16(月) 17:12:42.44

っハンガリアン記法

2021/08/16(月) 17:26:39.43

>>264
https://github.com/patrick-kidger/torchtyping

2021/08/16(月) 22:39:04.19

VSCodeなんて使うから頭がポンコツになるんだ。

2021/08/22(日) 08:56:07.45

Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています

Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます

Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ

なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？

Nimの実験的特徴バージョン1.5.1
http://nim-lang.github.io/Nim/manual_experimental.html

第二プログラミング言語として Rust はオススメしません Nim をやるのです
https://wolfbash.hateblo.jp/entry/2017/07/30/193412

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる

「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

2021/08/23(月) 14:03:37.06

なにNimって面白そう。

Cのソースに落とすんだ。これを待ってたw

2021/08/23(月) 15:14:17.85

ﾆﾑってなんか2ch用語に見えるw

2021/08/23(月) 20:04:30.30

仮でも関数名にtestとつけるのやめたほうがいいと思います

2021/08/23(月) 20:05:41.02

くだスレと間違えちゃった

2021/08/24(火) 21:51:58.87

Nim却下。
Qtが使えないらしい。やっぱPythonだな。

2021/08/24(火) 21:54:15.87

ﾆﾏｱ

2021/08/25(水) 11:30:09.68

とくにしたいことがない場合の勉強法はどうすればいいですか

2021/08/25(水) 11:43:29.52

写経
　勉強したい言語で書かれたオープンソースを書き写す

翻訳
　使い慣れた言語で書かれたプログラムを勉強したい言語で作り直す
　（逆もあるけどたぶん面白くない）

2021/08/25(水) 11:47:29.27

「小林さんちのメイドラゴン」の小林さんが仕事でpython使って、プログラム組んでたw

2021/08/25(水) 12:15:58.01

>>276
写経ってのは学習用に用意された比較的短いサンプルプログラムを書き写して動かす学習法であって
任意のオープンソースを書き写すのとは違う
写経は時間の無駄だと思ってる人に多い勘違い

2021/08/25(水) 12:29:54.19

ん？写経は時間の無駄だよ
サンプルプログラムはコピペすればいいだけ

ソースコードを読んで自分で考えてコードを
修正しなければ力にならない
自分の頭で考えることがプログラミングなんだから

2021/08/25(水) 12:35:13.80

したいことも無い学習の目的は
試験のための学習なのかな？
過去問沢山解いた方が効率よさそうだが

2021/08/25(水) 12:37:49.32

その説だとRuby gaiji は理想的な
勉強法を実践している事になるなw

2021/08/25(水) 12:38:30.60

ビャーネ・ストラウストラップ
プログラミング言語C++
の練習問題を Python で解いてみたら？
答えの無い書籍の問題を地道に解くと頭使うわ。
慣れないと死にそう。

2021/08/25(水) 14:33:49.42

>>275
したいことなかったらする必要ない

2021/08/25(水) 21:51:28.60

再帰関数なんで動いてるかわかんないけどテスト全部通ったから、ヨシ！

2021/08/25(水) 23:22:42.05

:(；ﾞﾟ'ωﾟ'):

2021/08/26(木) 05:22:16.41

俺もプログラミングや正規表現の文法そのものが好きでスマホにPydroid3はインストールして挙動確認とかはしてるけどPCは今は無いし作りたいものもない

Pythonやってるからにはdjangoでもやろうかなとは思ったけど目的もなくフレームワークの学習をするってクッソつまらんのよな^^;
どうしよう

2021/08/26(木) 08:16:27.84

アップデート履歴眺めるだけで楽しくない？

2021/08/26(木) 09:30:43.60

ロゴかなんかの文字のレイアウトを自動化したいけど、やった人おる？

2021/08/26(木) 12:14:54.39

indesignとか使えよ

2021/09/01(水) 07:52:55.15

twintってライブラリ使ったことある人おる？
自分のアカウントのすべてのツイートをスクレイピングしてきたいんだが、10日前くらいまでのツイートしかとれなくて困ってる

2021/09/01(水) 09:41:07.95

Twitter APIの仕様

2021/09/02(木) 16:35:36.73

まるチンコ

2021/09/03(金) 16:59:07.39

フリーランスエンジニアになってからの年収推移を公開【現在年収1000万】
https://dev-memo.net/fleelance_1000/
【実体験】仕事ができない新卒エンジニアでも月収７０万フリーランスになれる理由
https://off.tokyo/blog/shinsotu-engineer-free-lancer/
フリーランスエンジニアは年収900万円までは余裕！現役フリーランスエンジニアが徹底解説
https://flytech.work/blog/8142/
フリーエンジニアの平均年収！未経験が年収1000万円を超える方法とは？
https://shikin-pro.com/guide/18633
【コラム】フリーランスは本当に自由なのだろうか？
https://zenn.dev/cat2pgm/articles/42bb40bf121342
「月100万円」稼ぐ猛者も、副業を始めるIT人材が急増している真の理由
https://xtech.nikkei.com/atcl/nxt/column/18/01572/021900001/
フリーランスエンジニアになって月100万稼いだ話
https://comblog.net/2020/07/06/freelance-100/
素人からでも「まずは月収50万以上」を目指したい方向け【フリーエンジニア・コンサル】
https://aruto.org/freelance-consulting
フリーランスのエンジニアやるなら45歳までに貯金5000万円作れないと死ぬ説
http://uma66.hateblo.jp/entry/2019/04/07/153119

2021/09/03(金) 22:43:28.44

scrapyってなんか回りくどい感じするけど慣れたら便利。
1回きりだけじゃなくていくつかのページをスクレイピングしたいとか定期的にスクレイピングしたいってときはこれしかないなって思う。

2021/09/03(金) 23:20:04.52

標準モジュールだけでやるのが漢ってもんだろ
requestsですら邪道だ

2021/09/03(金) 23:49:36.97

標準のHTMLParser使いにくすぎない？

2021/09/04(土) 02:01:55.95

>>295
か、漢だ

2021/09/04(土) 06:11:44.10

>>295
man！

2021/09/04(土) 14:37:21.41

使ってみようと思ったことすらないw

2021/09/04(土) 14:52:04.89

今勉強してる本で後100ページくらい進むとscrapyにいきつく！
がんばるぞい

2021/09/04(土) 16:05:06.83

>>296
正規表現使って抽出すれば、やってることは変わらん
拾うデータはおおよそJSONだから、標準のjsonモジュール使えば済むし

2021/09/04(土) 18:32:09.62

例えば5chの色んなスレに一斉に書き込みしようとする場合は
scrapyとrequestsならscrapyの方が楽なの？
POSTする内容は一緒だからどっちも一緒だと思うけど

2021/09/04(土) 18:44:38.10

rubyキチさんどうぞ↓

2021/09/04(土) 19:36:05.96

>>302
嵐乙

2021/09/05(日) 01:17:41.24

よほど特殊なことをやろうとでも思わない限りスクリプトで5chに何か書いてやろうと考えたらまずチェックすべきはギフハブだろ。
それを思いつかない人はサクラエディタとsubversionでJavaの開発とかしてるのが向いてそう。
ちなみにソースはsubversion管理してるのに純削除禁止でコメントアウト必須な。

2021/09/05(日) 04:51:39.75

>>305
ギフハブってASKAが言ってたストーカーか

2021/09/10(金) 01:41:48.49

pythonの学習ってpyscripterみたいな環境とjupiter labみたいなのでやるのとどっちがいいの？
対話型の方が分かりやすい？
ライブラリ周りもweb上の方が扱いやすい感じ？

2021/09/10(金) 08:02:51.66

どちらも面倒なこと無いんだし
自分で実行して有ってる方を使えば良いだけじゃ無いの？
そもそも何を目的とした学習何なんだろう？

2021/09/10(金) 10:19:19.22

素人はジュピターと呼ぶ。
通はジュパイターと呼ぶ。

2021/09/10(金) 10:43:28.10

どうでもいいけどスペルが違う

2021/09/10(金) 13:10:50.13

セーラージュピターだからジュピターかな

2021/09/10(金) 13:53:34.76

Jupiter：ジュピター
Jupyter：ジュパイター

2021/09/10(金) 14:33:58.96

pythonのpyと掛けてるんだからジュパイターだろと考えていたが、案外ジュピター派が多い

2021/09/10(金) 16:44:12.13

作者がジュピター言うとるからジュピターやろ

2021/09/10(金) 17:55:22.23

素人:ジュピター
通:ジュパイター
作者:ジュピター

うーむ

2021/09/10(金) 18:15:40.87

>>307です
ご想像通り素人なので見苦しいミス失礼
目的というかきっかけは私用でLinux使ってた時期にwineなるものを見つけて感動したんで最終的には自分でwineレベルのコードをいじってみたいなと
大人しく現状の環境で続けてみます

2021/09/10(金) 18:32:37.72

Pythonでその規模のは無理だと思う

2021/09/10(金) 19:16:11.24

>>311
セーラー服下半身解剖って知ってる？
20年以上も前の作品でセーラームーンの同人的な官能小説なんだけどコミケとかじゃなくてマドンナメイトから出てるんだわ。
なのでkindle化もされてて今もamazonから読める。
その中でセーラー戦士の主要メンバー5人がそれぞれを性癖を踏まえて敵にあれこれされる。
なんと力自慢のセーラージュピターは

2021/09/10(金) 19:20:34.00

エログロは話題としてちょっと・・・

2021/09/10(金) 19:37:28.79

作者もジュピター派か

2021/09/10(金) 21:48:25.26

>>318
キモい

2021/09/10(金) 21:59:11.48

ジュピターの読み方だけで、こんな変態を召還しちまうとか
罪深すぎるだろう

2021/09/10(金) 22:34:02.79

久々にssl周りをいじったが、SSLコンテキスト関連で廃止になった項目結構たくさんあるんだな
certifi使ったときの指定方法も変わってた

リクエストのリダイレクト（301，302など）時に
urllibやhttp.clientを使ってレスポンスコードを取得する方法ないかねぇ？
urlopenは勝手にリダイレクトしてしまい、その時の200が返ってきてしまう
requests使えば出来るんだが、標準モジュールだけでやろうとすると大変だ

2021/09/11(土) 01:06:01.24

>>323
HTTPRedirectHandlerの適宜記録するサブクラスつくって
urllib.request.build_opener([handler, ...]).open
かな

https://docs.python.org/ja/3/library/urllib.request.html
ここ読んだだけでぜんぜん試してもないけど

2021/09/11(土) 01:27:35.21

https://docs.python.org/3/library/http.client.html#examples

2021/09/11(土) 14:06:19.41

>>325
ホストレベル（トップページ）でしかうまく動かないんだよね
ステータスコードの取得もできないみたいだし

>>324
リダイレクトさせないハンドラを作成してbuild_openerで呼び出すという方法があった
これだと、HTTPErrorを投げてくるのでリダイレクトのステータスコードも拾えるんだけど、
結局すべてのリクエストでリダイレクト処理が別途必要になっちゃうんだよね（当たり前）
ステータスコードだけを取得できればリダイレクト自体はそのまま処理してほしいところ

python 3.x - How to disable automatic redirects in python3 urllib.request? - Stack Overflow
https://stackoverflow.com/questions/52086805/how-to-disable-automatic-redirects-in-python3-urllib-request

通常のurlopenでリダイレクトがあったかどうかは、geturlで実際の（リダイレクトされた）URLが拾えるので、
リクエストと一致するかどうかでリダイレクトの有無の判定はできるんだけどねぇ

2021/09/11(土) 14:42:58.87

>>326
>ホストレベル（トップページ）でしかうまく動かないんだよね

動かない例を書いて

2021/09/11(土) 16:30:53.59

>>327
例で言うところの、"www.python.org"のところに
"www.example.com/foo/bar/"みたいなサブディレクトのあるURIを追加することができない
なにか方法が違うのかな？
他所にある例もホスト名のやつしか見つからないんだよね

2021/09/11(土) 16:32:45.42

>>328
conn.request("GET", “/“)を
conn.request("GET", “/foo/bar/”)に

2021/09/11(土) 16:35:27.89

あと、
> ステータスコードの取得もできないみたいだし
と書いたけど、example.com → www.example.com のようなものなら
リダイレクトのステータスコード（301 Redirect）が拾えることは確認できたので
そこは訂正

2021/09/11(土) 16:41:06.66

>>329
ははは、'GET'の内容を思い切り見落としてたわ orz
これでチェックは出来そうだね
どうもありがとう

2021/09/11(土) 17:00:39.88

連投で申し訳ない

セキュア接続への内部リダイレクト（http://example.com → https://example.com）の場合、
307 Internal Redirect が返ってくるけど、
http.client.HTTPSConnectionだと、プロトコルは関係ないからこれは調べられないよねぇ
この場合のステータスコードの取得方法を知りませんか？

2021/09/11(土) 18:06:48.39

>>332
プロトコルは関係ないってどういう意味？
レスポンスボディに関わる部分のことであれば自分でパースしてやらなければだめだけど、HTTP/Sの中にレスポンスコードまで規定されているわけだから、そこはHTTPResponseのstatusでわかるのでは？
検証してないので間違ってたらすまんけど

2021/09/11(土) 18:49:18.39

>>326
https://github.com/python/cpython/blob/main/Lib/urllib/request.py#L691
ここのcode保存して、それのアクセサつくるだけやん

2021/09/11(土) 21:06:53.78

>>333
最初、http.client.HTTPSConnectionを使う方法だと、
プロトコルの指定方法できず、セキュア接続か否かを明示して指定することができないようなので
プロトコルには関わっていないという意味で関係ない、と思ったんだけど、
http.client.HTTPConnection（Sなし）を使うと非セキュアで接続することになる（できる）みたいだね
内部リダイレクトでセキュア接続するサーバーだと、ことごとく"Location"が返ってきてリダイレクト必至だった
前者ではセキュア接続に対応していないサーバーでエラーが出るので
正確に判断するには場合分けが必要みたい

>>334
それはそうなんだけど、
とりあえずステイタスコードが取得ができればいいし、
数行くらいで収まる方法があればそれに越したことはないかなぁと

2021/09/12(日) 08:57:18.31

pythonanywhere上のコンソールでバックグラウンドプロセスを実行し続けてるんですけど1～2日するとコンソール自体が再起動してるのかプロセスが終わってしまいます。CPU使用限界には全部たっしてないのですが、そういものなのでしょうか？

2021/09/12(日) 10:56:32.06

クラウドは自動でインスタンスが止まるよ
それなりのお金を出せは連続稼働が可能になるけど

2021/09/12(日) 11:09:21.39

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/09/12(日) 11:29:15.68

>>337
やっぱり無料だとそういものなんですね。

2021/09/12(日) 17:09:42.93

これから書籍かweb有料研修、
youtubeのいずれかで
pythonの勉強を始めたいのです

python5は古いので6にしようと
思いますが、6.10など
マイナーバージョンいくつ以上の
教材を選択すればよいでしょうか

よろしくお願いします

2021/09/12(日) 18:03:08.87

また未来と繋がっちゃったか
運営にメンテ依頼してくるわ

2021/09/12(日) 19:46:19.61

Perlのバージョンとごっちゃになってないか
Pythonの最新バージョンは3.9.7だぞ

2021/09/13(月) 10:01:31.22

大変失礼しました
バージョン2か3を確認して
3にする予定です

マイナーバージョンアップで
大きな仕様変更があると
教材の価値がなくなるかもと
最新のpythonで問題ないか
伺えればと

2021/09/13(月) 10:43:41.74

2か3だけ確認しとけば概ね問題ないと思うぞ
少なくとも入門教材のレベルでは影響が無いと思う
のちに発展的なことやるときにマイナーなライブラリが対応できてない可能性はあるけど、それはそれでその時に対応すれば良い

2021/09/13(月) 10:52:21.80

ありがとうございます
早速最新版をインストールして
勉強始めます

2021/09/13(月) 12:19:42.96

基本はstable版がいい
本当のlatestはバグある可能性ある
現在のstableは3.9.7
まぁ今のタイミングだとstable=latestだけど

ただし書籍に合わせたほうがいい
何故なら仕様変更で動かない可能性あるから
これはフレームワークやモジュールも同じ
新バージョンでガラッと変わることはないから別に最新にこだわる必要はない

あとインストール方法もvenvとかpyenvとかanacondaとか色々あるけどそこも書籍に合わせればいい
ただanacondaを使う場合pip（とそのコマンド）は使ってはいけない
代わりにcondaコマンドを使う

2021/09/13(月) 12:29:59.07

conda と pip 混ぜてるが特に問題無いわ