Pythonのお勉強 Part65

2021/05/23(日) 14:51:52.02

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その53
https://mevius.5ch.net/test/read.cgi/tech/1615846784/

〇前スレ〇 Pythonのお勉強 Part64
https://mevius.5ch.net/test/read.cgi/tech/1600035173/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/07/26(月) 12:20:35.60

お前らはいつから法律の先生になったんだクソガキども

2021/07/26(月) 21:23:40.67

198やけど、python2年生で勉強したrequestsとbeautifulsoup4だとクローリングできないページがあったから、Seleniumを覚えたい。

ミスを恐れて勉強を先延ばしするといつまで経っても覚えられないので、本を真似しながら、安全なやり方を覚えていきたいですわ

2021/07/27(火) 02:53:02.77

戦場の絆の戦績とMSデータ吸うのに
Selenium勉強した。
バンナム認証部分でhtmlとかフォームの知識必要だったけど、認証終わっちゃえばrequestsと同じでbs4任せ出来る。

**217** (ﾜｯﾁｮｲ 532c-MYQi) · 2021/07/27(火) 06:11:36.37

スクレイピング・ブラウザの自動操作なら、
Ruby, Selenium Webdriver, Nokogiri

例えば、ブラウザで、ユーザー名・パスワードを自動入力して、
Yahoo にログインする例を、以下に書いた

Excel VBA 質問スレ Part72
https://mevius.5ch.net/test/read.cgi/tech/1626565335/257

他にも、driver.execute_script で、JavaScript のソースコードも実行できる

基本、今のサイトは、HTML をスクレイピングしても、内容が取れない。
5ch みたいに空のHTMLを送って来てから、Ajax 通信で内容を取得するから

何秒かスリープするか、
Selenium Webdriver の取得timeout 時間を設定して、
指定時間だけ、要素が現れるのを待つ

基本、勝手にスクレイピングする事はない。
業務妨害で逮捕されるかも知れないから。
Google などの検索エンジンは、robots.txt を守っているから逮捕されない

基本、YouTube API, Google Maps API とか、証券各社と契約して、APIを使う

2021/07/27(火) 07:09:50.28

コードの例はココなんかよりスットコオーバーキルとかチキータとかの方が情報一杯あるし見やすいね

2021/07/28(水) 21:11:40.61

大量のデータ100万個×100個位のデータを分析したいのと、単純にプログラムを勉強したくて、Pythonの勉強はじめたんですが、上のような大量のデータ扱うなら、エクセルとPythonはどっちが向いてるんですかね？
処理として。

2021/07/28(水) 21:18:06.18

セルという機能が役たたずになることは確かだ。
エクセルでもやりようはあるだろうとは思うけど。

2021/07/28(水) 21:26:05.19

RDBでも100カラムとかの表作ってきたら突き返すわ

2021/07/28(水) 23:24:06.58

100次元のデータ100万個と考えるとぜんぜん普通だけどな
いや100万個はまあまあ多いか

2021/07/29(木) 00:42:46.59

王将の餃子１日分の製造量だからね

2021/07/29(木) 00:59:26.04

>>238
そんな豆知識要らんわ！

・・・　φ(..)メモメモ

2021/07/29(木) 01:44:37.58

知ってた
今知った

2021/07/29(木) 05:51:27.60

今調べたら200万個くらいになってるらしい

2021/07/29(木) 06:05:47.68

餃子の焼き加減の分析かぁ。。。面白そうだ
パラメータ100個考えるのもヨダレが出る

2021/07/29(木) 10:54:47.74

>>234
Pythonなら普通に処理できる規模
ライブラリはnumpy, scipy.sparseあたりがいいかな
Excelだと厳しいかもしれない

2021/07/29(木) 14:39:01.93

「餃子一日100万個」って、オッサン乙

2021/07/29(木) 15:08:51.34

>>244
オッサン言うな、ヴォケ！

にしても、餃子一日100マンコ考えるのもヨダレが出るわ（ジュル

2021/07/29(木) 16:46:25.92

データの質にもよるけど1000行ぐらいからexcelでは遅くて使い物にならなくなると思う

2021/07/31(土) 10:28:43.43

ざっくりでいいからどれくらいのメモリが必要か考える。
1個のデータが1byteでおよそ100MB。100byteならおよそ1GB。
それを加工するためには（仕方によるが）2倍くらいのメモリが必要。
このくらいになれば、ぼちぼち分割とか並列化とか考え始めなければならない。

2021/07/31(土) 10:45:24.88

>>247
100byteなら１０GBじゃね？

2021/07/31(土) 11:15:53.00

Java でも、512MB まで

ブラウザで動画とか、それ以上のものは、stream。
1行ずつ読み込んでは処理して、捨てる方式

すべてのデータを、メモリ内に保持できない

2021/07/31(土) 12:01:41.86

データ分析だと100万件 × 100のdouble行列をメモリに保持するのは普通にあるね
数億件の規模になるとアルゴリズム変えて少しずつ読むようにするけど

2021/07/31(土) 13:11:59.38

なんかsklearnのPCAには巨大なデータ向けにバッチ処理して少しずつメモリに乗せるみたいなインターフェースが用意されていたような
どんな処理したいかはわからんけど既にライブラリ化されてたら便利だね

2021/08/01(日) 01:59:19.65

Dask

2021/08/07(土) 12:35:27.59

>>228

鴨澤眞夫さんの翻訳能力は高いのに

2021/08/07(土) 13:51:24.41

Pythonで

status, response_headers = headers_sent[:] = headers_set

の意味がわからないので誰か教えて。左辺はカンマ区切ってで2つの変数が書いてあるが、右辺には
変数が一つしかないように見える。以下の #(100) のところに出てくる。

____headers_set__=_[]
____headers_sent_=_[]

____def_write(data):
________if_not_headers_set:
_____________raise_AssertionError("write()_before_start_response()")

________elif_not_headers_sent:
_____________#_Before_the_first_output,_send_the_stored_headers
_____________status,_response_headers_=_headers_sent[:]_=_headers_set____#(100)
_____________sys.stdout.buffer.write(('Status:_%s\r\n'_%_status).encode("ascii"))
_____________for_header_in_response_headers:
_________________sys.stdout.buffer.write(('%s:_%s\r\n'_%_header).encode("ascii"))
_____________sys.stdout.buffer.write(('\r\n').encode("ascii"))

________sys.stdout.buffer.write(data)
________sys.stdout.buffer.flush()

2021/08/07(土) 14:17:12.70

別の場所で予め
headers_set[:] = [status,response_headers]　#200
となっていたらしい。それで結局、
status, response_headers = headers_sent[:] = headers_set
は、一番左の部分への影響は、
status, response_headers = headers_set
と書いたのと同じになるということなのかな。

あと、#200の書き方も分かりにくいが、
headers_set = [status,response_headers]
と同じ意味かな？

2021/08/07(土) 14:33:16.03

>>255
分かった。
y = x;　　　// y は、x と同じ場所を指してしまう。
y[:] = x;　　// y の中身が x と同じになるだけで、y のアドレス(id)が変わらない。
ということらしいね。
知らんけど。

2021/08/07(土) 14:35:35.86

>>256
yのアドレスではなく、yが指すオブジェクトのアドレスだった。
y = x は、yが指す場所を x が指すものと同じにしているだけで、
y[:] = x は、x の中身を y にコピーしているということらしいね。

2021/08/07(土) 20:16:00.17

y[:]もyも同じじゃないの
ただしyが数値ならあてはまらないから
y[:]でリストだということを表現したかったんじゃ

2021/08/07(土) 22:07:14.58

文字列かも

2021/08/07(土) 22:52:42.57

import copy

new_array = copy.copy(array)

と同じだよね。

2021/08/10(火) 16:39:21.80

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/08/11(水) 09:03:31.32

>>258
y = x は、x が指しているオブジェクトを y も参照する様になるだけ。
Cで言えばポインタのアドレスをコピーしている感じ。
y[:] = x は、x の中身を y にコピーする。
なので、この2つは意味が違う。

2021/08/15(日) 18:03:04.72

新人PGをpythonのコーダーに育てるのは、
修飾子をサポートしている他の言語の新人PGを育てるよりコストがかかる印象
設計について学ぶ前に、アクセス制限のないコードに慣れるのは良くないな

2021/08/16(月) 16:58:05.48

俺の頭がポンコツすぎて、よくどの変数にどんなシェイプのテンソルを突っ込んだかを忘れちゃうんだけどさ
静的にできる範囲でテンソルのシェイプを推論して、VSCode上で表示してくれるエクステンションとかあったら教えてくれんかな？

2021/08/16(月) 17:12:42.44

っハンガリアン記法

2021/08/16(月) 17:26:39.43

>>264
https://github.com/patrick-kidger/torchtyping

2021/08/16(月) 22:39:04.19

VSCodeなんて使うから頭がポンコツになるんだ。

2021/08/22(日) 08:56:07.45

Rustのメモリ安全性はボローチェッカーによって担保されているが、
Nimと比較してRustはタイプ量が多い事により限りなく低い生産性と
C++のような高い難読性、超巨大なバイナリ生成性能を兼ね備えています

Nimはバージョン1.5.1でRustのボローチェッカーに似た「View types」が実装されれば、
GC無しのView typesで参照の有効性を検証することによってメモリ安全性を保証しつつ
限りなく抑え込まれたタイプ量で高速化したCのソースコードを吐き出せます

Nimソースコード ==nimコンパイラ==> Cソースコード ==Cコンパイラ==> バイナリ

なので、nimコンパイラが通った時点でメモリ安全性が担保されませんか？

Nimの実験的特徴バージョン1.5.1
http://nim-lang.github.io/Nim/manual_experimental.html

第二プログラミング言語として Rust はオススメしません Nim をやるのです
https://wolfbash.hateblo.jp/entry/2017/07/30/193412

Nimは限りなく抑え込まれたタイプ量で高い生産性とPythonのような高い可読性を実現し
ているにもかかわらず、高速なCのソースコードを吐き出せるのでC言語でリモートワーク
されている方は割り振られた仕事が早く終わっても終わってないふりをして怠けることができる

「怠け者とはこうあるべきだ！」と言うとても大事な事を Nim は我々に教えてくれます

2021/08/23(月) 14:03:37.06

なにNimって面白そう。

Cのソースに落とすんだ。これを待ってたw

2021/08/23(月) 15:14:17.85

ﾆﾑってなんか2ch用語に見えるw

2021/08/23(月) 20:04:30.30

仮でも関数名にtestとつけるのやめたほうがいいと思います

2021/08/23(月) 20:05:41.02

くだスレと間違えちゃった

2021/08/24(火) 21:51:58.87

Nim却下。
Qtが使えないらしい。やっぱPythonだな。

2021/08/24(火) 21:54:15.87

ﾆﾏｱ

2021/08/25(水) 11:30:09.68

とくにしたいことがない場合の勉強法はどうすればいいですか

2021/08/25(水) 11:43:29.52

写経
　勉強したい言語で書かれたオープンソースを書き写す

翻訳
　使い慣れた言語で書かれたプログラムを勉強したい言語で作り直す
　（逆もあるけどたぶん面白くない）

2021/08/25(水) 11:47:29.27

「小林さんちのメイドラゴン」の小林さんが仕事でpython使って、プログラム組んでたw

2021/08/25(水) 12:15:58.01

>>276
写経ってのは学習用に用意された比較的短いサンプルプログラムを書き写して動かす学習法であって
任意のオープンソースを書き写すのとは違う
写経は時間の無駄だと思ってる人に多い勘違い

2021/08/25(水) 12:29:54.19

ん？写経は時間の無駄だよ
サンプルプログラムはコピペすればいいだけ

ソースコードを読んで自分で考えてコードを
修正しなければ力にならない
自分の頭で考えることがプログラミングなんだから

2021/08/25(水) 12:35:13.80

したいことも無い学習の目的は
試験のための学習なのかな？
過去問沢山解いた方が効率よさそうだが

2021/08/25(水) 12:37:49.32

その説だとRuby gaiji は理想的な
勉強法を実践している事になるなw

2021/08/25(水) 12:38:30.60

ビャーネ・ストラウストラップ
プログラミング言語C++
の練習問題を Python で解いてみたら？
答えの無い書籍の問題を地道に解くと頭使うわ。
慣れないと死にそう。

2021/08/25(水) 14:33:49.42

>>275
したいことなかったらする必要ない

2021/08/25(水) 21:51:28.60

再帰関数なんで動いてるかわかんないけどテスト全部通ったから、ヨシ！

2021/08/25(水) 23:22:42.05

:(；ﾞﾟ'ωﾟ'):

2021/08/26(木) 05:22:16.41

俺もプログラミングや正規表現の文法そのものが好きでスマホにPydroid3はインストールして挙動確認とかはしてるけどPCは今は無いし作りたいものもない

Pythonやってるからにはdjangoでもやろうかなとは思ったけど目的もなくフレームワークの学習をするってクッソつまらんのよな^^;
どうしよう

2021/08/26(木) 08:16:27.84

アップデート履歴眺めるだけで楽しくない？

2021/08/26(木) 09:30:43.60

ロゴかなんかの文字のレイアウトを自動化したいけど、やった人おる？

2021/08/26(木) 12:14:54.39

indesignとか使えよ

2021/09/01(水) 07:52:55.15

twintってライブラリ使ったことある人おる？
自分のアカウントのすべてのツイートをスクレイピングしてきたいんだが、10日前くらいまでのツイートしかとれなくて困ってる

2021/09/01(水) 09:41:07.95

Twitter APIの仕様

2021/09/02(木) 16:35:36.73

まるチンコ

2021/09/03(金) 16:59:07.39

フリーランスエンジニアになってからの年収推移を公開【現在年収1000万】
https://dev-memo.net/fleelance_1000/
【実体験】仕事ができない新卒エンジニアでも月収７０万フリーランスになれる理由
https://off.tokyo/blog/shinsotu-engineer-free-lancer/
フリーランスエンジニアは年収900万円までは余裕！現役フリーランスエンジニアが徹底解説
https://flytech.work/blog/8142/
フリーエンジニアの平均年収！未経験が年収1000万円を超える方法とは？
https://shikin-pro.com/guide/18633
【コラム】フリーランスは本当に自由なのだろうか？
https://zenn.dev/cat2pgm/articles/42bb40bf121342
「月100万円」稼ぐ猛者も、副業を始めるIT人材が急増している真の理由
https://xtech.nikkei.com/atcl/nxt/column/18/01572/021900001/
フリーランスエンジニアになって月100万稼いだ話
https://comblog.net/2020/07/06/freelance-100/
素人からでも「まずは月収50万以上」を目指したい方向け【フリーエンジニア・コンサル】
https://aruto.org/freelance-consulting
フリーランスのエンジニアやるなら45歳までに貯金5000万円作れないと死ぬ説
http://uma66.hateblo.jp/entry/2019/04/07/153119

2021/09/03(金) 22:43:28.44

scrapyってなんか回りくどい感じするけど慣れたら便利。
1回きりだけじゃなくていくつかのページをスクレイピングしたいとか定期的にスクレイピングしたいってときはこれしかないなって思う。

2021/09/03(金) 23:20:04.52

標準モジュールだけでやるのが漢ってもんだろ
requestsですら邪道だ

2021/09/03(金) 23:49:36.97

標準のHTMLParser使いにくすぎない？

2021/09/04(土) 02:01:55.95

>>295
か、漢だ

2021/09/04(土) 06:11:44.10

>>295
man！

2021/09/04(土) 14:37:21.41

使ってみようと思ったことすらないw

2021/09/04(土) 14:52:04.89

今勉強してる本で後100ページくらい進むとscrapyにいきつく！
がんばるぞい

2021/09/04(土) 16:05:06.83

>>296
正規表現使って抽出すれば、やってることは変わらん
拾うデータはおおよそJSONだから、標準のjsonモジュール使えば済むし

2021/09/04(土) 18:32:09.62

例えば5chの色んなスレに一斉に書き込みしようとする場合は
scrapyとrequestsならscrapyの方が楽なの？
POSTする内容は一緒だからどっちも一緒だと思うけど

2021/09/04(土) 18:44:38.10

rubyキチさんどうぞ↓

2021/09/04(土) 19:36:05.96

>>302
嵐乙

2021/09/05(日) 01:17:41.24

よほど特殊なことをやろうとでも思わない限りスクリプトで5chに何か書いてやろうと考えたらまずチェックすべきはギフハブだろ。
それを思いつかない人はサクラエディタとsubversionでJavaの開発とかしてるのが向いてそう。
ちなみにソースはsubversion管理してるのに純削除禁止でコメントアウト必須な。

2021/09/05(日) 04:51:39.75

>>305
ギフハブってASKAが言ってたストーカーか

2021/09/10(金) 01:41:48.49

pythonの学習ってpyscripterみたいな環境とjupiter labみたいなのでやるのとどっちがいいの？
対話型の方が分かりやすい？
ライブラリ周りもweb上の方が扱いやすい感じ？

2021/09/10(金) 08:02:51.66

どちらも面倒なこと無いんだし
自分で実行して有ってる方を使えば良いだけじゃ無いの？
そもそも何を目的とした学習何なんだろう？

2021/09/10(金) 10:19:19.22

素人はジュピターと呼ぶ。
通はジュパイターと呼ぶ。

2021/09/10(金) 10:43:28.10

どうでもいいけどスペルが違う

2021/09/10(金) 13:10:50.13

セーラージュピターだからジュピターかな

2021/09/10(金) 13:53:34.76

Jupiter：ジュピター
Jupyter：ジュパイター

2021/09/10(金) 14:33:58.96

pythonのpyと掛けてるんだからジュパイターだろと考えていたが、案外ジュピター派が多い

2021/09/10(金) 16:44:12.13

作者がジュピター言うとるからジュピターやろ

2021/09/10(金) 17:55:22.23

素人:ジュピター
通:ジュパイター
作者:ジュピター

うーむ

2021/09/10(金) 18:15:40.87

>>307です
ご想像通り素人なので見苦しいミス失礼
目的というかきっかけは私用でLinux使ってた時期にwineなるものを見つけて感動したんで最終的には自分でwineレベルのコードをいじってみたいなと
大人しく現状の環境で続けてみます

2021/09/10(金) 18:32:37.72

Pythonでその規模のは無理だと思う

2021/09/10(金) 19:16:11.24

>>311
セーラー服下半身解剖って知ってる？
20年以上も前の作品でセーラームーンの同人的な官能小説なんだけどコミケとかじゃなくてマドンナメイトから出てるんだわ。
なのでkindle化もされてて今もamazonから読める。
その中でセーラー戦士の主要メンバー5人がそれぞれを性癖を踏まえて敵にあれこれされる。
なんと力自慢のセーラージュピターは

2021/09/10(金) 19:20:34.00

エログロは話題としてちょっと・・・

2021/09/10(金) 19:37:28.79

作者もジュピター派か

2021/09/10(金) 21:48:25.26

>>318
キモい

2021/09/10(金) 21:59:11.48

ジュピターの読み方だけで、こんな変態を召還しちまうとか
罪深すぎるだろう

2021/09/10(金) 22:34:02.79

久々にssl周りをいじったが、SSLコンテキスト関連で廃止になった項目結構たくさんあるんだな
certifi使ったときの指定方法も変わってた

リクエストのリダイレクト（301，302など）時に
urllibやhttp.clientを使ってレスポンスコードを取得する方法ないかねぇ？
urlopenは勝手にリダイレクトしてしまい、その時の200が返ってきてしまう
requests使えば出来るんだが、標準モジュールだけでやろうとすると大変だ

2021/09/11(土) 01:06:01.24

>>323
HTTPRedirectHandlerの適宜記録するサブクラスつくって
urllib.request.build_opener([handler, ...]).open
かな

https://docs.python.org/ja/3/library/urllib.request.html
ここ読んだだけでぜんぜん試してもないけど

2021/09/11(土) 01:27:35.21

https://docs.python.org/3/library/http.client.html#examples

2021/09/11(土) 14:06:19.41

>>325
ホストレベル（トップページ）でしかうまく動かないんだよね
ステータスコードの取得もできないみたいだし

>>324
リダイレクトさせないハンドラを作成してbuild_openerで呼び出すという方法があった
これだと、HTTPErrorを投げてくるのでリダイレクトのステータスコードも拾えるんだけど、
結局すべてのリクエストでリダイレクト処理が別途必要になっちゃうんだよね（当たり前）
ステータスコードだけを取得できればリダイレクト自体はそのまま処理してほしいところ

python 3.x - How to disable automatic redirects in python3 urllib.request? - Stack Overflow
https://stackoverflow.com/questions/52086805/how-to-disable-automatic-redirects-in-python3-urllib-request

通常のurlopenでリダイレクトがあったかどうかは、geturlで実際の（リダイレクトされた）URLが拾えるので、
リクエストと一致するかどうかでリダイレクトの有無の判定はできるんだけどねぇ

2021/09/11(土) 14:42:58.87

>>326
>ホストレベル（トップページ）でしかうまく動かないんだよね

動かない例を書いて

2021/09/11(土) 16:30:53.59

>>327
例で言うところの、"www.python.org"のところに
"www.example.com/foo/bar/"みたいなサブディレクトのあるURIを追加することができない
なにか方法が違うのかな？
他所にある例もホスト名のやつしか見つからないんだよね

2021/09/11(土) 16:32:45.42

>>328
conn.request("GET", “/“)を
conn.request("GET", “/foo/bar/”)に