Pythonのお勉強 Part73

2024/06/06(木) 08:48:10.07

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
エラー文（勝手に省略orスクショうｐ等の横着禁止）と
おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

※前スレ
Pythonのお勉強 Part72
https://mevius.5ch.net/test/read.cgi/tech/1703659345/

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2024/09/07(土) 18:49:21.06

seleniumは多重処理関係なく重いというか大げさだけどね
本物のブラウザそのものだし

互換品や簡易版で動くようなサイトなら、最初からrequestsで済ませるけど、
本物じゃないと動作が怪しいなら本物を使うしかない

2024/09/07(土) 19:00:23.61

はやさなら
パンダ＜美汁＜セレン

2024/09/07(土) 19:01:17.02

間違った反対

2024/09/07(土) 19:14:37.88

重いだけで済むんだから楽なもん
perlでmechanizeとか紹介されてて、なんか便利そうだと思って使ってみても、
便利でも何でもない
スクリプトとかあったら人間が解析しないといけない

selenium使ってさえ、取得したpage_sourceがスクリプトの塊で、
謎に分割されてたり、jsonっぽいけどjsonじゃなかったり、
スクレイピング避けのいたちごっこが続いている

2024/09/07(土) 19:18:50.68

デスクトップ上の座標でクリックしてけばいい

2024/09/07(土) 21:26:28.97

seleniumでウェブの操作を行うプログラムを持っているのですが、おそらくグーグルchromeのアップデートが原因で動かなくなりました
実行後、何も処理せずに落ちてしまうのでエラー内容すら見られません
chromeのバージョンは128.0.6613.120
chromeドライバーのバージョンは128.0.6613.119の32bitです
ドライバーを旧バージョンから最新バージョンに上書きするだけではダメなんですかね？

2024/09/07(土) 21:29:26.91

実際に使ってるブラウザとseleniumのドライバを合わせないといけない
みたいな努力は割と前に不要になった

2024/09/07(土) 22:06:17.62

エラーのスクショが撮れました
何が悪いのか分かる方いたらご教示お願いします
https://i.imgur.com/Jqpd9a5.png

2024/09/07(土) 22:08:24.32

from selenium import webdriver
with webdriver.Chrome() as driver:
みたいに書く

2024/09/07(土) 22:22:51.02

>>875
その2行目を付け足したら速攻で落ちるようになりました…
webdriver.Chrome()の()の中に、
エラー画像の4行目のservice=ChromeServiceなんたらかんたらをいれるのかな？とよく分からないながらやってみても変わらず

2024/09/07(土) 22:28:17.17

>>867
>>866に書いてること1ミリも理解してなくて草

普通にブラウザ使ってれば
あるサイトのリクエスト完了を待ってる間に
違うタブで別サイトにリクエストを出すことができることくらいはわかるよね？

seleniumではそれが出来ない
同じことを達成したければ一つ一つ別プロファイル作って
専用のブラウザインスタンスを立ち上げないといけない

seleniumだけでなくrequestsもmechanizeも全部非同期に対応してないので
量をさばく必要がある場合に使う道具ではなくなってる

2024/09/07(土) 22:39:22.70

>>872のソースはこれです
コードは極力削っています
https://i.imgur.com/kgfDXeE.png

2024/09/07(土) 23:50:08.25

>>878
同じバージョンだけど動いてyahoo見れるな…

2024/09/08(日) 03:12:08.34

>>879
マジですか…
数か月くらい動かしていない期間があって、久しぶりに昨日動かそうとしたらエラーが出て…
WinError 193の対処法として紹介されていた、
service = ChromeService(ChromeDriverManager().install())によって作成されるChrome Driverのキャッシュを消すというものも効果なし
それ以外のエラーはよく分からず

2024/09/08(日) 09:00:49.72

>>880
その記述って自動で適切なChromeDriverをダウンしてきてくれるみたいだけど、出てるエラーはChromeDriverと合ってないから実行できないよ、っていう事らしい。
自動で上手くいかずキャッシュを消してもダメなら自動を止めて、ChromeDriverの各バージョンを片っ端から手動でダウンして試してエラーの出ないchromedriver.exeをどこかのフォルダに置いといて直接指定すれば良いのでは？と思うけどそれじゃダメなの？

2024/09/08(日) 11:55:48.02

>>874
webdriver_managerのバージョンも最新に

2024/09/08(日) 16:48:39.72

それね
俺も先月業務アプリが動かなくて困った記憶あるわ
結論から言うとwebdriver_managerはもういらない
selenium単独で自動的に最新のdriverを取得することができるみたい

```
from selenium import webdriver

options = webdriver.ChromeOptions()
'''オプションがあれば追加'''
options.add_argument('--start-maximized')

driver = webdriver.Chrome(options=options)

try:
driver.get("http://google.co.jp";)

except Exception as e:
print(e)

finally:
driver.quit()
```

2024/09/08(日) 16:55:04.68

ちなみにSeleniumバージョン4.6以上が必要らしいので注意ね

ここを参考にするといいよ
https://yuki.world/python-selenium-chromedriver-auto-update/

2024/09/08(日) 18:21:21.76

>>839
で色々とアドバイスもらった者です

サプーさんの書籍も購入したんだけど，ある程度、初心者を抜けるか抜けないかの人向けだね、これ

ほんとにプログラミングについては知識ゼロなので、動画以外でこの前段階の超入門書みたいなのでオススメあれば教えていただきたい

2024/09/08(日) 18:31:43.56

サプー動画の最初の方は、これ以上ないくらい初心者向けだろう
さすがに見てないので判り易いかどうかは知らない

2024/09/08(日) 18:36:54.21

>>886
とりあえず2時間のやつで雰囲気掴んだ後に、どれを見ればいいのかわかんないのよね…

あと書籍っていうある程度まとめて基礎の基礎何詰まってるモノが欲しいんだ
いつでも読めるように

2024/09/08(日) 18:40:19.95

プログラムはできるだけシンプルで、うまく動かなかったり不具合出た時に、他の人でも修正位置がわかりやすく、後から機能を追加しやすいフレキシブルなモノが良いってのはなんとなくわかるのよ…

まず、それを書く知識が全くと言っていいほどないんだよね🙃

2024/09/08(日) 18:42:15.28

なので、どの動画が自分の欲しい情報解説してあるモノなのかの判断もつかない状態です

2024/09/08(日) 18:45:56.99

>>889
さっさと実務をやった方がいいです。
ダサいコードが仕様変更に耐えられるコードです。

2024/09/08(日) 18:47:04.49

>>890
とりあえず組みたいプログラムに取り掛かれって事？

2024/09/08(日) 18:47:11.49

https://www.youtube.com/watch?v=tCMl1AWfhQQ
2時間てこれか
いいのあるじゃん

これでオリエンテーションは終わりなので、あとは好きなことをやればいい

2024/09/08(日) 18:47:19.73

書籍を書いているのはプロじゃないので、モジュールの切り出しすらも説明していない。

2024/09/08(日) 18:48:20.74

>>891
自分自身が使うものを作る。あとから変えようとしたときにこう作るんじゃなかったと気づく。

2024/09/08(日) 18:50:05.63

実務の意味がわからないというのは学生なのかな？

2024/09/08(日) 18:50:58.16

>>895
プログラミングの用語とかも知らんのです

2024/09/08(日) 18:53:49.27

全くのプログラミング初心者なら
「プログラムはなぜ動くのか」
辺りかな

2024/09/08(日) 18:57:59.46

>>892
これは↑でオススメしてもらった
これを繰り返し見つつ、同時進行していく感じかー

ありがとう
実践しながらやってみるわ

最初の方から結構「？？？」ってなる部分も多いんだんだけどもw

2024/09/08(日) 19:02:39.95

>>893
なんか良い、こんなオレでも比較的理解できる良い書籍あります？

2024/09/08(日) 19:24:36.64

>>889
>どの動画が自分の欲しい情報解説してあるモノなのかの判断もつかない状態

>>856読んで貰えてないんだね。
Paizaってサイトではそういう人でも分かるように順序立てて基本的な文法を動画で解説してくれてる。
他の言語の場合は冒頭のみであとは有料だけど、Pathon3だけはある程度の部分まで無料公開してくれてる。
ここで無料公開分を全部終了できれば初心者向けの動画とか解説サイトとかもそれなりに理解できるようになると思う。
お金掛からないしとりあえずやってみたら？

2024/09/08(日) 19:26:21.18

>>900
呼んだっす！
コピペして、学ぶ順序のリストにさせてもらった

2024/09/08(日) 19:30:52.42

助言で具体的なものは全て書き出したり、登録、購入検討してる

ただ昨日の今日で、サプーさんの書籍も今目を通したとこなので、リストの優先順位を判断できてなくて

2024/09/08(日) 19:31:24.09

>>881,882,883
ありがとうございます！
時間あるときにチャレンジしてみます！

2024/09/08(日) 19:38:08.04

>>900
サプーさんの2時間の動画見ても、結構「？？？」なとこ多くて、書籍はまだ理解できるレベルじゃないものだったので、Paizaってサイトに挑戦してみます

詳しくレスしてくれてありがとう

2024/09/08(日) 22:39:01.10

何か裏で処理させてて、完了したらポップアップで知らせたい
それだけなら方法はいくらでもあるけど、
よし判ったとEnter一発で閉じたい
でもポップアップにフォーカスが無いので、いろいろ面倒くさい
ポップアップの位置もど真ん中に出ると邪魔なので端に寄せたい
でも tkinter でどう頑張ってもそんなことできない

2024/09/08(日) 23:07:02.96

ずっと画面見てる前提なら数秒したら消す処理すりゃいいんじゃない？

2024/09/08(日) 23:08:52.84

そんな前提は無い

2024/09/08(日) 23:17:36.18

toastとかOS標準のnotificationを使えばいい
キーボードショートカットも用意されてる

2024/09/08(日) 23:26:26.06

win11toastもinputがあってさえフォーカスは来てないな

2024/09/08(日) 23:46:26.14

結局、powershellのPopupをsubprocess.runで呼び出すのがベスト
それで可能なのは最初から判ってたけども

os寄りの処理って互換性とか無視してosべったりで作った方が幸せになれる

2024/09/09(月) 05:00:01.20

そこはWin32APIを呼び出したほうが親和性が高いだろう
windowsアプリと同じ見てくれ、ふるまいになるし、
デフォルトボタンやフォーカスは確実に有効にできる

2024/09/09(月) 14:54:53.83

中央だと邪魔だから端に表示するような種類のポップアップで強制的にフォーカス奪っだらダメだろ
個人専用なら好きにすればいいが他人に使わせるアプリでは絶対やってはいけないパターン

2024/09/09(月) 15:25:57.69

ポップアップの位置を変えるようなことは、Win32 API使っても無理な気がする
標準に似せたものを自前で作るしか

2024/09/09(月) 17:58:31.91

WindowsアプリをPythonで作るな！

警備員[Lv.29] (ﾜｯﾁｮｲ edfe-R7+n) · 2024/09/09(月) 19:59:54.08

カラスの勝手でしょぉ♪

2024/09/09(月) 21:10:41.86

ただでさえPOPUPはTOPMOSTにしない方が良いのに
TOPMOSTにした上でENTERで反応するPOPUPなんて百害あって一理無しよ

2024/09/09(月) 21:29:34.03

謎にエスパーされてるけど、topmostが目下の課題
powershellからWScript.ShellのPopupを呼び出すと、
フォーカスは奪ってくれるけどtopmostではない
全画面で動画見てると音はするけど視覚的には気付かない
フォーカスがあってかつtopmostというのがやりたい処理なのに

2024/09/09(月) 21:33:40.24

表示はOSの通知にして
EnterはUIにフォーカスさせるのではなくキー入力をジャックする

2024/09/09(月) 21:40:36.79

きっとそのうちEnterで消すのがうざくなる…

2024/09/09(月) 22:59:51.52

>>917
"ctypes.windll.user32.MessageBoxW"で
MB Typeに"0x40000"を与えれば"MB_TOPMOST"になる

>>914
普段はコンソールを立ち上げずにこっそり実行
エラーとか、対話が必要なときだけポップアップが出るようにするのには有用なんだよ
no_consoleモード＋ポップアップはそんな目的にはぴったりだし

2024/09/09(月) 23:24:20.06

0x40000足せばいいだけだったのか
もう殆ど手が届いてたんだな
262144でかすぎひん

2024/09/09(月) 23:50:28.10

bit毎に意味があるんじゃなくて、nibble毎に割り振ってるんだな
不思議な設計

2024/09/10(火) 09:46:51.62

bit毎に意味あるだろ
bit fieldでググってこい

2024/09/10(火) 13:11:16.09

+で良いと思ってる人間と|だろうなと思ってる人間は雲泥の差がある

2024/09/10(火) 21:10:56.22

>もう殆ど手が届いてたんだな
これジョークじゃなきゃキッツいな

2024/09/13(金) 14:57:50.02

OpenAIが複雑な推論能力をもつAIモデル「OpenAI o1」と「OpenAI o1-mini」を発表、プログラミングや数学で高い能力を発揮
https://gigazine.net/news/20240913-openai-o1/

**713** (ﾜｯﾁｮｲ ea02-QZ+t) · 2024/09/13(金) 15:23:01.98

>>926

すごいな
天才プログラマーか

2024/09/13(金) 21:29:13.87

何かあった時に失われるのが嫌なので、
ログとか出力する時に1行毎にopenして書いて閉じてるけど、
flush=True を付けるのと違いあるんだろうか

2024/09/13(金) 21:34:14.83

違いあるんだろうかシリーズ
リストをソートしたいと思った時、ふつーに
l = sorted(l)
と書いたけど、そういえば l.sort() という方法もあった
気持ち悪いので本能的に避けたいけど、わざわざ用意されてるメリットって何だろう
計算コストは同じな気がする

2024/09/13(金) 22:31:20.25

同じじゃない
くだすれ行け

2024/09/13(金) 22:35:10.99

>>929
一般的には追加のメモリ確保をしない l.sort() の方が効率的
l を再代入してるから分かりにくいけど、ソート結果は元の l とは別の領域に作られてる
これは、k = sorted(l) と書いた時にソート前後の両方のリストがオブジェクトとして存在することからも分かると思う
(l = sorted(l) は、追加のリストを作ったあとに l の参照先を新しいものに置き換えてる)

l.sort() だと元々あった l の領域内でソートされるので、追加のメモリ確保がいらない

要素数が小さいと気になることは無いと思うけど、例えば要素が10万個とかある場合だとだいぶ差が出ると思う

2024/09/13(金) 23:01:27.70

メモリ確保するのってそんなに重い処理なの?

2024/09/13(金) 23:50:13.06

>>932
一般的には重い処理
とはいっても、小さな量だと問題にならない
例えば画像処理の分野で、HDや4Kサイズの画像を1000枚処理したいといった話だと、メモリを毎回確保するか一度だけ確保したものを使い回すかで処理時間はだいぶ変わる (体感できるくらいに)

2024/09/13(金) 23:57:27.00

なるほどー
Cの時点でmallocが具体的に何してるか知らんしな
既に連続した空き容量があって割り当てるだけなら一瞬だろうけど、
いろいろ地上げしたり大変なんだろう

警備員[Lv.30] (ﾜｯﾁｮｲ edfe-R7+n) · 2024/09/14(土) 00:15:53.13

まとまった容量ならsbrk()使えって言われなかった？

2024/09/14(土) 00:43:58.26

メモリ確保はO(n)でソートは下手したらO(n^2)だから、
nが大きいほどトータル処理時間に占めるメモリ確保の割合はむしろ小さくなるのでは

2024/09/14(土) 02:05:41.53

>>936
その2つのnは全く別のものだろ
アホか

2024/09/14(土) 06:27:04.06

nが小さい場合:
メモリ確保の比率は大きいけどどうせ一瞬だから気にしない
nが大きい場合:
メモリ確保にも時間かかるけど、ソート時間が圧倒的だから気にしない

結局、気分の問題だけど、
破壊的な操作が嫌とか言ったらappend()とかできないし、
ミュータブルはそういうものと思うしか

2024/09/14(土) 07:44:59.11

ソートのコストとメモリ確保のコストは別々にかかるものだし、減らせるなら減らした方が良いと思う
自分のプログラムが扱うデータが小さくてsortedでもほぼ変わらないなら、こちらでも良い
自分も書き方自体は sorted の方が好きだし小さいプログラムならこちらを使ってるけど、そこは好みの問題なのでお好みで

2024/09/14(土) 13:33:03.30

l.sort() はみみっちい領域でやりくりする分アルゴリズムは遅くなりそう
l = sorted(l) あるいは k = sorted(l) が富豪的で結果的に速い可能性はある

2024/09/14(土) 14:16:06.35

メモリ使いまくりはキャッシュ効率下がるから
一律に富豪が強いとは限らない
使うしかない時は強いけど

2024/09/14(土) 14:50:34.43

>>940
可能性無いよ
sorted()は内部でlist.sort()の実装を呼び出してる

ざっくり言えば
new_list = list(original_list)
new_list.sort()
return new_list

2024/09/14(土) 16:15:00.42

for item in sorted(l):
とやるよりも
l.sort()
for item in l:
の方が速い、みたいな話

明示的にしろ暗黙にしろ、オブジェクトのコピーにいちいち気を使いたくない
コピーするだけで時間がかかるようなオブジェクトになりそうなら、
最初からそうならない実装にする

2024/09/14(土) 19:29:07.00

seleniumのxpathについて質問です
5chの書き込み欄のxpathを確認し、
driver.find_element(By.XPATH, '//*[@id="js-postform_message"]').click()
と書いたのですが、プログラムを実行するとxpathが存在しないパターンの動作をしてしまいます
ブラウザでF12キーを押し、書き込み欄をクリックしてxpathをコピーするというよくある方法を使っているのですが、これではダメなんですかね？

2024/09/14(土) 19:38:44.99

driver.page_source を保存しておいて解析する

2024/09/14(土) 19:50:56.07

書き込みボタンは
//*[@id="js-postform_submit"]
で、
//*[@id="js-postform_message"]
は書き込み欄なので、clickではなくsend_keys

2024/09/14(土) 20:01:37.67

ありがとうございます
send_keysは別の行にあります
一応clickの部分は行ごと消しましたがやはりダメですね…

2024/09/14(土) 20:51:28.72

エラーをちゃんと見られるようにしたら、
name 'By' is not defined
と出ました
また要素関係の書き方が変わったんですかね？
以前は上記の
driver.find_element(By.XPATH, '//*[@id="js-postform_message"]')
という書き方で動いていたのですが…
書き方変更などの情報はどこで入手するのか…

2024/09/14(土) 20:56:59.72

from selenium.webdriver.common.by import By

2024/09/14(土) 20:58:25.69

>>949
ありがとうございます！解決しました！
それをコメントアウトしてしまっていました…

2024/09/16(月) 15:32:29.19

pandasやべえな
マジで融通効かねえ
おなえらよくこんなもん使ってるな

2024/09/16(月) 15:33:30.66

pandasに持っていくのは最終工程だな

2024/09/16(月) 15:45:45.85

df.loc('name')
じゃなくて
df.loc['name']
なのが中身どうなってんのと思う

これはプロパティだからと言われてそんなもんかと思ってたけど、
別に角括弧はプロパティの特徴じゃないし

2024/09/16(月) 16:18:34.31

df.locが返すインスタンスに__getitem__が定義されてる

2024/09/16(月) 17:26:32.35

>>951
そう？
融通効かない処理は普通にリストとかに変換したり、iterrowsしたりすれば大体できて、
95%のやりたいことのほとんどはpandasで用意されてるメソッド・関数でできる気がするけど

**713** (ﾜｯﾁｮｲ 9f02-y7MN) · 2024/09/16(月) 18:17:47.48

pandas使う職業って何？
バックエンドエンジニアとか？

2024/09/16(月) 18:46:53.38

学生です

2024/09/16(月) 19:14:36.94

かぐる
とかデータサイエンス

2024/09/16(月) 19:40:30.88

データ渡すと加工して文字列にしてくれる関数名
make, create, generate どれがいいだろう

2024/09/16(月) 19:52:09.23

それら候補でいうならどれでもよくって
どういう文字列を生成するか説明できる修飾が大事かな

2024/09/17(火) 09:30:50.73

同意
むしろ俺なら動詞なしで「どういった文字列か」を表す名詞だけにしたい

2024/09/17(火) 10:19:17.42

>>959
convert

2024/09/17(火) 10:20:30.50

>>951
Pandasは行指向じゃなくて列指向だと判ればあとは簡単

2024/09/17(火) 10:23:43.89

>>943
>明示的にしろ暗黙にしろ、オブジェクトのコピーにいちいち気を使いたくない
>コピーするだけで時間がかかるようなオブジェクトになりそうなら、
>最初からそうならない実装にする

まあこれは真実で
それならオブジェクトを保持するためのオブジェクトと
ソートするためだけのインデックスを分けるかな

2024/09/17(火) 10:55:41.47

pandasはもう古いよ
polarsがついにv1公開されたからそれに移行した
loc["name"]みたいなのも消えてる
というよりインデックスというゴミが消えてる

2024/09/17(火) 10:56:23.24

複数のエクセルファイルから特定列のデータを抜き出して
新たにエクセルファイルにまとめて書き出すということをしたのですが、
複数ファイルには重複する行が含まれていて、
下記の2つを試したのですがどちらも欠損データが生じました。

1.listに一旦全部入れて、最終的にsetに一旦変換してlistに戻す
2.1行ごとに最終的なリストに含まれていない要素をチェックしながら追加

データは5列で最終的に重複処理したもので300行程度、
重複処理前でも2000行余りぐらいのデータです。
最終的にpandasで全部一旦追加した後df.drop_duplicates()にて処理して問題なく処理されたのですが
下記の方法で欠損することとかあり得るのでしょうか？