Pythonのお勉強 Part69

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ﾜｯﾁｮｲ c733-stRS)
垢版 |
2022/11/24(木) 21:39:44.67ID:A6xfpKBe0
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その58
https://mevius.5ch.net/test/read.cgi/tech/1662514433/

〇前スレ〇
Pythonのお勉強 Part68
https://mevius.5ch.net/test/read.cgi/tech/1663235546/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ### ?
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2デフォルトの名無しさん (ﾜｯﾁｮｲ ef33-stRS)
垢版 |
2022/11/24(木) 22:06:48.23ID:A6xfpKBe0
何か最後に？ついてるんやけど
2022/11/25(金) 00:11:23.76ID:2/ccX3XOa
>>1
O₂🍛
4デフォルトの名無しさん (ｱｳｱｳｳｰ Sa3b-kfYZ)
垢版 |
2022/11/25(金) 12:28:38.81ID:PV2ZG9bua
スレ埋めるだけの簡単なお仕事です
2022/11/25(金) 13:32:24.92ID:KAp4t6I3M
スコップ一本さらしにまいて♪
2022/11/25(金) 20:28:02.56ID:Ex0f5l5+M
今日もNullpoを葬る～♪
2022/11/27(日) 22:00:34.60ID:6go5tzEb0
LSTMで全部で1000あるデータの、1001期目の予測値を得るにはどうすれば良いですか
どのサイトを見ても検証期間中の予測値は得られても、それより先の予測を得る手段がいまいち分かりません
2022/11/27(日) 22:12:17.80ID:7lw/d0vw0
「そんな先のことは分からない」
2022/11/27(日) 22:35:08.90ID:6go5tzEb0
無事解決しました
2022/11/28(月) 10:29:47.82ID:kuSQgmzBa
テンプレのrubyでは～に時代を感じるな
11デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 12:15:33.61ID:2MZJX1kl0
Twitterのエゴサをpythonでできないかなと思って
seleniumでやってみたけど画面上は表示されてるのに
ソースには「JavaScriptを使用できません。」と出る
どうすりゃいいんや…
2022/11/28(月) 13:04:31.73ID:QxjFh41D0
>>11
せめて日本語が読めるようになってから手を出せ。あほ
13デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 15:59:10.98ID:2MZJX1kl0
実行して立ち上がったブラウザではTwitterが表示されている
つまりJavaScriptは実行されている
にもかかわらずpython内では実行されていないソースコードが表示される
JavaScriptが実行された後のソースコードを取得するにはどうするといいでしょうか？
2022/11/28(月) 19:04:45.26ID:v7hHcTqw0
webdriverのインスタンスを作るときにjavascriptをenableにしてないとか
ページの生成が終わるのを待たずにhtml読んでしまっているとか
15デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 20:47:02.50ID:2MZJX1kl0
>>14
ありがとうございます。

オプションに「options.add_argument('--enable-javascript')」を追加したり
time.sleep(15)も追加しましたが駄目でした。
16デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 21:06:19.85ID:2MZJX1kl0
JavaScriptが反映されていないのが原因だと思うので
そのあたりをもう少し調べてみます。
2022/11/28(月) 21:07:26.37ID:cGJ8oXTgM
https://self-development.info/selenium%E3%81%A7twitter%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B%E3%80%90python%E3%80%91/

ここ読んだけどtwitter側が対策してるっぽいね
APIを使えって事じゃない
2022/11/28(月) 21:26:56.65ID:6X8/W5dUa
ソース出さないで言ってもわからんぞ
19デフォルトの名無しさん (ﾜｯﾁｮｲ d733-Z2Iz)
垢版 |
2022/11/28(月) 22:48:45.25ID:g0wreZ1J0
こういうの見て思うんだけど、スクレイピングの参考書ってAPIへの誘導ってないの？
プログラミングもWebの知識もない人間にスクレイピングだけでやらせようとするのってだいぶ罪深いと思う
それに、Webの勉強するのにスクレイピングやブラウザでアクセスしながらって相当な悪手だろ
普通簡単なWebサイト作りながらとか構築する側の立場で進めた方が効率いいし、それでもボリューム的に片手間で済むようなもんでもないでしょ
2022/11/28(月) 22:54:19.81ID:TOwN4nTg0
そういう参考書を作ってあげて
2022/11/28(月) 22:59:12.17ID:LDNjf6uN0
Webプログラミングと言えば
情報を発信するか集めるか、まあどっちかだしな
2022/11/28(月) 23:02:43.25ID:v7hHcTqw0
>>19
全くもっておっしゃるとおりだと思うけど、静的なサイトだとBeautifulsoupとかで見よう見まねでできちゃったりするから素人さんにもキャッチーなのよね
http通信とは?とかWebサーバーの仕組みとは?から入ると素人は力尽きちゃう
23デフォルトの名無しさん (ﾜｯﾁｮｲ 1797-QUc+)
垢版 |
2022/11/29(火) 01:26:48.72ID:wVUySIDy0
>>19
APIはAPIで辛くない？認証不要APIとかだったらいいけど、大体お作法を調べるのに時間かかる。
スクレイピングは、HTML/CSSやったことあるならわかる感じがする。RPAみたいなものかなと。
いや逆にRPAこそGUIの知識いるしAPI整備してもらってやったらいいじゃんと思うんだけど、API整備の予算が付かないんだろうね…
2022/11/29(火) 01:43:32.73ID:fkaofXgI0
スクレイピングって、ウェブブラウザの振る舞いを模倣すればいいのと違うん？
2022/11/29(火) 07:37:52.82ID:NO7HG1hV0
>>24
今どきのブラウザは巨大アプリの筆頭みたいなもんなので簡単にエミュレートできないのさ
なのでjavascriptで自分を書き換えたりするサイトをスクレイピングするにはブラウザそのものを立ち上げて外部からブラウザに今どう表示してんのと聞くほうがいいわけ、それがSeleniumという仕組み
2022/11/29(火) 08:28:45.05ID:rvct1gbBM
カールで取るかAPIでとった方が早いだろ
27デフォルトの名無しさん (ﾜｯﾁｮｲ d72c-/LaG)
垢版 |
2022/11/29(火) 10:28:54.87ID:Zdiz5UrS0
アホがいきなり動的生成サイトにwhile無限アタックをしかけるまである
悪いのは無責任な企業系入門サイトと、ライブラリ豊富なpython
2022/11/29(火) 10:35:59.05ID:oFH75lpf0
>>25
おまけにブラウザごとに挙動が大きく変わるから、ややこしい！
2022/11/29(火) 11:42:39.57ID:JTTSm0Nf0
初級者がスクレイピングやるなら、先にネット倫理から勉強してほしいところ
2022/11/29(火) 12:06:36.59ID:oHPPEt2oM
初級者が考えるような事は調べりゃ出てくる
初級者は検索して自己解決に導けないならあきらめた方が良い
2022/11/29(火) 12:12:16.73ID:OkL5Yz/20
Twitterなら、API利用から始めると楽だと思う
2022/11/29(火) 12:12:24.76ID:fkaofXgI0
>>25
単純化すると
ウェブブラウザみたいに、サイト開いてAPI叩いてデータ（JSONが主流になったね）拾って、
これをパースして個別データとして取り込んで、ってことだよね
これってウェブブラウザの振る舞いを模倣していることにならないのかな？
2022/11/29(火) 12:12:37.05ID:Rlb9t/Eq0
たいてい、スクレイピングの本には、図書館へスクレイピングして、
サーバーを落とした香具師が、業務妨害で逮捕された事件も書いてある。
だから必ず、契約してAPI を使うように書いてある

あくまで練習用に、自分のPC 内のウェブサーバーへアクセスして試すべき。
VSCode の拡張機能・Live Server で、簡単にサーバーを起動できる

そこに対して、curl, wget, Selenium Webdriver などで試す

基本的に、ほとんどのサイトは、5ch みたいに先にHTML を送っておいて、
その中で、Ajax(JavaScript)によって内容をサーバーへ取りに行くので、
Selenium で実際のブラウザを使って、wait しないと内容を取れないはず
2022/11/29(火) 12:24:13.36ID:OkL5Yz/20
>>33
落としたことにされた人には、図書館も開発元の三菱情報システムも、謝罪しているけどね
2022/11/29(火) 12:26:22.23ID:Rlb9t/Eq0
山浦 清透

【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI

これは、PHP だけど、
Udemy の山浦ぐらいの相当プロでも、1:5:42 の所で、
マイナビ求人をスクレイピング攻撃しているだろw

プロでも間違うから、なおさら素人なら、無限ループで攻撃し放題。
業務妨害で逮捕されるだけ

データベースに保存するなら、普通はPHPじゃなくて、Ruby on Rails を使う
2022/11/29(火) 12:29:52.96ID:OkL5Yz/20
ウィキペディアにも経緯が詳しく書かれているから見るといい

https://ja.wikipedia.org/wiki/岡崎市立中央図書館事件
2022/11/29(火) 12:31:54.18ID:HCCm6VNmr
サーバーを落とした香具師！
2022/11/29(火) 12:35:46.90ID:5xrJvc530
このような場合はJPCERT/CCに相談して欲しかった
2022/11/29(火) 12:58:16.32ID:OkL5Yz/20
この障害は岡崎だけでなく、全国の図書館でも発生していたそうだ
朝一でサーバー再起動が業務となっていたところもあるそうだ
悪質なのは、この障害、原因を開発元が承知していたことと、
システム更新（もちろん有料）の口実にされていたこと
ハードの買換をさせられた図書館もある
詐欺事件とされてもおかしくはない
2022/11/29(火) 13:04:50.65ID:azSIQh15M
まぁ我々は困らないし
当事者が気を付ければ済む話
過去の事件ループはもう良いから
それで終わりにしろ
2022/11/29(火) 13:14:40.68ID:eTNa7b4f0
twitterなんて「規約読め」「API利用しろ」で終了だろ
図書館事件は特殊条件踏みすぎててミスリードすぎる
42デフォルトの名無しさん (ﾜｯﾁｮｲ d733-Z2Iz)
垢版 |
2022/11/29(火) 13:16:57.04ID:fQLmT73p0
>>32
逆に、人がAPIで提供されるjsonのデータ読めって言われてもきついでしょ
それと同じで人が読みやすいように作られてるWebのUIをソフトウェアにやらせるのは筋違いなんだよ
seleniumにしたって元々はJavaScriptのテストを走らせるために作られていて、誰かが作った仕様のはっきりしないWebサービスのUIを解析するためには作られてないと思うよ
今もそうだかは使ったことないからはっきりとはいえないけど
2022/11/29(火) 13:34:20.35ID:Rlb9t/Eq0
元々、Selenium Webdriver, Capybara などは、

Ruby on Rails の開発で、システムテストで実際のブラウザを自動操作して、
画面の動作を確認するためのツール
44デフォルトの名無しさん (ｽｯﾌﾟ Sd3f-8UFK)
垢版 |
2022/11/29(火) 14:04:13.09ID:AC1KYodjd
Ruby馬鹿がいつもの噓
45デフォルトの名無しさん (ﾌﾞｰｲﾓ MM8f-oElN)
垢版 |
2022/11/29(火) 14:04:43.85ID:sKS8alA2M
API使いたくないからスクレイピングするんだろ
何言ってんだか
2022/11/29(火) 14:28:15.03ID:6F6KBCUn0
>>44
今回はちょっと違う
2022/11/29(火) 15:17:30.94ID:NO7HG1hV0
>>32
おっしゃる範囲では模倣してることになるよ
しかしPythonのライブラリでブラウザの全部の機能を模倣するのは難しいので、Javascriptをゴリゴリ使うようなサイトではブラウザを模倣するんじゃなくてブラウザにレンダリングを外注するのよ
2022/11/29(火) 18:02:03.33ID:lUjN289S0
集合って使う?
2022/11/29(火) 18:10:29.16ID:q/VfFbZ+6
はい
2022/11/29(火) 18:10:39.03ID:JTTSm0Nf0
辞書でキーが値でもある場合とか、リストからユニークなもののみ抽出したいときとか、たまに使う
2022/11/29(火) 19:26:38.65ID:3YOnpcyo0
>>32
サイト開いて、ってなに？
2022/11/29(火) 19:30:41.60ID:GC2yOS5aa
>>48
集合ってセット型のこと言ってるよね？
どんな職種かにもよるけれど
俺の働いてる環境だとfor文と同じ頻度で使う感じかな
集合ってすごく便利でさ
重複削除するのも排他的な処理にも使えるのでめちゃめちゃコスパいいんだよ
2022/11/29(火) 19:34:01.33ID:GC2yOS5aa
>>48
何を言っているかと言うと
for文はイテレータとして機能するんだけど
set型はフィルタリングとして使えるんだ
2022/11/29(火) 19:36:34.48ID:GC2yOS5aa
>>48
更に何を言っているかというと
FizzBuzz問題も一行で解くこともできて便利なんだよって話ね
2022/11/29(火) 19:46:06.06ID:lUjN289S0
重複を削除したい、というタイミングで集合に入れて戻す
とかならそういう関数だとみなせるので必要が生じたら使う、でいい
ではなくて、最初からずっと集合で持ち続けるような用途があるかどうか
56デフォルトの名無しさん (ﾌﾞｰｲﾓ MMfb-QUc+)
垢版 |
2022/11/29(火) 20:21:39.71ID:SFyPOz/XM
>>55
普通にある。
アンケートの選択肢の一覧がわかっていないときに選択肢集合を取り出すのに使ったり、
スケジュールを調整するときに、日程集合aと日程集合bの積集合が空かどうかでスケジュールが被っていないかを確認したりなど、
入れるときから集合にしておいた方がいいケースはいくらでもあるよ。
2022/11/29(火) 20:38:01.11ID:lUjN289S0
重複してたら集合に追加する時にはじかれる訳だけど、
それに関してはケアしなくていいの?
無視されてしまったスケジュールの人が発生しそうだけど

勝手に重複が削除される仕組みはどう考えても危険で、
うまく使える局面が思いつかない
2022/11/29(火) 20:53:34.02ID:VRBW4+C+0
初心者スレ行ったほうがいいんじゃないか？

s1 = {"2022-12-01", "2022-12-02"} // Aさんの希望日
s2 = {"2022-12-02", "2022-12-03"} // Bさんの希望日

print(s1 & s2) // -> {"2022-12-02"}
2022/11/29(火) 21:10:31.21ID:dP4707zz0
s1 = ["2022-12-01", "2022-12-02"]
s2 = ["2022-12-02", "2022-12-03"]
print(set(s1) & set(s2))

これでも同じなんだよな
&演算が強力だから使いたいだけで、集合で保持しておくメリットが無い
2022/11/29(火) 21:11:54.06ID:NO7HG1hV0
リスト→セットがゼロコスト変換なわけなかろう
2022/11/29(火) 21:14:02.60ID:eLjR8f750
s1 = ["2022-12-01", "2022-12-02"]
s2 = ["2022-12-02", "2022-12-03"]
for x in s1:
for y in s2:
if x == y:
print(x)
ｵﾗｧ!
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。