Pythonのお勉強 Part69

2022/11/24(木) 21:39:44.67

!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その58
https://mevius.5ch.net/test/read.cgi/tech/1662514433/

〇前スレ〇
Pythonのお勉強 Part68
https://mevius.5ch.net/test/read.cgi/tech/1663235546/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ### ?

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/11/24(木) 22:06:48.23

何か最後に？ついてるんやけど

2022/11/25(金) 00:11:23.76

>>1
O₂🍛

2022/11/25(金) 12:28:38.81

スレ埋めるだけの簡単なお仕事です

2022/11/25(金) 13:32:24.92

スコップ一本さらしにまいて♪

2022/11/25(金) 20:28:02.56

今日もNullpoを葬る～♪

2022/11/27(日) 22:00:34.60

LSTMで全部で1000あるデータの、1001期目の予測値を得るにはどうすれば良いですか
どのサイトを見ても検証期間中の予測値は得られても、それより先の予測を得る手段がいまいち分かりません

2022/11/27(日) 22:12:17.80

「そんな先のことは分からない」

2022/11/27(日) 22:35:08.90

無事解決しました

2022/11/28(月) 10:29:47.82

テンプレのrubyでは～に時代を感じるな

2022/11/28(月) 12:15:33.61

Twitterのエゴサをpythonでできないかなと思って
seleniumでやってみたけど画面上は表示されてるのに
ソースには「JavaScriptを使用できません。」と出る
どうすりゃいいんや…

2022/11/28(月) 13:04:31.73

>>11
せめて日本語が読めるようになってから手を出せ。あほ

2022/11/28(月) 15:59:10.98

実行して立ち上がったブラウザではTwitterが表示されている
つまりJavaScriptは実行されている
にもかかわらずpython内では実行されていないソースコードが表示される
JavaScriptが実行された後のソースコードを取得するにはどうするといいでしょうか？

2022/11/28(月) 19:04:45.26

webdriverのインスタンスを作るときにjavascriptをenableにしてないとか
ページの生成が終わるのを待たずにhtml読んでしまっているとか

2022/11/28(月) 20:47:02.50

>>14
ありがとうございます。

オプションに「options.add_argument('--enable-javascript')」を追加したり
time.sleep(15)も追加しましたが駄目でした。

2022/11/28(月) 21:06:19.85

JavaScriptが反映されていないのが原因だと思うので
そのあたりをもう少し調べてみます。

2022/11/28(月) 21:07:26.37

https://self-development.info/selenium%E3%81%A7twitter%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B%E3%80%90python%E3%80%91/

ここ読んだけどtwitter側が対策してるっぽいね
APIを使えって事じゃない

2022/11/28(月) 21:26:56.65

ソース出さないで言ってもわからんぞ

2022/11/28(月) 22:48:45.25

こういうの見て思うんだけど、スクレイピングの参考書ってAPIへの誘導ってないの？
プログラミングもWebの知識もない人間にスクレイピングだけでやらせようとするのってだいぶ罪深いと思う
それに、Webの勉強するのにスクレイピングやブラウザでアクセスしながらって相当な悪手だろ
普通簡単なWebサイト作りながらとか構築する側の立場で進めた方が効率いいし、それでもボリューム的に片手間で済むようなもんでもないでしょ

2022/11/28(月) 22:54:19.81

そういう参考書を作ってあげて

2022/11/28(月) 22:59:12.17

Webプログラミングと言えば
情報を発信するか集めるか、まあどっちかだしな

2022/11/28(月) 23:02:43.25

>>19
全くもっておっしゃるとおりだと思うけど、静的なサイトだとBeautifulsoupとかで見よう見まねでできちゃったりするから素人さんにもキャッチーなのよね
http通信とは?とかWebサーバーの仕組みとは?から入ると素人は力尽きちゃう

2022/11/29(火) 01:26:48.72

>>19
APIはAPIで辛くない？認証不要APIとかだったらいいけど、大体お作法を調べるのに時間かかる。
スクレイピングは、HTML/CSSやったことあるならわかる感じがする。RPAみたいなものかなと。
いや逆にRPAこそGUIの知識いるしAPI整備してもらってやったらいいじゃんと思うんだけど、API整備の予算が付かないんだろうね…

2022/11/29(火) 01:43:32.73

スクレイピングって、ウェブブラウザの振る舞いを模倣すればいいのと違うん？

2022/11/29(火) 07:37:52.82

>>24
今どきのブラウザは巨大アプリの筆頭みたいなもんなので簡単にエミュレートできないのさ
なのでjavascriptで自分を書き換えたりするサイトをスクレイピングするにはブラウザそのものを立ち上げて外部からブラウザに今どう表示してんのと聞くほうがいいわけ、それがSeleniumという仕組み

2022/11/29(火) 08:28:45.05

カールで取るかAPIでとった方が早いだろ

2022/11/29(火) 10:28:54.87

アホがいきなり動的生成サイトにwhile無限アタックをしかけるまである
悪いのは無責任な企業系入門サイトと、ライブラリ豊富なpython

2022/11/29(火) 10:35:59.05

>>25
おまけにブラウザごとに挙動が大きく変わるから、ややこしい！

2022/11/29(火) 11:42:39.57

初級者がスクレイピングやるなら、先にネット倫理から勉強してほしいところ

2022/11/29(火) 12:06:36.59

初級者が考えるような事は調べりゃ出てくる
初級者は検索して自己解決に導けないならあきらめた方が良い

2022/11/29(火) 12:12:16.73

Twitterなら、API利用から始めると楽だと思う

2022/11/29(火) 12:12:24.76

>>25
単純化すると
ウェブブラウザみたいに、サイト開いてAPI叩いてデータ（JSONが主流になったね）拾って、
これをパースして個別データとして取り込んで、ってことだよね
これってウェブブラウザの振る舞いを模倣していることにならないのかな？

2022/11/29(火) 12:12:37.05

たいてい、スクレイピングの本には、図書館へスクレイピングして、
サーバーを落とした香具師が、業務妨害で逮捕された事件も書いてある。
だから必ず、契約してAPI を使うように書いてある

あくまで練習用に、自分のPC 内のウェブサーバーへアクセスして試すべき。
VSCode の拡張機能・Live Server で、簡単にサーバーを起動できる

そこに対して、curl, wget, Selenium Webdriver などで試す

基本的に、ほとんどのサイトは、5ch みたいに先にHTML を送っておいて、
その中で、Ajax(JavaScript)によって内容をサーバーへ取りに行くので、
Selenium で実際のブラウザを使って、wait しないと内容を取れないはず

2022/11/29(火) 12:24:13.36

>>33
落としたことにされた人には、図書館も開発元の三菱情報システムも、謝罪しているけどね

33 (ﾜｯﾁｮｲ d74f-emCW) · 2022/11/29(火) 12:26:22.23

山浦清透

【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI

これは、PHP だけど、
Udemy の山浦ぐらいの相当プロでも、1:5:42 の所で、
マイナビ求人をスクレイピング攻撃しているだろw

プロでも間違うから、なおさら素人なら、無限ループで攻撃し放題。
業務妨害で逮捕されるだけ

データベースに保存するなら、普通はPHPじゃなくて、Ruby on Rails を使う

2022/11/29(火) 12:29:52.96

ウィキペディアにも経緯が詳しく書かれているから見るといい

https://ja.wikipedia.org/wiki/岡崎市立中央図書館事件

2022/11/29(火) 12:31:54.18

サーバーを落とした香具師！

2022/11/29(火) 12:35:46.90

このような場合はJPCERT/CCに相談して欲しかった

2022/11/29(火) 12:58:16.32

この障害は岡崎だけでなく、全国の図書館でも発生していたそうだ
朝一でサーバー再起動が業務となっていたところもあるそうだ
悪質なのは、この障害、原因を開発元が承知していたことと、
システム更新（もちろん有料）の口実にされていたこと
ハードの買換をさせられた図書館もある
詐欺事件とされてもおかしくはない

2022/11/29(火) 13:04:50.65

まぁ我々は困らないし
当事者が気を付ければ済む話
過去の事件ループはもう良いから
それで終わりにしろ

2022/11/29(火) 13:14:40.68

twitterなんて「規約読め」「API利用しろ」で終了だろ
図書館事件は特殊条件踏みすぎててミスリードすぎる

2022/11/29(火) 13:16:57.04

>>32
逆に、人がAPIで提供されるjsonのデータ読めって言われてもきついでしょ
それと同じで人が読みやすいように作られてるWebのUIをソフトウェアにやらせるのは筋違いなんだよ
seleniumにしたって元々はJavaScriptのテストを走らせるために作られていて、誰かが作った仕様のはっきりしないWebサービスのUIを解析するためには作られてないと思うよ
今もそうだかは使ったことないからはっきりとはいえないけど

33 (ﾜｯﾁｮｲ d74f-emCW) · 2022/11/29(火) 13:34:20.35

元々、Selenium Webdriver, Capybara などは、

Ruby on Rails の開発で、システムテストで実際のブラウザを自動操作して、
画面の動作を確認するためのツール

2022/11/29(火) 14:04:13.09

Ruby馬鹿がいつもの噓

2022/11/29(火) 14:04:43.85

API使いたくないからスクレイピングするんだろ
何言ってんだか

2022/11/29(火) 14:28:15.03

>>44
今回はちょっと違う

2022/11/29(火) 15:17:30.94

>>32
おっしゃる範囲では模倣してることになるよ
しかしPythonのライブラリでブラウザの全部の機能を模倣するのは難しいので、Javascriptをゴリゴリ使うようなサイトではブラウザを模倣するんじゃなくてブラウザにレンダリングを外注するのよ

2022/11/29(火) 18:02:03.33

集合って使う?