Pythonのお勉強 Part69

[1 デフォルトの名無しさん (ﾜｯﾁｮｲ c733-stRS) 2022/11/24(木) 21:39:44.67 ID:A6xfpKBe0]

!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その58
https://mevius.5ch.net/test/read.cgi/tech/1662514433/

〇前スレ〇
Pythonのお勉強 Part68
https://mevius.5ch.net/test/read.cgi/tech/1663235546/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ### ?

---

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

[2 デフォルトの名無しさん (ﾜｯﾁｮｲ ef33-stRS) 2022/11/24(木) 22:06:48.23 ID:A6xfpKBe0]

何か最後に？ついてるんやけど

[3 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa3b-t8YJ) 2022/11/25(金) 00:11:23.76 ID:2/ccX3XOa]

>>1
O₂🍛

[4 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa3b-kfYZ) 2022/11/25(金) 12:28:38.81 ID:PV2ZG9bua]

スレ埋めるだけの簡単なお仕事です

[5 デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MM92-IwB9) 2022/11/25(金) 13:32:24.92 ID:KAp4t6I3M]

スコップ一本さらしにまいて♪

[6 デフォルトの名無しさん (ﾌﾞｰｲﾓ MM3e-7Dqo) 2022/11/25(金) 20:28:02.56 ID:Ex0f5l5+M]

今日もNullpoを葬る～♪

[7 デフォルトの名無しさん (ﾜｯﾁｮｲ b7da-Qvc3) 2022/11/27(日) 22:00:34.60 ID:6go5tzEb0]

LSTMで全部で1000あるデータの、1001期目の予測値を得るにはどうすれば良いですか
どのサイトを見ても検証期間中の予測値は得られても、それより先の予測を得る手段がいまいち分かりません

[8 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-RPwI) 2022/11/27(日) 22:12:17.80 ID:7lw/d0vw0]

「そんな先のことは分からない」

[9 デフォルトの名無しさん (ﾜｯﾁｮｲ b7da-Qvc3) 2022/11/27(日) 22:35:08.90 ID:6go5tzEb0]

無事解決しました

[10 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa5b-j/58) 2022/11/28(月) 10:29:47.82 ID:kuSQgmzBa]

テンプレのrubyでは～に時代を感じるな

[11 デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA) 2022/11/28(月) 12:15:33.61 ID:2MZJX1kl0]

Twitterのエゴサをpythonでできないかなと思って
seleniumでやってみたけど画面上は表示されてるのに
ソースには「JavaScriptを使用できません。」と出る
どうすりゃいいんや…

[12 デフォルトの名無しさん (ﾜｯﾁｮｲ ffbb-rfgC) 2022/11/28(月) 13:04:31.73 ID:QxjFh41D0]

>>11
せめて日本語が読めるようになってから手を出せ。あほ

[13 デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA) 2022/11/28(月) 15:59:10.98 ID:2MZJX1kl0]

実行して立ち上がったブラウザではTwitterが表示されている
つまりJavaScriptは実行されている
にもかかわらずpython内では実行されていないソースコードが表示される
JavaScriptが実行された後のソースコードを取得するにはどうするといいでしょうか？

[14 デフォルトの名無しさん (ﾜｯﾁｮｲ 9f2a-+r4L) 2022/11/28(月) 19:04:45.26 ID:v7hHcTqw0]

webdriverのインスタンスを作るときにjavascriptをenableにしてないとか
ページの生成が終わるのを待たずにhtml読んでしまっているとか

[15 デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA) 2022/11/28(月) 20:47:02.50 ID:2MZJX1kl0]

>>14
ありがとうございます。

オプションに「options.add_argument('--enable-javascript')」を追加したり
time.sleep(15)も追加しましたが駄目でした。

[16 デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA) 2022/11/28(月) 21:06:19.85 ID:2MZJX1kl0]

JavaScriptが反映されていないのが原因だと思うので
そのあたりをもう少し調べてみます。

[17 デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM7f-Znd8) 2022/11/28(月) 21:07:26.37 ID:cGJ8oXTgM]

https://self-development.info/selenium%E3%81%A7twitter%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B%E3%80%90python%E3%80%91/

ここ読んだけどtwitter側が対策してるっぽいね
APIを使えって事じゃない

[18 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa5b-tkFl) 2022/11/28(月) 21:26:56.65 ID:6X8/W5dUa]

ソース出さないで言ってもわからんぞ

[19 デフォルトの名無しさん (ﾜｯﾁｮｲ d733-Z2Iz) 2022/11/28(月) 22:48:45.25 ID:g0wreZ1J0]

こういうの見て思うんだけど、スクレイピングの参考書ってAPIへの誘導ってないの？
プログラミングもWebの知識もない人間にスクレイピングだけでやらせようとするのってだいぶ罪深いと思う
それに、Webの勉強するのにスクレイピングやブラウザでアクセスしながらって相当な悪手だろ
普通簡単なWebサイト作りながらとか構築する側の立場で進めた方が効率いいし、それでもボリューム的に片手間で済むようなもんでもないでしょ

[20 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-RPwI) 2022/11/28(月) 22:54:19.81 ID:TOwN4nTg0]

そういう参考書を作ってあげて

[21 デフォルトの名無しさん (ﾜｯﾁｮｲ ffcf-ykd8) 2022/11/28(月) 22:59:12.17 ID:LDNjf6uN0]

Webプログラミングと言えば
情報を発信するか集めるか、まあどっちかだしな

[22 デフォルトの名無しさん (ﾜｯﾁｮｲ 9f2a-+r4L) 2022/11/28(月) 23:02:43.25 ID:v7hHcTqw0]

>>19
全くもっておっしゃるとおりだと思うけど、静的なサイトだとBeautifulsoupとかで見よう見まねでできちゃったりするから素人さんにもキャッチーなのよね
http通信とは?とかWebサーバーの仕組みとは?から入ると素人は力尽きちゃう

[23 デフォルトの名無しさん (ﾜｯﾁｮｲ 1797-QUc+) 2022/11/29(火) 01:26:48.72 ID:wVUySIDy0]

>>19
APIはAPIで辛くない？認証不要APIとかだったらいいけど、大体お作法を調べるのに時間かかる。
スクレイピングは、HTML/CSSやったことあるならわかる感じがする。RPAみたいなものかなと。
いや逆にRPAこそGUIの知識いるしAPI整備してもらってやったらいいじゃんと思うんだけど、API整備の予算が付かないんだろうね…

[24 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-odCL) 2022/11/29(火) 01:43:32.73 ID:fkaofXgI0]

スクレイピングって、ウェブブラウザの振る舞いを模倣すればいいのと違うん？

[25 デフォルトの名無しさん (ﾜｯﾁｮｲ 9f2a-+r4L) 2022/11/29(火) 07:37:52.82 ID:NO7HG1hV0]

>>24
今どきのブラウザは巨大アプリの筆頭みたいなもんなので簡単にエミュレートできないのさ
なのでjavascriptで自分を書き換えたりするサイトをスクレイピングするにはブラウザそのものを立ち上げて外部からブラウザに今どう表示してんのと聞くほうがいいわけ、それがSeleniumという仕組み

[26 デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM8f-Ww1B) 2022/11/29(火) 08:28:45.05 ID:rvct1gbBM]

カールで取るかAPIでとった方が早いだろ

[27 デフォルトの名無しさん (ﾜｯﾁｮｲ d72c-/LaG) 2022/11/29(火) 10:28:54.87 ID:Zdiz5UrS0]

アホがいきなり動的生成サイトにwhile無限アタックをしかけるまである
悪いのは無責任な企業系入門サイトと、ライブラリ豊富なpython

[28 デフォルトの名無しさん (ﾜｯﾁｮｲ 775f-4gln) 2022/11/29(火) 10:35:59.05 ID:oFH75lpf0]

>>25
おまけにブラウザごとに挙動が大きく変わるから、ややこしい！

[29 デフォルトの名無しさん (ﾜｯﾁｮｲ ffbb-NZIw) 2022/11/29(火) 11:42:39.57 ID:JTTSm0Nf0]

初級者がスクレイピングやるなら、先にネット倫理から勉強してほしいところ

[30 デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM8f-Ww1B) 2022/11/29(火) 12:06:36.59 ID:oHPPEt2oM]

初級者が考えるような事は調べりゃ出てくる
初級者は検索して自己解決に導けないならあきらめた方が良い

[31 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-RPwI) 2022/11/29(火) 12:12:16.73 ID:OkL5Yz/20]

Twitterなら、API利用から始めると楽だと思う

[32 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-odCL) 2022/11/29(火) 12:12:24.76 ID:fkaofXgI0]

>>25
単純化すると
ウェブブラウザみたいに、サイト開いてAPI叩いてデータ（JSONが主流になったね）拾って、
これをパースして個別データとして取り込んで、ってことだよね
これってウェブブラウザの振る舞いを模倣していることにならないのかな？

[33 デフォルトの名無しさん (ﾜｯﾁｮｲ d74f-emCW) 2022/11/29(火) 12:12:37.05 ID:Rlb9t/Eq0]

たいてい、スクレイピングの本には、図書館へスクレイピングして、
サーバーを落とした香具師が、業務妨害で逮捕された事件も書いてある。
だから必ず、契約してAPI を使うように書いてある

あくまで練習用に、自分のPC 内のウェブサーバーへアクセスして試すべき。
VSCode の拡張機能・Live Server で、簡単にサーバーを起動できる

そこに対して、curl, wget, Selenium Webdriver などで試す

基本的に、ほとんどのサイトは、5ch みたいに先にHTML を送っておいて、
その中で、Ajax(JavaScript)によって内容をサーバーへ取りに行くので、
Selenium で実際のブラウザを使って、wait しないと内容を取れないはず

[34 デフォルトの名無しさん (ﾜｯﾁｮｲ ff63-RPwI) 2022/11/29(火) 12:24:13.36 ID:OkL5Yz/20]

>>33
落としたことにされた人には、図書館も開発元の三菱情報システムも、謝罪しているけどね