Pythonのお勉強 Part69

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ﾜｯﾁｮｲ c733-stRS)
垢版 |
2022/11/24(木) 21:39:44.67ID:A6xfpKBe0
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その58
https://mevius.5ch.net/test/read.cgi/tech/1662514433/

〇前スレ〇
Pythonのお勉強 Part68
https://mevius.5ch.net/test/read.cgi/tech/1663235546/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ### ?
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2デフォルトの名無しさん (ﾜｯﾁｮｲ ef33-stRS)
垢版 |
2022/11/24(木) 22:06:48.23ID:A6xfpKBe0
何か最後に？ついてるんやけど
2022/11/25(金) 00:11:23.76ID:2/ccX3XOa
>>1
O₂🍛
4デフォルトの名無しさん (ｱｳｱｳｳｰ Sa3b-kfYZ)
垢版 |
2022/11/25(金) 12:28:38.81ID:PV2ZG9bua
スレ埋めるだけの簡単なお仕事です
2022/11/25(金) 13:32:24.92ID:KAp4t6I3M
スコップ一本さらしにまいて♪
2022/11/25(金) 20:28:02.56ID:Ex0f5l5+M
今日もNullpoを葬る～♪
2022/11/27(日) 22:00:34.60ID:6go5tzEb0
LSTMで全部で1000あるデータの、1001期目の予測値を得るにはどうすれば良いですか
どのサイトを見ても検証期間中の予測値は得られても、それより先の予測を得る手段がいまいち分かりません
2022/11/27(日) 22:12:17.80ID:7lw/d0vw0
「そんな先のことは分からない」
2022/11/27(日) 22:35:08.90ID:6go5tzEb0
無事解決しました
2022/11/28(月) 10:29:47.82ID:kuSQgmzBa
テンプレのrubyでは～に時代を感じるな
11デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 12:15:33.61ID:2MZJX1kl0
Twitterのエゴサをpythonでできないかなと思って
seleniumでやってみたけど画面上は表示されてるのに
ソースには「JavaScriptを使用できません。」と出る
どうすりゃいいんや…
2022/11/28(月) 13:04:31.73ID:QxjFh41D0
>>11
せめて日本語が読めるようになってから手を出せ。あほ
13デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 15:59:10.98ID:2MZJX1kl0
実行して立ち上がったブラウザではTwitterが表示されている
つまりJavaScriptは実行されている
にもかかわらずpython内では実行されていないソースコードが表示される
JavaScriptが実行された後のソースコードを取得するにはどうするといいでしょうか？
2022/11/28(月) 19:04:45.26ID:v7hHcTqw0
webdriverのインスタンスを作るときにjavascriptをenableにしてないとか
ページの生成が終わるのを待たずにhtml読んでしまっているとか
15デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 20:47:02.50ID:2MZJX1kl0
>>14
ありがとうございます。

オプションに「options.add_argument('--enable-javascript')」を追加したり
time.sleep(15)も追加しましたが駄目でした。
16デフォルトの名無しさん (ﾜｯﾁｮｲ bf89-t+XA)
垢版 |
2022/11/28(月) 21:06:19.85ID:2MZJX1kl0
JavaScriptが反映されていないのが原因だと思うので
そのあたりをもう少し調べてみます。
2022/11/28(月) 21:07:26.37ID:cGJ8oXTgM
https://self-development.info/selenium%E3%81%A7twitter%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B%E3%80%90python%E3%80%91/

ここ読んだけどtwitter側が対策してるっぽいね
APIを使えって事じゃない
2022/11/28(月) 21:26:56.65ID:6X8/W5dUa
ソース出さないで言ってもわからんぞ
19デフォルトの名無しさん (ﾜｯﾁｮｲ d733-Z2Iz)
垢版 |
2022/11/28(月) 22:48:45.25ID:g0wreZ1J0
こういうの見て思うんだけど、スクレイピングの参考書ってAPIへの誘導ってないの？
プログラミングもWebの知識もない人間にスクレイピングだけでやらせようとするのってだいぶ罪深いと思う
それに、Webの勉強するのにスクレイピングやブラウザでアクセスしながらって相当な悪手だろ
普通簡単なWebサイト作りながらとか構築する側の立場で進めた方が効率いいし、それでもボリューム的に片手間で済むようなもんでもないでしょ
2022/11/28(月) 22:54:19.81ID:TOwN4nTg0
そういう参考書を作ってあげて
2022/11/28(月) 22:59:12.17ID:LDNjf6uN0
Webプログラミングと言えば
情報を発信するか集めるか、まあどっちかだしな
2022/11/28(月) 23:02:43.25ID:v7hHcTqw0
>>19
全くもっておっしゃるとおりだと思うけど、静的なサイトだとBeautifulsoupとかで見よう見まねでできちゃったりするから素人さんにもキャッチーなのよね
http通信とは?とかWebサーバーの仕組みとは?から入ると素人は力尽きちゃう
23デフォルトの名無しさん (ﾜｯﾁｮｲ 1797-QUc+)
垢版 |
2022/11/29(火) 01:26:48.72ID:wVUySIDy0
>>19
APIはAPIで辛くない？認証不要APIとかだったらいいけど、大体お作法を調べるのに時間かかる。
スクレイピングは、HTML/CSSやったことあるならわかる感じがする。RPAみたいなものかなと。
いや逆にRPAこそGUIの知識いるしAPI整備してもらってやったらいいじゃんと思うんだけど、API整備の予算が付かないんだろうね…
2022/11/29(火) 01:43:32.73ID:fkaofXgI0
スクレイピングって、ウェブブラウザの振る舞いを模倣すればいいのと違うん？
2022/11/29(火) 07:37:52.82ID:NO7HG1hV0
>>24
今どきのブラウザは巨大アプリの筆頭みたいなもんなので簡単にエミュレートできないのさ
なのでjavascriptで自分を書き換えたりするサイトをスクレイピングするにはブラウザそのものを立ち上げて外部からブラウザに今どう表示してんのと聞くほうがいいわけ、それがSeleniumという仕組み
2022/11/29(火) 08:28:45.05ID:rvct1gbBM
カールで取るかAPIでとった方が早いだろ
27デフォルトの名無しさん (ﾜｯﾁｮｲ d72c-/LaG)
垢版 |
2022/11/29(火) 10:28:54.87ID:Zdiz5UrS0
アホがいきなり動的生成サイトにwhile無限アタックをしかけるまである
悪いのは無責任な企業系入門サイトと、ライブラリ豊富なpython
2022/11/29(火) 10:35:59.05ID:oFH75lpf0
>>25
おまけにブラウザごとに挙動が大きく変わるから、ややこしい！
2022/11/29(火) 11:42:39.57ID:JTTSm0Nf0
初級者がスクレイピングやるなら、先にネット倫理から勉強してほしいところ
2022/11/29(火) 12:06:36.59ID:oHPPEt2oM
初級者が考えるような事は調べりゃ出てくる
初級者は検索して自己解決に導けないならあきらめた方が良い
2022/11/29(火) 12:12:16.73ID:OkL5Yz/20
Twitterなら、API利用から始めると楽だと思う
2022/11/29(火) 12:12:24.76ID:fkaofXgI0
>>25
単純化すると
ウェブブラウザみたいに、サイト開いてAPI叩いてデータ（JSONが主流になったね）拾って、
これをパースして個別データとして取り込んで、ってことだよね
これってウェブブラウザの振る舞いを模倣していることにならないのかな？
2022/11/29(火) 12:12:37.05ID:Rlb9t/Eq0
たいてい、スクレイピングの本には、図書館へスクレイピングして、
サーバーを落とした香具師が、業務妨害で逮捕された事件も書いてある。
だから必ず、契約してAPI を使うように書いてある

あくまで練習用に、自分のPC 内のウェブサーバーへアクセスして試すべき。
VSCode の拡張機能・Live Server で、簡単にサーバーを起動できる

そこに対して、curl, wget, Selenium Webdriver などで試す

基本的に、ほとんどのサイトは、5ch みたいに先にHTML を送っておいて、
その中で、Ajax(JavaScript)によって内容をサーバーへ取りに行くので、
Selenium で実際のブラウザを使って、wait しないと内容を取れないはず
2022/11/29(火) 12:24:13.36ID:OkL5Yz/20
>>33
落としたことにされた人には、図書館も開発元の三菱情報システムも、謝罪しているけどね
2022/11/29(火) 12:26:22.23ID:Rlb9t/Eq0
山浦 清透

【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI

これは、PHP だけど、
Udemy の山浦ぐらいの相当プロでも、1:5:42 の所で、
マイナビ求人をスクレイピング攻撃しているだろw

プロでも間違うから、なおさら素人なら、無限ループで攻撃し放題。
業務妨害で逮捕されるだけ

データベースに保存するなら、普通はPHPじゃなくて、Ruby on Rails を使う
2022/11/29(火) 12:29:52.96ID:OkL5Yz/20
ウィキペディアにも経緯が詳しく書かれているから見るといい

https://ja.wikipedia.org/wiki/岡崎市立中央図書館事件
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況