Pythonのお勉強 Part69

2022/11/24(木) 21:39:44.67

!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇Pythonドキュメント　https://docs.python.org/ja/3/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ● 自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その58
https://mevius.5ch.net/test/read.cgi/tech/1662514433/

〇前スレ〇
Pythonのお勉強 Part68
https://mevius.5ch.net/test/read.cgi/tech/1663235546/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ### ?

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2022/11/24(木) 22:06:48.23

何か最後に？ついてるんやけど

2022/11/25(金) 00:11:23.76

>>1
O₂🍛

2022/11/25(金) 12:28:38.81

スレ埋めるだけの簡単なお仕事です

2022/11/25(金) 13:32:24.92

スコップ一本さらしにまいて♪

2022/11/25(金) 20:28:02.56

今日もNullpoを葬る～♪

2022/11/27(日) 22:00:34.60

LSTMで全部で1000あるデータの、1001期目の予測値を得るにはどうすれば良いですか
どのサイトを見ても検証期間中の予測値は得られても、それより先の予測を得る手段がいまいち分かりません

2022/11/27(日) 22:12:17.80

「そんな先のことは分からない」

2022/11/27(日) 22:35:08.90

無事解決しました

2022/11/28(月) 10:29:47.82

テンプレのrubyでは～に時代を感じるな

2022/11/28(月) 12:15:33.61

Twitterのエゴサをpythonでできないかなと思って
seleniumでやってみたけど画面上は表示されてるのに
ソースには「JavaScriptを使用できません。」と出る
どうすりゃいいんや…

2022/11/28(月) 13:04:31.73

>>11
せめて日本語が読めるようになってから手を出せ。あほ

2022/11/28(月) 15:59:10.98

実行して立ち上がったブラウザではTwitterが表示されている
つまりJavaScriptは実行されている
にもかかわらずpython内では実行されていないソースコードが表示される
JavaScriptが実行された後のソースコードを取得するにはどうするといいでしょうか？

2022/11/28(月) 19:04:45.26

webdriverのインスタンスを作るときにjavascriptをenableにしてないとか
ページの生成が終わるのを待たずにhtml読んでしまっているとか

2022/11/28(月) 20:47:02.50

>>14
ありがとうございます。

オプションに「options.add_argument('--enable-javascript')」を追加したり
time.sleep(15)も追加しましたが駄目でした。

2022/11/28(月) 21:06:19.85

JavaScriptが反映されていないのが原因だと思うので
そのあたりをもう少し調べてみます。

2022/11/28(月) 21:07:26.37

https://self-development.info/selenium%E3%81%A7twitter%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B%E3%80%90python%E3%80%91/

ここ読んだけどtwitter側が対策してるっぽいね
APIを使えって事じゃない

2022/11/28(月) 21:26:56.65

ソース出さないで言ってもわからんぞ

2022/11/28(月) 22:48:45.25

こういうの見て思うんだけど、スクレイピングの参考書ってAPIへの誘導ってないの？
プログラミングもWebの知識もない人間にスクレイピングだけでやらせようとするのってだいぶ罪深いと思う
それに、Webの勉強するのにスクレイピングやブラウザでアクセスしながらって相当な悪手だろ
普通簡単なWebサイト作りながらとか構築する側の立場で進めた方が効率いいし、それでもボリューム的に片手間で済むようなもんでもないでしょ

2022/11/28(月) 22:54:19.81

そういう参考書を作ってあげて

2022/11/28(月) 22:59:12.17

Webプログラミングと言えば
情報を発信するか集めるか、まあどっちかだしな

2022/11/28(月) 23:02:43.25

>>19
全くもっておっしゃるとおりだと思うけど、静的なサイトだとBeautifulsoupとかで見よう見まねでできちゃったりするから素人さんにもキャッチーなのよね
http通信とは?とかWebサーバーの仕組みとは?から入ると素人は力尽きちゃう

2022/11/29(火) 01:26:48.72

>>19
APIはAPIで辛くない？認証不要APIとかだったらいいけど、大体お作法を調べるのに時間かかる。
スクレイピングは、HTML/CSSやったことあるならわかる感じがする。RPAみたいなものかなと。
いや逆にRPAこそGUIの知識いるしAPI整備してもらってやったらいいじゃんと思うんだけど、API整備の予算が付かないんだろうね…

2022/11/29(火) 01:43:32.73

スクレイピングって、ウェブブラウザの振る舞いを模倣すればいいのと違うん？

2022/11/29(火) 07:37:52.82

>>24
今どきのブラウザは巨大アプリの筆頭みたいなもんなので簡単にエミュレートできないのさ
なのでjavascriptで自分を書き換えたりするサイトをスクレイピングするにはブラウザそのものを立ち上げて外部からブラウザに今どう表示してんのと聞くほうがいいわけ、それがSeleniumという仕組み

2022/11/29(火) 08:28:45.05

カールで取るかAPIでとった方が早いだろ

2022/11/29(火) 10:28:54.87

アホがいきなり動的生成サイトにwhile無限アタックをしかけるまである
悪いのは無責任な企業系入門サイトと、ライブラリ豊富なpython

2022/11/29(火) 10:35:59.05

>>25
おまけにブラウザごとに挙動が大きく変わるから、ややこしい！

2022/11/29(火) 11:42:39.57

初級者がスクレイピングやるなら、先にネット倫理から勉強してほしいところ

2022/11/29(火) 12:06:36.59

初級者が考えるような事は調べりゃ出てくる
初級者は検索して自己解決に導けないならあきらめた方が良い

2022/11/29(火) 12:12:16.73

Twitterなら、API利用から始めると楽だと思う

2022/11/29(火) 12:12:24.76

>>25
単純化すると
ウェブブラウザみたいに、サイト開いてAPI叩いてデータ（JSONが主流になったね）拾って、
これをパースして個別データとして取り込んで、ってことだよね
これってウェブブラウザの振る舞いを模倣していることにならないのかな？