くだすれPython(超初心者用) その50【まず1嫁】

**蟻人間** ◆T6xkBnTXz7B0 · 2020/08/27(木) 20:24:10.68

当スレに★Python以外のプログラミング言語での回答類を書くべからず★
派生言語はそれぞれ専スレがあるのでそっち池。
「Ruby」「某言語では」をNGワード登録推奨。荒らしは、完全スルー放置が一番きらいです。

このスレッドは「お勉強」スレのほうには書き込めない超低レベル、
もしくは質問者自身何が何だか分からない質問を、勇気を持って書き込むスレッドです。
へび使いが優しくコメントを返しますので、お礼は Python の布教と初心者の救済をお願いします。

★エラーを解決したい場合は、
　　表示されてるエラー全文（勝手に省略やスクショうｐ等の横着クソ行為禁止）と、
　　実行環境（Pythonのバージョン・OSとIDEの種類とバージョン）をシッカリ書くこと。

【【【複数の連続半角スペースはなかったことになる・タブがうまく入らない5chの仕様】】】に注意！
Pythonの★ソースコードをそのまま５ちゃんにコピペすると、インデントが崩れてチヌ★ので
　　↓等の、いわゆるコードうｐ用サイトに貼ってこいください。
ttps://techiedelight.com/compiler/　　Run Code機能あり。最近流行中？
ttp://ideone.com/　　　　　　デフォ設定はC用のため言語選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Python公式サイト◇ http://www.python.org/
◇まとめwiki◇ ttp://python.rdy.jp/wiki.cgi

〇前スレ〇　くだすれPython(超初心者用) その49【まず1嫁】
https://mevius.5ch.net/test/read.cgi/tech/1595057607/

次スレは >>985 あたりが挑戦してくだしあ。（980過ぎて自動落ちは、無くなって久しい）
### END OF TEMPLATE ###

**デフォルトの名無しさん** · 2020/08/27(木) 20:49:44.08

スクレイピングはpythonとphpどちらが適しているのでしょか？
youtubeの動画を取得して、独自にランク付けしたいです

**デフォルトの名無しさん** · 2020/08/27(木) 21:17:46.77

>>2
=　https://mevius.5ch.net/test/read.cgi/tech/1595057607/986
（・∀・）ｶｴﾚ!!!

**デフォルトの名無しさん** · 2020/08/27(木) 22:04:41.93

>>2
そのレベルでスクレイピングとか100年早い
100年後に質問してくれ

**デフォルトの名無しさん** · 2020/08/27(木) 22:47:37.22

>>2
Python
やってる事は裏でseleniumブラウザを立ち上げて
を用意されたapi叩くって事で変わらないんだけど、
文字列の操作がPythonの方が優れてから

**デフォルトの名無しさん** · 2020/08/28(金) 00:38:42.99

>>2
スクレイピングに適しているのはJavaScript。

**デフォルトの名無しさん** · 2020/08/28(金) 00:56:10.15

確かにpuppeteer楽だね
selenium導入たいへん

**デフォルトの名無しさん** · 2020/08/28(金) 05:54:47.41

>>6
嘘ですよね？

>>5
そうしますです

**デフォルトの名無しさん** · 2020/08/28(金) 06:00:04.39

>>5
phpのほうが古くから使われてそうですけどね、この分野では

**デフォルトの名無しさん** · 2020/08/28(金) 07:09:53.91

rss取得にはpythonとphpどちらがいいのでしょうか？
１つのサイトを構築する場合、どちらか一方に絞ったほうがいいのですか？

**デフォルトの名無しさん** · 2020/08/28(金) 07:40:02.81

再び漂うクソ質問者臭

**デフォルトの名無しさん** · 2020/08/28(金) 09:28:51.64

Web系でPython使ったことないんで何か出来ないかなと探したがWebだと別にPython使う必要ないな

**デフォルトの名無しさん** · 2020/08/28(金) 10:12:09.60

スクレイピングした結果をサイト上に表示するというものですが、pythonかphpか分からないです。

**デフォルトの名無しさん** · 2020/08/28(金) 10:17:00.64

フォルダをファイル名に　と同じ奴？
コテ付けてくれ

**デフォルトの名無しさん** · 2020/08/28(金) 10:32:29.37

リファレンスじゃなくてチュートリアルのURL貼っといて
リファレンスに描かれてないじゃないか！ってクレーマーω

**デフォルトの名無しさん** · 2020/08/28(金) 11:14:22.43

スクレイピングは、Ruby で、Nokogiri, Selenium WebDriver。
driver.execute_script で、JavaScript のコード(文字列)も実行できる

データベースに保存するなら、Rails をそのまま使うのが速い。
Capybara で、Headless Chrome を使う

**デフォルトの名無しさん** · 2020/08/28(金) 12:23:17.68

めんどくささここに極まる

**デフォルトの名無しさん** · 2020/08/28(金) 14:39:31.15

どんな言語でもweb driverの扱いが違うだけでgoogle driverを操作だかんね
因みにgoogle driverの挙動が安定しいから辛い

**デフォルトの名無しさん** · 2020/08/28(金) 14:40:05.97

google driverじゃなくてchrome driverだ

**デフォルトの名無しさん** · 2020/08/28(金) 15:03:45.11

>>18-19の挙動が不安定な件
もちつけ
> 安定しい

**デフォルトの名無しさん** · 2020/08/28(金) 15:04:21.30

>>13
Pythonに決めずに
phpへ出てってどーぞ

**デフォルトの名無しさん** · 2020/08/28(金) 20:15:44.66

pcでgui組むのに実装が楽で自由度の高いフレームワークって何ですか？

**デフォルトの名無しさん** · 2020/08/28(金) 20:24:15.23

そんな相反することを平然と…

**デフォルトの名無しさん** · 2020/08/28(金) 20:38:28.42

>>22
HTML/CSSを使ったもの

**デフォルトの名無しさん** · 2020/08/28(金) 20:56:25.22

electronかな。VSCodeもこれで作られてる

**デフォルトの名無しさん** · 2020/08/28(金) 20:57:42.63

>>24に一票ｗ
あとJavaScriptまでならセーフ

**デフォルトの名無しさん** · 2020/08/28(金) 21:17:22.95

visualstudio vbやc#の直感的で色々プロパティが揃ってxml形式の似たもの無いかと探してた。
tkinkerは画面配置がgridとreplaceが合わさった要素がなくてちょっと大変さを感じた。
flutterはxmlいじいじ出来るけどちょっと大変さを感じた。

>>25
electron調べてみます。

>>24
>>26
それがimportしてフレームワークオブジェクトとし使えるものはありますか？

**デフォルトの名無しさん** · 2020/08/28(金) 21:19:12.87

>>27
くそみそimportと考える前に少しぐぐろうぜｗ

**デフォルトの名無しさん** · 2020/08/28(金) 21:51:09.24

>>28
>>1

1日、2日の知識で検索しても道に迷います。

**デフォルトの名無しさん** · 2020/08/28(金) 22:11:40.68

>>29
　　>>14？
　　そうじゃなくてもはやくクソコテつけてね

**デフォルトの名無しさん** · 2020/08/28(金) 22:46:25.94

ぶっちゃけおまえにはC#がお似合いだと思うから.Netにどっぷり浸かっとけ
で、さっさとコテつけろや

**デフォルトの名無しさん** · 2020/08/28(金) 22:49:36.70

>>29
道に迷ってからまた来い

**デフォルトの名無しさん** · 2020/08/28(金) 22:51:59.39

>>32
追加。
ググったけど分かりませんでした、ではなく、調べたこと考えたことをもとにもっと具体的な質問に落とし込めよ

**デフォルトの名無しさん** · 2020/08/28(金) 23:07:28.50

>>29
このクソは
・日に数回質問
・コテハンつけない
・質問の背景を伝えない
・情報を細切れで後出し
・クレクレくんのテイカー

邪魔なのでNGにブチこみたいけどできない
💩🦟

**デフォルトの名無しさん** · 2020/08/29(土) 09:32:51.33

ショッピングモールを歩いてるところを狙って包丁でメッタ刺しにしてやれ

**デフォルトの名無しさん** · 2020/08/29(土) 11:39:51.74

お前らって一生平社員から上がれなさそうだな。
30～50の人がそんなコメントしてると思うと哀れみ感じるよ

**デフォルトの名無しさん** · 2020/08/29(土) 15:50:46.22

>>34
お礼すると死ぬ、も追加で

**デフォルトの名無しさん** · 2020/08/29(土) 16:14:40.62

>>36みたいな自宅警備員よりはまし

**デフォルトの名無しさん** · 2020/08/29(土) 18:31:38.70

答えなければいいだけなのに何に怯えているのか

**デフォルトの名無しさん** · 2020/08/29(土) 19:45:02.75

でもお前全然回答してないじゃん

**デフォルトの名無しさん** · 2020/08/29(土) 19:59:59.48

真実を言ってさしあげるなｗｗｗ
ヒドスｗｗｗｗｗ

**デフォルトの名無しさん** · 2020/08/29(土) 21:55:47.00

https://i.imgur.com/xvBMoWI.jpg

**デフォルトの名無しさん** · 2020/08/30(日) 14:13:45.36

他人の痛みが判る人間になってくださいね

**デフォルトの名無しさん** · 2020/08/30(日) 17:35:22.13

A：他人の痛みが分かる
　　A-1：痛みを攻撃する
　　A-2：攻撃しない
B：他人の痛みが分からない

**デフォルトの名無しさん** · 2020/08/30(日) 23:19:44.11

df.loc[df['lr_residue'] > lr.residual_threshold, 'outlier_flag'] = True

この条件式を満たさなかったらFalseを入力したいのですが、どう書けば良いのでしょう？

**デフォルトの名無しさん** · 2020/08/31(月) 00:30:19.99

True if (条件式) else False

**デフォルトの名無しさん** · 2020/08/31(月) 00:35:32.63

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

**デフォルトの名無しさん** · 2020/08/31(月) 11:35:18.93

>>45
df.loc[df['lr_residue'] <= lr.residual_threshold, 'outlier_flag'] = False

**デフォルトの名無しさん** · 2020/08/31(月) 14:43:51.70

>>45
is_outlier = lambda x: x > lr.residual_threshold
df['outlier_flag'] = df['lr_residue'].apply(is_outlier)

**デフォルトの名無しさん** · 2020/08/31(月) 15:04:09.77

try exceptで例外に関するメッセージを出すことをしたんだけど、
例外発生時にその後の処理をスキップするにはどうしたらいい？

**デフォルトの名無しさん** · 2020/08/31(月) 17:13:53.52

pass

**デフォルトの名無しさん** · 2020/08/31(月) 17:26:43.06

握り潰して良いケースってそんなに無いぞ

**デフォルトの名無しさん** · 2020/08/31(月) 17:57:36.18

returnかraiseって事じゃなくて？

**デフォルトの名無しさん** · 2020/08/31(月) 18:11:26.34

>>50
returnに１票

pyそのものを終わらせたいならexit()だったっけか

**デフォルトの名無しさん** · 2020/08/31(月) 19:32:33.49

https://qiita.com/sssssssiiiiinnn/items/14f7035abe9ce4111323

これの
user_name
user_password
を自分のやつに、
'utf-8':'✓'　→　"commit":"Qiita+%E3%81%AB%E3%83%AD%E3%82%B0%E3%82%A4%E3%83%B3"
へ変更
あとはそのままで最後に.textをprintしたけど
ログイン遷移画面のhtmlが出力される
urllib.parse.quoteでログインに必要なパラメータ全部をURIに変換してみたけど
英語ページのログイン遷移画面が返された

そもそもこれでログイン後のページを取得できるのでしょうか？
あとはpost時にcookie渡す方法もちょっと今からやってみます

**デフォルトの名無しさん** · 2020/08/31(月) 19:44:09.61

よくよくみたら遷移後のページは
エラーが発生しました (500)
500ページでした

**デフォルトの名無しさん** · 2020/08/31(月) 19:58:45.40

自己解決しました
どうやらname=authenticity_tokenのinput要素が
GitHubでログイン、Twitterでログイン、Googleでログイン、ユーザー名でログイン
の４種類くらいあったみたいです
なのでbs.find(attrs={'name':'authenticity_token'})[-1].get("value")
でユーザー名でログインのauthenticity_tokenを取得してpostしてやればログインできました
お騒がせしました

**デフォルトの名無しさん** · 2020/08/31(月) 20:04:08.82

>>50
return

**デフォルトの名無しさん** · 2020/08/31(月) 20:20:36.60

>>57
解決おめ＆報告おつ

**デフォルトの名無しさん** · 2020/08/31(月) 21:39:03.01

>>48
>>49
ありがとうございます。
こういうふうにきれいに一行で書けるのってPythonの魅力ですね。

**デフォルトの名無しさん** · 2020/08/31(月) 22:14:00.03

>>52
catchして何もしないというとこんな風に「握りつぶしちゃイカン」という奴が出てくるけど、脊髄反射だよな。

**デフォルトの名無しさん** · 2020/08/31(月) 22:33:46.13

pythonスクレイピングで深い階層をたどる場合、ひたすらrequests.getを繰り返していく感じでいいんでしょうか？

**デフォルトの名無しさん** · 2020/08/31(月) 22:36:28.67

>>62
その前にそこの規約くらい読んどけよ
かつ「適度な負荷」までしとかないと…

**デフォルトの名無しさん** · 2020/09/01(火) 00:18:37.31

スクレイピングの話になると
質問者が負荷を考慮しない前提で決めつけて話するタイプが一定数いるよね
もう性癖なんじゃないのかとすら思う
自身が過去に何かやらかしたとかそういう

**デフォルトの名無しさん** · 2020/09/01(火) 00:37:31.71

但し摩擦はないものとする

**デフォルトの名無しさん** · 2020/09/01(火) 01:29:52.79

>>62
>深い階層をたどる
これが何を意味してるのかと、実現したいことによる
ただそれはpythonかどうかに限らずどの言語でもほぼ同じ

**デフォルトの名無しさん** · 2020/09/01(火) 01:30:54.95

>>58
>>54
帰り値なしでreturnか。ありがとう。
やってみる。

**デフォルトの名無しさん** · 2020/09/01(火) 04:27:21.73

想像だけど、これまではtry exceptしてなかったんでしょう？
元の処理と同じ流れにしたいならexcept内でraiseでないかと

**デフォルトの名無しさん** · 2020/09/01(火) 05:09:19.62

>>66
例えばyahooのトップを起点にして、ショッピング＞レディースファッション
と進んでいく感じですね
https://www.yahoo.co.jp/

**デフォルトの名無しさん** · 2020/09/01(火) 05:13:15.64

>>63
タイマーでインターバル入れます

**デフォルトの名無しさん** · 2020/09/01(火) 08:24:32.61

>>64
pythonはじめました → スクレイピングやってみよ
質問してくる奴はほぼ負荷なんて気にしてないレヴェル
pythonは他言語より低レヴェルなプログラマー多いよ

**デフォルトの名無しさん** · 2020/09/01(火) 08:25:56.52

>>70
ほらな、この程度。
innertextの中身のチェックくらい入れろってんだよ

**デフォルトの名無しさん** · 2020/09/01(火) 08:37:01.74

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

**デフォルトの名無しさん** · 2020/09/01(火) 09:37:02.67

すみません、どうかご教示願えないでしょうか？

**デフォルトの名無しさん** · 2020/09/01(火) 09:50:30.98

迷惑行為に他人を巻き込むな
迷惑行為したいなら自己責任の元、自分の力でやれ

**デフォルトの名無しさん** · 2020/09/01(火) 10:11:12.00

スクレイピングって初心者がよくやりたがる題材だが、初心者こそこういう人に迷惑を掛けうるものに手を出すべきではないな
もっと他のことで基本的な力を身に付けてから手を出した方がいいと思う

**デフォルトの名無しさん** · 2020/09/01(火) 10:20:17.45

トップ＞ショッピング＞レディースファッションとたどるだけで過剰負荷ってどんだけ貧弱なサーバーなんだよ。

**デフォルトの名無しさん** · 2020/09/01(火) 10:42:15.31

【PHP】下らねぇ質問はここに書き込みやがれ 11
https://mevius.5ch.net/test/read.cgi/tech/1591334726/428

上に、Ruby で、RSS ライブラリを使って、yahoo のRSS を取得した、コードを書いておいた

API・RSSなどが公開されているサイトでは、契約してそれを使えばよい

頻繁なスクレイピングは業務妨害になるので、避けるべき！
1日1回なら、たぶん大丈夫

詳しくは、サイトのrobots.txt に書いてある

**デフォルトの名無しさん** · 2020/09/01(火) 11:49:29.14

しかもDOMの基本もわかってない人も多いからかえって言語覚えるのには遠回りっていうね

78 · 2020/09/01(火) 12:02:19.87

5ch など、ほとんどのサイトは一旦、空のHTML を送ってきてから、Ajax でデータを取得するから、
普通にスクレイピングしても、データが存在しないので取得できない

10秒ぐらい待つとか、Selenium Webdriver を使って、ブラウザを操作する必要がある

特に、yahoo は、ID も少なく、暗号のようなクラス名ばかりで、
解析するのに、かなり苦労する

会社が公開している、API・RSS などを使うべき！

**デフォルトの名無しさん** · 2020/09/01(火) 12:22:02.61

>>71
そんなこと言い出せば
今までITやプログラミングに縁のなかったそこらの一般人がpythonはじめましたなんていうことは確率的に低い

**デフォルトの名無しさん** · 2020/09/01(火) 12:30:47.28

>>69
階層だけど、それめちゃ浅くね？
それにトップから辿らなくてもカテゴリのIDはそう変わらないから直接アクセスすればいいんじゃないの？

あとはレディースファッションとかに表示される商品情報はAJAXで取ってきてるから
requestsでやるならXHRのリクエストをWebサイトがやってるのと同じようにやるのと
レスポンスにある各項目の意味を把握しておく必要があるので少し面倒
(そのかわりSeleniumとかのブラウザ操作系に比べれば高速)

78 · 2020/09/01(火) 12:44:38.65

カテゴリのID は変わらないとか、
暗号のようなクラス名は変わる・変わらないのか、分からないとか、
漏れらは、そのサイトの作者じゃないから、仕様が分からない

答えを推測するしかできないから、
答えを知ってる香具師・作者と比べれば、圧倒的に不利

何回もスクレイピングして、テストしないといけない。
また翌日になれば、クラス名などが変わるかも知れないから、何日間もテストしないといけない

どういうルールで、クラス名などを決めているのか、分からない

だから、クラス名に頼らず、div の下のdiv の、みたいに構造で分析していかないといけない。
ものすごく深いネストを解析するのは、面倒くさい

**デフォルトの名無しさん** · 2020/09/01(火) 12:55:56.71

これはひどい
https://www.尼zon.co.jp/dp/4798161918

**デフォルトの名無しさん** · 2020/09/01(火) 13:58:27.45

>>83
APIが提供されているならそっちの方が簡単だよね

78 · 2020/09/01(火) 15:39:23.88

こういう動画を見れば？

エンジニアチャンネル、粟島

【検証】現役プログラマーは30万円の案件を何時間で出来るのか？
https://www.youtube.com/watch?v=rt_X6n9oWa4

YouTube のスクレイピング。
API を使って、Ruby で1時間

時給30万円！

**デフォルトの名無しさん** · 2020/09/01(火) 16:24:34.68

>>57
>>59
find_all ね

**デフォルトの名無しさん** · 2020/09/01(火) 16:57:12.56

>>81 今は大学で教えてるんじゃないの？　一番教えやすいから。
アメリカだとPython がわかるかどうかが採用条件になってる会社もある。

日本はRuby が普及してたから出遅れてる。

**デフォルトの名無しさん** · 2020/09/01(火) 17:20:10.19

そういうことじゃなくてpython知ってるかどうかやり始めたかどうかはどうでもよく
○○を知らないはず（妄想）　→　○○やれよ（確信）、と指摘する
みたいなレッテル貼りの認識が抜けてるってのがおかしいでしょってこと
仮に○○が当たってたとしても、妄想でしかない

**デフォルトの名無しさん** · 2020/09/01(火) 19:15:53.31

エスパーしかこたえるなといったり
今度はエスパーにレッテル貼りといったり
さすが、尻にう●こついてるだけあって
脳の新陳代謝が活発でいそがしいなｗ

**デフォルトの名無しさん** · 2020/09/01(火) 19:29:55.15

エスパーと説教は違いますよ（笑）

**デフォルトの名無しさん** · 2020/09/01(火) 19:31:53.51

というか今回の件で言えば質問の答えですらないし

**デフォルトの名無しさん** · 2020/09/02(水) 00:41:15.18

>>92
それな

**デフォルトの名無しさん** · 2020/09/02(水) 08:56:59.29

朝鮮人にpythonは無理ゲーw

**デフォルトの名無しさん** · 2020/09/02(水) 11:28:30.13

統計処理
↓
グラフ出力

のアプリを作成したらコードが600行ぐらいになって非常に見にくくなりました。
こういうときって、統計処理とグラフ出力などをクラスとして分けるべきなのでしょうか？
現在は各処理を関数にしているだけなのですが・・・。

**デフォルトの名無しさん** · 2020/09/02(水) 12:09:44.90

githubに公開するつもりでモジュール化すればおのずと形になりそう

**デフォルトの名無しさん** · 2020/09/02(水) 12:43:16.85

>>95
モジュール