Pythonのお勉強 Part65

2021/05/23(日) 14:51:52.02

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その53
https://mevius.5ch.net/test/read.cgi/tech/1615846784/

〇前スレ〇 Pythonのお勉強 Part64
https://mevius.5ch.net/test/read.cgi/tech/1600035173/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/10/18(月) 14:57:16.88

>>652
>>PythonとC
微妙だな
PythonとJavaならどこのSIerでも行けるよ

2021/10/18(月) 14:59:22.38

>>651
Pythonは発展途上言語だからね
実ビジネスシーンで実例が少ないしインタープリターの遅さが足を引っ張ってる

2021/10/18(月) 15:11:51.56

>>657,658
ありがとうございました。

2021/10/18(月) 15:40:16.32

>>658
Cは低レイヤの理解に必要
JavaとかCOBOL以上に未来のない言語

2021/10/18(月) 15:57:47.84

理想的な言語と実際に世の中で使われている多数派の言語は違うんですか？

2021/10/18(月) 15:59:32.84

>>662
違うよ
Javaは資産多いから仕事は腐るほど有る

2021/10/18(月) 16:03:00.80

Javaは仕事はあってもゴミを処理する仕事だぞ

2021/10/18(月) 16:04:44.10

腐るほどあるのはCobolではないかと

2021/10/18(月) 17:02:59.57

JavaもCOBOLも腐ってる

2021/10/18(月) 17:15:41.82

Javaで作られてる仕事の何十%はPythonでいい
PHPで作られてる仕事の8割はPythonでいい
とりあえずPHPを淘汰してPythonにしたほうが良いと思うけどね

2021/10/18(月) 17:26:01.84

PHPもそれなりに仕事有るからな

2021/10/18(月) 17:30:34.56

>>650
ぱいは好きか？

2021/10/18(月) 17:42:26.16

はい

2021/10/19(火) 00:39:47.21

>>651
PythonできたらJSも簡単だろ

cもそんなむずくないぞ

2021/10/19(火) 00:59:38.27

なぜかCAEの分野で、ユーザーによる機能拡張スクリプトはPythonが多いんだよな。
理由はわからんのだけど。

2021/10/19(火) 01:06:00.27

それは逆で、特に他のものをあえて選ぶ理由がないからPythonなんだよ
USではスクリプト言語イコールPythonだからな

2021/10/19(火) 04:26:36.46

>>657
俺同じバンドで20年以上ギター弾いてます

2021/10/19(火) 11:55:04.45

>>673
個人的には、ifとかを、endif とか }で閉じないのは
ゴミ袋の底が空いてて、中身が溢れる様な気がするんですよねぇ。
(そのくせ、可読性の為だけにifの後ろには:があるのにさ)

2021/10/19(火) 12:13:43.42

JavaScript

2021/10/19(火) 16:11:20.58

YouTube で有名な、雑食系エンジニア・KENTA のサロンでは、Ruby on Rails だけ。
キャリアパスも、Rails → Go のみ

Java, PHP は新規プロジェクトが無い。
保守は低価格だから、勧めない

ベンチャー・新規のウェブサービスでは、Rails ばかり。
若い女の娘が1人で起業した、食べチョクもそう

Python は、AI・機械学習が主だから、
プログラマーじゃなく、大学院数学科が求められている。
だから、KENTA が教えないわけ

文系に教えても転職できないから、サロンの評判が悪くなる。
文系でポートフォリオで転職できるのは、Rails, AWS, Docker だけ

2021/10/19(火) 16:42:38.70

Rubyの人は何でCrystalやらないんだろ

**677** (ﾜｯﾁｮｲ 0f2c-4HJo) · 2021/10/19(火) 17:46:26.55

KENTA が言ってる

新しい言語で、普及のキャズムを越えたのは、Go だけ。
Rust, Elixir も、越えられなかった

だから、Rails → Go というキャリアパスしかない

Rustが出来ても、転職できない

2021/10/19(火) 19:08:54.37

どこの業界の話ししてるねん

2021/10/19(火) 19:10:12.99

Rキチに触るな

2021/10/19(火) 19:52:05.25

Rustキチガイ。

2021/10/19(火) 23:59:47.83

日本のIT業界はアスペだらけだから
アスペはPython嫌いなのよ
定型発達はPythonが好き
この違い

2021/10/20(水) 02:02:14.71

C/C++を書けるけど、この領域の実装はRustに乗り換えてるし
javaも書けるけど、C#やPythonに乗り換え気味だし
pythonとjsだけだな。長く使ってて、これからも現役で戦ってくれそうな言語は

2021/10/20(水) 02:50:28.78

スクレイピングに興味があるのですが1時間に1回の頻度のGETだけで訴えられる危険があるって本当ですか？

2021/10/20(水) 02:57:55.73

>>685
君くらいの犯罪者ならその程度は今更でしょ

2021/10/20(水) 08:09:37.85

>>685
対象による
対象が嫌がれば訴えられる危険性はあり、
訴えが認められるかはまた別問題且つ前例がない

2021/10/20(水) 08:38:28.49

>>685
ネタループしてるから得意のスクレイピングで過去スレ探せ

2021/10/20(水) 09:53:36.17

>>611
＋＋

2021/10/20(水) 10:23:15.79

釣
345 名前：デフォルトの名無しさん (ﾜｯﾁｮｲ 9fb1-ZO17) [sage] 投稿日： 2021/10/20(水) 02:49:58.32 ID:7Ch1Hu5l0
スクレイピングに興味があるのですが1時間に1回の頻度のGETだけで訴えられる危険があるって本当ですか？

2021/10/20(水) 17:27:06.96

京都大学、Pythonの基本を解説した無料の教科書「素晴らしすぎる」「非常にわかりやすくて良い」
https://ledge.ai/kyoto-u-ac-python/

2021/10/20(水) 20:35:01.12

くだらねえ

2021/10/20(水) 22:24:52.05

Rubyって仕事ある？

2021/10/20(水) 22:39:56.02

島根いけ

2021/10/21(木) 00:47:10.73

Python勉強しても仕事で大規模プログラム書くわけじゃないからな
機械学習プロジェクトもライブラリを呼ぶだけだし

2021/10/21(木) 03:12:28.34

どの言語なら仕事にありつけるの？

2021/10/21(木) 05:43:10.31

PHPとjavascript

2021/10/21(木) 08:00:10.35

youは何しにこのスレに？

2021/10/21(木) 09:20:56.65

>>696
Javaでstruts1or2かseasarに精通してる人。
今さら重い腰を上げてる会社がまだゴロゴロある。

2021/10/21(木) 10:46:08.90

>>698
昨日NHKのEテレで中國人留学生が初めて日本に来た時
スーツケースいっぱいに饅頭を詰めて持って来たって話をしていたが
密輸入で捕まらんかな

2021/10/21(木) 11:10:58.89

python組み込みで使うけど、GILで困ることが多い
がっつり使い込むものじゃないな

2021/10/21(木) 11:46:41.43

日本では饅頭の下に小判を入れるしきたりなんだけど大丈夫かな？
その中国人が逆ギレして役所の廊下で切りつけ事件を起こさないか心配

2021/10/21(木) 13:11:31.25

>>701
組み込みでマルチスレッド多用するってこと？

2021/10/21(木) 13:33:47.60

Pythonを実ビジネスシーンで使う例がチラホラ出て来てるけどJavaみたいに普及するかはライセンスフリーが維持されるかどうかだね

2021/10/21(木) 13:38:26.60

AtCoderとKaggleだったらどっちをやったほうが有利ですか？

2021/10/21(木) 13:44:38.83

>>705
高学歴ならKaggle
低学歴ならAtCoder

2021/10/21(木) 14:30:16.18

>>706

AtCoderのほうは高IQが必要
Kaggleのほうは総合力が必要

というイメージですが、合ってますか？

2021/10/21(木) 15:00:39.83

>>707
低学歴がKaggleの腕を磨いたところでそれを活かせる職に就くことは難しいので、
一般的なコーディング力を鍛えたほうが役に立つということだ

2021/10/21(木) 18:41:17.32

IQが高そうな回答

2021/10/21(木) 22:00:46.79

>>703
うちは使う

2021/10/21(木) 22:05:42.42

>>707
コンペ入賞歴は加点要素にならない可能性がある
仕事では単純な手法の方が好まれることもあるから

2021/10/21(木) 22:15:14.23

>>705
少し突っ込んで話聞いてみてAI周りを頑張ってるタイプだったら興味なし。
前処理の画像処理や形態素あたりに工夫ができる人の方が欲しい。
AI周りが上手い人間を育てるよりGAFAMの天才が新しいやり方を世に出すサイクルの方が明らかに早い。
一方で身の回りの汚いデータをAIが食えるようにするのはどこまでも付いて回る話。

2021/10/22(金) 00:29:39.20

Kaggleは前処理で勝負するコンペだからデータサイエンティストの実務能力に直結してる
金を穫れるレベルなら面接ぐらいは通るだろう

2021/10/22(金) 00:54:20.88

面倒なことは他人にやらせよう

2021/10/23(土) 12:26:28.35

教えてください

「keyerrorがでるけどどこがだめなのかわからない」 https://teratail.com/questions/365802?sip=n0070000_019&;uid=199109 #teratail #python

2021/10/23(土) 14:01:43.11

びわこ
琵琶湖

2021/10/23(土) 14:15:18.04

寺では返信するくせに同板マルチしてるこっちではスルーだから
善意で回答くれる方が不憫

2021/10/25(月) 21:43:51.75

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/10/26(火) 10:35:04.16

スクレイピングでタイマー入れてリクエストを遅らせるじゃん？
あれってサーバー負荷を考えてのことよね。
サーバーが落ちる条件ってさ一秒間ないし何かしらの単位時間当たりのアクセス数よね。
リブラハックの時に400リクエスト/hのサーバー性能って話があったと思うんだけど、それは一分間に399回リクエスト送って残りの59分は0リクエストだったら落ちないって話じゃないよね？60分を400リクエストで割った時間は最低でもタイマー入れておかないと落ちるって話よね？

2021/10/26(火) 11:41:03.35

>>719
ところがlibrahack事件はブログラムにバグがあり、
前者のような実装だったという笑えない事案

2021/10/26(火) 11:47:12.83

>>720
あれって、サーバー性能じゃなくてサーバーを保護するためにレスポンスが一定超えると落ちるようになってたってこと？こわｗ
一般的なサーバーの性能としては単位時間当たりのレスポンスつまりは>>719の後者の仕様なんだよね？

2021/10/26(火) 12:04:57.13

あれって三菱電機子会社のセッション管理に問題があって普通じゃ考えられないような低負荷でも落ちたんじゃなかった？
うろ覚えだけど新着図書をスクレイピングするだけだったのがサーバ側ではページネーションのために前のユーザがどこまで表示したか覚えてたりとかなんとか。
それだと低頻度でもcookie捨てて新しいセッションでどんどんアクセスしたらサーバからしたはキツいだろうし。

2021/10/26(火) 12:07:54.03

岡崎・HP障害サイバー攻撃のはずが原因、実は図書館ソフトに不具合改修始まる

http://librahack.jp/newspapers/

悪質なのは、メーカーが当初不具合を認めず、
ハードの性能に問題があるとして設備更新を誘導していたこと
設備更新した他の図書館には修正済みソフトが入っていたが、
岡崎図書館は設備更新を断ったため、修正版が入っていなかった

2021/10/26(火) 12:19:47.44

これがちょっと詳しい。
個人情報漏洩もあったな。懐かしいw
https://www.itmedia.co.jp/news/spv/1011/30/news099.html

2021/10/26(火) 13:09:45.63

いつもの釣りスクレイパーにマジレスって草

2021/10/26(火) 13:48:34.14

ほんと図書館話よく釣れるね
語りたくてウズウズしてんだろうな

2021/10/26(火) 14:16:09.53

いや、おれは図書館の話したいわけじゃないんだ。
例に出して悪かった。

漫画RAWをスクレイピングして、購読中の漫画が更新されているか確認するプログラム作ったんだけど
スクレイピング対象の性質的に訴えられることもないと踏んでタイマーを0.1秒にしてるんだわ
ただ、それでも30個くらいの購読タイトルを巡回するだけで30秒くらいかかってる。
0.1どころかそもそも無くそうかなって思ってるんだけど、0にしたらサーバー落ちたりするんだろうか？
リクエストの数が数十件程度ならタイマーなんて不要じゃないのかなって。
それが本題

2021/10/26(火) 15:37:40.40

三菱って空調でもやらかしてるし車でもやらかしてるし
色々体質的な問題を孕んでるのかね

2021/10/26(火) 15:59:16.30

リクエスト投げた時間とレスポンスが返ってきた時間を見て
１件に１秒かかっているなら、その通りで良いのではないか？

2021/10/26(火) 16:19:27.26

>>727
スレ立つ度に同じ話題出るけど結局は相手によるで終わり

2021/10/26(火) 16:38:51.55

連載の性質上、前回の更新から数日さぼっても更新されんとおもうし
過去の更新頻度から類推して確認間隔を決定するよう実装してみては

2021/10/26(火) 17:02:12.87

>>731
確認は現時点では完全に手動にしてるんよ。
GUIにしたから朝一に巡回ボタンを押すようにしてる。
そうすると30秒くらいで更新されてる漫画があればブラウザで開いてくれる。

2021/10/26(火) 17:11:27.38

>>732
ええやん

2021/10/26(火) 17:12:47.85

0.1 秒毎に、大量アクセスしてるの？
もし訴えられたら、確実に有罪になるレベル

やめといた方がよい。
ちゃんと、robots.txt も守っている？

被害額は、1円でもOK だから。
水・電気泥棒も皆、1円で逮捕されている

基本的に、故意・反復がダメ。
有罪の決め手は、故意と反復しているかどうか

それと、相手に被害がありそうな事を、薄々分かっているかどうか

2021/10/26(火) 17:21:42.64

>>734
大量の定義によるけど0.1秒ごとに1回リクエストを送るってのを数十回やってる。
いまだと購読してる漫画が30種類あるから、巡回するときは30回のリクエストを0.1秒ごとに送ってることになる。
厳密にはリクエスト送ってレスポンス来てから0.1秒だで実質1秒おきになってるかもしれない。

この場合の訴えってサーバーから？サイトの管理者から？どっちから来るの？
サイトの管理者は訴えることはできないだろうな。
サーバーのほうは知らんけど。

2021/10/26(火) 17:41:36.00

訴えるとすればサイト管理者

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 17:55:03.70

1日30回なら、10～30分に1回ずつ、アクセスできないの？
0.1秒は、確実に有罪になるレベル

ちゃんと、robots.txt を守っている？

基本、サーバーは物理的攻撃だから、水・電気泥棒と同じ。
被害額1円で逮捕できる

2021/10/26(火) 18:01:45.46

>>736
ありがと
サーバーからサイトに割り振られたリソースを超えたら停止するんかな。
それなら問題なさそうだわ。

変なのが沸いてるから、ちょっと気になったけど安心した。

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 18:02:17.37

Udemy の山浦清透、2021/6

【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
https://www.youtube.com/watch?v=tYbVl6N8oxI

Laravel を使って、mynavi から、求人情報をスクレイピングする。
robots.txt を守る

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 18:06:44.55

>サーバーからサイトに割り振られたリソースを超えたら停止するんかな

サーバーが停止させられているという事は、サーバー落ちでしょ

既に被害が出ているから、逮捕確実。
すぐに止めた方がよい

2021/10/26(火) 18:14:11.25

日本語通じてねぇのかなｗｗｗ

サーバー落ちたなんて言ってないんだけどｗ
アクセスしてるサイトの性質も理解してないし当然だけど/robots.txtも見てないんだろうな。
覚えたての知識でマウント取るのは自由だけど正直言って迷惑だわ
以降はスルーしとくで、勉強に戻って時間を有意義に使ってくれ

2021/10/26(火) 18:14:50.06

問題があるかどうかを決めるのは管理者であってアクセスする側ではない

2021/10/26(火) 19:22:26.49

漫画RAWなんてアクセス集中したところで訴えれんだろ
そんなことしたら管理人が逮捕される

2021/10/26(火) 19:34:58.11

更新頻度とかによるけど1時間に1回巡回して
差分あったらwebhookで通知とかにするかな
サーバはNTTのindigo借りてcronで回す

ちなみに俺がサーバ管理者なら大量アクセスされたら個別にIPをはじくけどな

2021/10/26(火) 19:40:36.17

cronでアクセスだと、すぐバレると思う

2021/10/26(火) 19:58:10.35

確かに漫画RAWはやばいな
管理者はいずれ捕まるだろうが
その時に残ってるサイト側のアクセスログで
何か起こるかも知れない

2021/10/26(火) 19:59:35.26

直接やることはほとんど無くなったな。
ブラウザ噛ませたらだいじょうぶとも言えんけど念の為。

2021/10/26(火) 20:00:54.99

あ、俺は漫画のことじゃないよｗ

2021/10/26(火) 20:16:49.12

俺もweb割れに機械アクセスしまくってたけど
IPと偽装の遮断、多数アクセス者への手動認証発動あたりは全然やってくるから
今のうちに常識的な範囲の間隔あけといたほうが、最終的に得

2021/10/26(火) 20:32:57.79

クローリングと思われないように巡回時刻もある程度散らしたほうがいい。

2021/10/26(火) 20:35:27.38

たしかに大量アクセスなら間隔開けてやった方が訴訟とかそういう意味じゃなくてIP弾かれないようにするために必要かもな
けどあれだけ人が集まるサイトで30アクセスって誤差なんじゃね？

2021/10/26(火) 20:55:24.34

短時間にガーッとやると「やったなお前」っていうパターンがわりとあって
あと定点スリープがバレたこともあるので
sleep(random.uniform(1,3))あたり使ってた気がする
もちろんUA偽装とか無駄クリックとか
色々組み合わせるけど

2021/10/26(火) 23:05:44.22

一番いいのは、PPPoEのIPアドレス解放・再取得
スクレイピングができるなら簡単

2021/10/27(水) 00:08:53.44

量が少なければスマホテザリングも強いよ。
1時間に1回くらい手動で飛行機飛ばす必要あるけど。
マイナーISPだとサバ管の怒り次第では逆引きしてブロックされることあるけどdocomoやKDDIや楽天をブロックする気合いを見せるやつは滅多にいない。

2021/10/27(水) 05:55:33.27

マジでガイジはRubyとスクレイピングが大好きやなーｗ

2021/10/27(水) 07:12:43.03

自分語りしだすと一気にクソスレ化するな

2021/10/27(水) 09:47:24.29

スクレイピングに関する話題になるとどう転んでも糞スレになっちゃうんだな