Squid Web Proxy Cache 3
学校のネットワークにsquidが入ってて2cnとかfacebook,twitterが見られない けどpinkbbsは見られるそうな どうしたら弾くのやめさせられるんだろう コミュ力で勝負 → ネットワーク管理者に、制限解除を交渉する。 技術力で勝負 → 自宅に squid建てて VPNとかで学校から接続する。 財力で勝負 → Wimaxとか、LTEテザリングとかで自力接続する。 スマホのバカ高い月額料金きらって、ガラケー + iPodTouch + 学内WiFi網 で、運用してる賢い学生うちには、そこそこ居るよ。 iPodTouch代わりに、中古白ROMアイフォン、アンドロも含め 学生にとって5千円は小銭じゃなかろ? 毎月5千円超をキャリアに払うか、趣味・遊びに使うかのトレードオフだわな。 学内ネットは学生の遊びのために用意されてんじゃねえぞボケ FacebookもTwitterも馬鹿曝しツールになりかねんから一律遮断も判るつーか 遮断されるだけの馬鹿やった先例があるんじゃねw 俺が管理している大学はそこまで厳しくないな FWでp2p系のソフトは遮断しているけど、SquidでURLフィルタとかはやってない 自己責任でお好きにどうぞって感じ わざわざsquidでフィルタリングするのは面倒なんじゃないか システム管理者に余計な仕事増やすくらいなら市販のコンテンツフィルタ使うなり UTMのフィルタリング機能使うだろうな 最近ならフィルタリングにクラウドサービスも使えるし >>56 いや、UTMは年間利用料(保守料名目)が掛かるから貧乏学校では導入しずらい。 仕方なく squidでやってる組織は少なからずある。 200台以上の鯖でsquidが稼働している・・・ そんな環境を俺は知っている その前に負荷分散装置があるけど、ある意味壮観だよ どっかの大学の鯖管だけど、squidのホスト名を「proxy.組織名.ac.jp」としておくと 掲示板側から勝手に書き込み拒否してくれるみたいで便利。 どこそこで「今日こうなご喰います」みたいな書き込みされると大迷惑だからなww 3のCOSSは一体いつまで待てば良いのか? 2.6から移行したいよ。 >>62 http://www.squid-cache.org/Doc/config/cache_dir/ >The rock store type: > >cache_dir rock Directory-Name Mbytes <max-size=bytes> [options] >The Rock Store type is a database-style storage. 以下略 >>63 ML見ているとバグがあるみたいだけど、大丈夫なんかな? COSSとのベンチも見たいところ firefoxでURLのところに文字を入れて検索したいたのですが squidを通すとエラー画面がでます。 検索できるようにできるのでしょうか? >>66 素早いお返事ありがとうございます。 proxy.pacでproxyを通さないようにすればいいんですね どうもありがとうございました。 >>64 大丈夫どころか人柱募集中だな。 http://wiki.squid-cache.org/Features/RockStore 大規模サイト向けにCOSSとdiskdのノウハウ使って高性能ハードウェアを活用する、ってあるな。 そのうち比較レポートとか上がってきそうではあるけど、実用レベルになるのはいつになるんかなぁ。 refresh_patternって変更してますか? Squidの更新パターンでインターネットアクセスを高速化する http://sourceforge.jp/magazine/08/11/26/019236/3 おすすめの設定があれば教えてください。 refresh_pattern -i \.(gif|jpe?g|ico|png)$ 10080 90% 40320 ignore-no-cache refresh_pattern -i \.(iso|avi|wav|mp3|mp4|mpe?g|swf|flv|x-flv)$ 10080 90% 40320 ignore-no-cache refresh_pattern . 0 90% 40320 ignore-no-cache こんな感じ。 画像関係と動画とかは最低7日はキャッシュさせてる >>70 ありがとうございます。 参考にさせていただきます。 >>71 とにかく帯域抑えてキャッシュだってんなら refresh_pattern -i /(index|top)\.html?$ 0 99% 43200 ignore-no-cache refresh_pattern . 1800 100% 43200 ignore-no-cache とかやってみたらいいかもよ。 あと2.7使ってんならcossつかって32KB以下をcossストレージにすると少し幸せかも。 うちはキャッシュはそんなにでかくしてないけど cache_dir coss e:/squid/var/cache/coss/1 512 block-size=512 max-size=32768 cache_dir coss e:/squid/var/cache/coss/2 512 block-size=512 max-size=32768 cache_dir aufs e:/squid/var/cache/aufs/1 1024 16 256 min-size=32768 cache_dir aufs e:/squid/var/cache/aufs/2 1024 16 256 min-size=32768 こんあ感じで計3GBにしてる。 キャッシュヒットは40%前後、帯域節約は35%くらい 以前は、帯域節約目的で運用してたけど、最近は帯域の節約より、 人気のコンテンツがサクッと出てくるところが、squidの醍醐味だね。 IEだと、cache=0に出来ないのでいまいちだけど、 FireFoxだと、cache=0 + squidの方が快適 COSSは性能が出てイイんだけど、squid再起動時に初期化に凄い時間かかるね。 あれは、改善する気はないんだろか? 型落ちで安く入手したSSDは丸ごとsquidのキャッシュ用だな チューニングに脳味噌使う必要がなくなるのは良いのか悪いのか分からんがw >>72-74 Raspberry piを買ったのでsquidを導入して niconicoが早くなり快適になりました。 いろいろ試してみたいとおもいます。 ありがとうございます。 どなたか教えて下さいませ。 任意の文字が入力されたら、一定の文字を挿入したいのです。 たとえば、http://aaa.com へのリクエストがあったら、 http://bbb.jp/count.cgi?http ://aaa.com のように書き換えてしまいたい。 Squidで可能でしょうか? また、可能ならどうやれば良いのでしょうか?? >>76 URL書き換えのスクリプトを用意して、呼び出し。 url_rewrite_programがポイント 家族が楽天とかネットショッピングで購入するポイントを取りこぼしたくないのですが、 squidをgwに設置することでそれを実現することができますか。 L4レベルの操作である squidでは無理 原理としては L7レベルで可能とは思うけど、実装が凄いことになりそう。 とりあえず、squidのログから購入した日時ぐらいは拾えそうだけど、 何を買ったか?何ポイントかは、コンテンツの中まで見ないとイカン。 Ubuntu Server12.10(x64)で最近upgradeしたらcachemgr.cgiがInternal Server Errorになっちゃうんだけど同じ人いない? apacheのログ見るとfree()で開放時に落ちてるみたいだけど COSSで、RAM-DISKにキャッシュ確保しようと思うんだが、 CentOS x64で、20Gbyte超の /dev/RAMDISKって作れるんだろうか? >>81 cache_mem増やせば良いんじゃないの? >>83 cache_mem < cache_dir じゃないと動作しない仕様(2.x) 3.xだと、cache_memのみで動くって話はどうなった? それと、コア余りなんで マルチスレッド化して欲しいね。 >>86 おっ、出来てるんだ! 3.xで運用してる人いる?まとも?? >>86 Rockがまともに動いてRHEL6に移行するタイミングで アップデートしようかな・・・ squid3でYoutubeのキャッシュできますか? Squid 3.1.x 系で、透過Proxyを設定するとできるのに Squid 3.2.x 系、Squid 3.3.x 系で同じ設定しても出来ない 誰か知ってたら教えて下さい。 ちなみに、以下の2つのパラメータを追加して iptablesでポート80を3129にリダイレクトしただけです。 http_port 3129 intercept visible_hostname proxy.localhost squid 3.2/3.3でFreeBSDでRock Store使えている方いますか? livedoorの認証でsquid経由だと 「OpenID認証に失敗しました。」 となるのですが、回避方法はありますでしょうか。 >>92 取り敢えずブラウザ変えても同じ現象が起きるのか試す。 >>92 Squidじゃないプロキシだとうまくいくの? >>94 squid以外のプロキシで、まともな奴って何かある? >>93 ,94 アドバイスありがとうございます。 ブラウザ、クライアントOSともに変更して確認しましたが、同じです。 squidを介さないネットワークからは問題ない(他のプロキシという意味ではなくプロキシ無し)ので squidが原因だと思います。 openidの仕様がよくわからないのですがURL遷移が要っぽいので、 そのあたりのタイミング設定があるのかと思うのですがよくわかりません。 よろしくお願いします。 クライアントから外部のLDAPサーバーへ接続を行いたいのですが、 どのように設定すれば良いのでしょう? Squidを通さずにルーター直結すると接続できたので、 あとはSquidの設定次第で可能になるのでは、と考えています。 ちなみに、Safe_Ports へ 389 を追加したのですが接続できませんでした。 環境は今は Squid 2.7 Stable8 forWin ですが、 Linux版にすることで可能になるのであれば、変更します。 アドバイス、よろしくお願いします。 >>97 squdでLDAPを使って認証なら出来るけど LDAPをproxy出来るのかな? 専用のLDAPサーバとクライアントなら可能だろうけど >>98 LDAPプロキシって、Webプロキシとは全然動きが違うから無理っしょ OpenLDAPとかでLDAPプロキシに出来ルンだっけ? eDirectory8.xだとすんなり動くけど。 OpenLDAPでLDAP Proxyが出来るんだから、そっちでやれば?と思って突っ込まなかったのに・・・ SquidはDelegateと違って、万能じゃ無いんだよ! どこかにはLDAPをhttp/httpsにトンネリングするサーバーとクライアントがあるかもしれない 聞いた事無いけど 1台のLDAPサーバーだけなら、単なるTCPリレーでいいでしょ。 squidとか使うまでもない。 こんにちは。質問です。 スマホから2ちゃん閲覧するための専用にsquidでプロキシサーバを立てています。 外部公開なので、confに「http_access allow all」と書いて全通信を許可してるのですが、 セキュリティ的にどうかなと疑問に思い、destinationが2ch関連のみに制限したいです。 URL制限は、 acl AllowDomain dstdomain .2ch.net みたいに書けばいいと思うのですが、allow allしてるせいで意味ないことに気づきました。 そこで、srcは全部許可、dstdomainは2ch関連のみ許可、にしたいのですが、どう書けばいいでしょうか。 なお、スマホはauなのですが、残念ながらIPアドレス帯域は公表されていません。 ですよねー。 なのでそんなサーバにならないためにもお知恵を拝借したいのです。 >>104 > そこで、srcは全部許可、dstdomainは2ch関連のみ許可、にしたいのですが、どう書けばいいでしょうか。 allow allを消してhttp_access allow AllowDomain > なお、スマホはauなのですが、残念ながらIPアドレス帯域は公表されていません。 これは? ttp://www.au.kddi.com/developer/android/kaihatsu/network/ >>107 認証はやってみてます−。 >>108 おおこれはいいですね。 アドレス帯域もアクセスログと一致します。 これでなんとかやってみます。ありがとうございました。 一人で使っているSquidだと、アクセスのほとんどが キャッシュに残らない。 メモリーも含めHITしているのは 10%ちょっと。 Address: XX.XX.XX.XX Currently established connections: 0 ICP Requests 0 HTTP Requests 11590 TCP_HIT 853 7% TCP_MISS 7396 64% TCP_REFRESH_UNMODIFI 2140 18% TCP_REFRESH_FAIL 1 0% TCP_REFRESH_MODIFIED 223 2% TCP_CLIENT_REFRESH_M 514 4% TCP_IMS_HIT 244 2% TCP_MEM_HIT 219 2% キャッシュヒットなんて設定でどうにでもなるんだから、なんとも? 今まではソースからmakeしてたのを、新鯖に yum installしたら、 squid-3.1.10-19.el6_4.x86_64.rpm なんてのが入っちゃった。これ COSS使えないんだよねぇ。 さてどうすっか orz 3.1のRockはお勧めできない。 3.2に上げてしまえ $ sudo squid -k parse WARNING: use of 'ignore-private' in 'refresh_pattern' violates HTTP WARNING: use of 'override-expire' in 'refresh_pattern' violates HTTP WARNING: use of 'ignore-no-store' in 'refresh_pattern' violates HTTP HTTPに違反してるというがこれってどうしたらいいのでしょうか。 オプションが何をしているか理解すれば、あたりまえの警告 オプションの意味がわからないなら、削除するべき わからなで使うと問題がおきるよ Centos6で、Privoxy + Ziproxy + Squid という記事を見て モバイル用に構築しようと思い挑戦中なのですが、自分は Privoxy は不要なので Ziproxy + Squid のみで構築したいと考えています。 そこで、suiqd側に下記設定を入れ、 cache_peer localhost parent (ziproxyのポート) 7 no-query never_direct allow all ziproxy側にはNextProxyの設定等入れずに両方を起動したところ ziproxy経由でのアクセスは出来るのですが、suiqd経由で アクセス出来ません。 (squidの上位プロキシの設定を外せば正常にアクセス出来ますが 当然ziproxyの圧縮が効きません) ziproxyで圧縮+squidでキャッシュするように構築したいのですが どの辺を見直せば良いでしょうか。 (そもそも思い違いをしている??) クライアントPCのプロキシ設定ににSquidのポートを入れると下記の アクセスログが出ますが、ziproxy側には何も出ません。 squidからziproxyにアクセス出来ていない…??? 1387870662.380 53 クライアントIP TCP_MISS/503 4701 GET http://www.google.co.jp/ - FIRST_UP_PARENT/localhost text/html 1387870662.459 0 クライアントIP TCP_MISS/503 4087 GET http://www.squid-cache.org/Artwork/SN.png - NONE/- text/html アクセスした際には下記のメッセージが表示されます。 ERROR The requested URL could not be retrieved The following error was encountered while trying to retrieve the URL: http://www.google.co.jp/ localhost への接続に失敗しました。 システムが以下のエラーを返しました: (111) Connection refused The remote host or network may be down. Please try the request again. squid側には上位プロキシの設定をせずに、ziproxy側に設定することで なんとか正常に動作するようになりました。お騒がせしました。 >>125 > システムが以下のエラーを返しました: (111) Connection refused なら ziproxy 側の設定の問題じゃね? Address とか。 >>127 その可能性はありますね。帰ったら試してみますが ziproxyのAddressの設定は、アクセスを許可する アドレスになるのでしょうか。 スレチとは思いますが…すいません。 失礼しました。取りあえずziproxy側のアドレス設定を 127.0.0.1 10.8.0.1等設定し、Squid経由になるよう 設定してみましたが、同じ状況でした。 ziproxy側に上位設定すれば正常動作するので問題は無い のですが、何処が問題なのか気になるところです。 >>123 squidのバージョンによるけど ×cache_peer localhost parent (ziproxyのポート) 7 no-query ○cache_peer localhost parent (ziproxyのポート) 0 no-query 何じゃないかな? >>131 試してみましたが変化ありませんでした。 squid→ziproxyという流れにすると、アクセスに失敗した際 cache.logに TCP connection to localhost/8080 failed という メッセージが出ていることを確認したので、ziproxyに上手く 接続できていないようなのですが、クライアントPCにziproxyの ポートを設定してアクセスすると正常にアクセス出来ているので なぜ、ziproxy→squid は出来て、squid→ziproxy が出来ないのか 頭が痛くなってきました…。。 >>133 どうもです。下記の通りです。 今はziproxy→squidとしているのでNextProxyとNextPortが入って いますが、squid→ziproxy の実験中は外しています。 (TransparentProxy の設定有無も関係ありませんでした) Port = 8080 ErrorLog = "/var/log/ziproxy/error.log" AccessLog = "/var/log/ziproxy/access.log" NextProxy="127.0.0.1" NextPort=3128 UseContentLength = false ProcessHTML = true ProcessCSS = true ProcessJS = false ImageQuality = {30,25,25,20} JP2ImageQuality = {20,15,15,15} 公式見る限り、ziproxy→squidが通常のような気がしてきました。 squid→ziproxy→Privoxyとしている人もいますが…。 Privoxy置けば出来るのか試してみるしかないか。。 http://ziproxy.sourceforge.net/faq.html http://ziproxy.sourceforge.net/wanaccel/ >>134 今のコンフィグじゃないくて失敗した時のコンフィグを上げないと意味が無いんじゃないか? 失敗したときは上述の通りNextの2行を削っているだけです。 ただ、よく考えると強制的にziproxy経由させるより、現状の方が PCからはSquidのみ、モバイルからはZiproxy経由Squidと選択出来るので このままで良いかなと思っています。 多分、zipを透過にしてルーティングするしか方法はないんだろう ということでそろそろ終わりにします。 有り難うございました。 Squid-3.4.2 release This release is a bug fix release resolving several major issues found in the prior Squid releases. * Bug #3806: Caching responses with Vary header * Bug #3980: FATAL ERROR due to max_user_ip -s option * Regression \-unescaping in quoted strings from helpers * Regression in URL helper API squid3.1.10で ↓のサイトで検索実行してみると、イミフなエラーがでます。 富士通の図書館システムでの蔵書検索なので、適当な短めキーワードでいいです。 http://ufinity07.jp.fujitsu.com/meijo/ squid2.xでは、エラー無しで正常ですが、皆さんのとこでは如何でしょう? そのエラー自体を書かないのは宗教上の理由か何かですか。 >>140 こういう具合です ↓ ------------------------------------------------------------ 不正なリクエストの可能性があります 登録処理か表示処理か確認してください。 (http://ufinity07.jp.fujitsu.com/meijo/index.php?page_id=15& ;block_id=296&module_id=61&action=v3search_action_main_opac&tab_num=0&search_mode=null&_token=0bed4a35fc9a5c911ce7b7b00cc53d47&_header=0) ページが自動的に更新されない場合はこちらをクリックしてください。 ------------------------------------------------------------ >>141 とりあえず、stable最新版3.4.2を入れ直したら正常となりました。何だったんだろう? http://blog.nezweb.net/archives/118 ここ参考にニコニコのキャッシュをsquidサーバに置こうと思ったんだけど全然動かない NicoProxy2との組み合わせもチャレンジしたけど、そもそもNicoProxyがマトモに動かない ニコニコの仕様が変わりすぎてもう無理なのかなぁ ちょうど新しいサーバにSquid整備していたんだけど、そのまま動いたよ。OSとsquidのバージョンはいくつで試した? >>145 遅くなりましたが、 Squid ver.2.7 STABLE8 環境はwindows server2008です。 追記になりますが、時報ブロックは機能しています。 >>146 >>145 じゃないけど。 NicoProxy2を通して比較的短い(1分未満の)動画を再生できるか試してみて もし再生できるようであればNicoProxy2を使うのは止めた方がいいかもしれん。 squidのrefresh_patternの方は、 nicovideo用のrefresh_patternをrefresh_patternの中で一番上に追加してあって cache_dirのmax-size=オプションか maximum_object_sizeでキャッシュするファイルのサイズの最大値を 設定してあればうまく動くんじゃないかなーと思う。 >>147 キャッシュサイズを引き上げてみたところキャッシュが正常に動きました!ありがとうございます read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる