Squid Web Proxy Cache 3
COSSがSquid3.2で使えるようになるのはいつのことかねえ。 マルチコアCPUむけ最適化もいつになることやら。 http_port 0.0.0.0:8080と書いてやらないとipv4でlistenしてくれないのはなんでかな? http_port 8080だとipv6しかlistenしない。 両方listenするようにしたいんだが・・・ centos6.2 squid-3.1.10-1.el6_2.2.x86_64 せめてsquid2並みの速度で動作するようになってほしい いまは3割強の遅さ、違いすぎる 1つのPCに普通にプロバイダー経由のアクセス経路とOpenVPNの経路があって、Proxyを経由するとOpenVPNの経路でアクセスし、 デフォルトゲートを経由する時はプロバイダー経由する環境を作りたい。 そこで、デフォルトゲートをプロバイダーに向けて、squid.confにtcp_outgoing_address 192.168.1.1(OpenVPNのゲート)を 指定してみたんだけどダメだった。なんかアドバイスお願いします。ちなみにtcp_outgoing_address指定を削除するとデフォルトゲート経由ですが普通に機能します。 youtubeをキャッシュする方法を教えてください >>7 デフォルトGWとVPNの経路選択は 特定のサイト,IP,ドメインのみvpn経由で出たいってこと? それとも何で切り替え? PCですでにroutingしてある経路を使うってこと? >>7 それは Squid だけではなくて、その下のレイヤーでもいじってやらないとだめなのでは? ソースルーティングやNATが必要でしょう。 あるいはOpenIndianaのCrossbowやFreeBSDのVIMAGEのように プロセスごとにネットワーク回りの定義を変えられる機能使うとか。 10,11レスありがとう御座います。書き込んだ後色々試したんですが結局1台のPCで解決する事が出来ず、新しい仮想PCをこさえて そのマシンにsuqidとopenvpnを入れて、このマシンにproxy経由でアクセスするとvpn経由でアクセス出来る環境を構築する事が出来ました。 一応ご報告まで。 2TのHDDに過去1年分ぐらいのキャッシュを消さないで溜め込んでおく事はできないのでしょうか >>13 cache_dirとrefresh_patternを使えばできそうだけど 意味があるかどうかよく考えて試してみれば? 十分なメモリも必要になるけど。 規模や設定にもよるけど4Gぐらいあれば十分な気がする。 yumで入れたSquid 3.1のIPv6の無効にする方法が分からない 削除してから/configure --disable-ipv6でmakeしかやり方ないのかな。。。 国際会議のホームページの中身がそのまま入ったDVD(PDFがいっぱいある)があります これをプロキシとして使いたいのですが、何か方法ないのでしょうか 自作検索エンジンのテストに使いたいのです >>16 DVDの中身を鯖のHDDにmvして PDFが読める全文検索エンジンに読み込ませて apacheなりのWebサーバで検索&表示できれば良いんじゃ無いの で、squidはどこに関係するんだ? squidGurdとか使ってリダイレクトするとか。 直接キャッシュデータにする方法は 簡単にはないと思う 「IEとかFireFox、chromeのPROXY設定はaaa.bbb.ccc.ddd:xxxにすること」 とだけ言われてるユーザ側で、そのPROXYがsquidなのか判別する方法はありますか? HTTPリクエストヘッダとかHTTPレスポンスヘッダにsquidが情報を付加しない設定だとして。 squid設置して、sargでログ解析してるけど toro.2ch.netでなくて toro.2ch.net/test/read.cgi/unix/1329846086/22みたいに詳細に表示させることは出来ますか? squidでキャッシュサーバ構築したのですが、キャッシュがちゃんとヒットしているか 確認するため、wgetなどでどこかのjpgなどをダウンロードして、ログをみると 2回めからちゃんとヒットしています。 でもchromeやIEで同じことをすると、何度ダウンロードしても毎回ソースから ダウンロードしています(REFRESH_HIT)。 これはどうしようもないのでしょうかね。 >>23 REFRESH_HITの意味を確認して ソースから ダウンロードしているわけじゃない >>6 本当に速度違うな ネット接続もキャッシュ周りも2の方が速い Apache Traffic Server を試してみたが単純な forward proxy としても普通に動くかんじだ。 動作速度も遅くない。 いままで Squid でつくりためてきたあれやこれやの設定がうまく移植できるかまでは検討してない。 特定ドメインあての parent proxy 記述とかね。 IPv6 関係は対応しているとはドキュメントにあるもののなんかうまく動かなかった。 v6でlistenしないし外に接続しにいかない。 何年か前にPolipo(だっけ?)流行ったような気がするんだが、開発終わってしまったんかな。 logformat で改行文字って入れられないんですか \n%'>h 的なことがしたいんですけど cache_mem を 3GB にして動かしてるんですが、メモリキャッシュが2.8GBくらいの 大きさになったところで必ず、「FATAL: xmalloc: 〜」だったり「FATAL: xcalloc: 〜」 だったりで勝手にsquidが異常終了→再起動されちゃいます。 RAMは4GBあるし、落ちる直前のsquidプロセス全体でのメモリ使用量も3GB強程度だし、 他にはほとんど何も動かしてないからメモリ不足とかも考えにくいんですけど 原因わかる方いますか? >>29 大前提としてOSは64bitだよな? cache_mem はプロセスの最大サイズを規定する設定ではない、ってのがポイントか。 実際にはプロセスのサイズはその設定値を越えるから、 OSの種類によってはメモリ実装量4GBではきつかろう。ほかのプロセスも走ってるだろうし。 まあ2.8GB位で落っこちることが経験値としてわかっているなら cache_mem は2.5GBくらいにしておけばいいんじゃないの。 メモリ1GBの環境だとcache_mem 350MBくらいでちょうど使い切る感じ cache_memの2.5〜3倍がプロセスサイズだと思っている 画像を再圧縮して送信することってできないでしょうか? 素の squidじゃ出来ないけど、実装例はあるんじゃない? 例えば、3Gキャリアが Webブラウズ用に用意してる「アクセラレータ」とか 呼んでるヤツとか、再圧縮というかスマホ用に解像度落としたりの機能が あるけど、何つかってるんだろ? 画像の圧縮って、あんまり効果ないからなぁ Delegateとか親にすればできそうな気がする 元画像と同じクオリティを保つ必要がなければ、かなり圧縮できるよ。 特に、デジカメの高画質JPEGで撮った画像ファイルなど、無意味にサイズがでかいから。 昔、画像圧縮系のproxyがどこかの製品にあったな。 また、モデムorISDNな時代に細い回線向け圧縮機能だった気がする 最近は回線まわりが高速化したからあまりそういう話を聞かないね >>40 STABLEであっても速度的には、2.xより遅いんじゃね? COSS無しでいいから、オンメモリだけでの環境でサクサク動いて欲しい。 速度は、同じ位になったよ 前ほど違いはない。 だれか詳しく試して教えて。 GUIで設定しようとするとYastかWebminくらいしか選択肢ないの? YouTubeとかの動画サイト用プリセットとかあるとすげぇ楽なんだけど。 >>45 それぐらいの設定ならば、ググれば幾らでもあるでしょうに・・・ なんでGUI設定に拘るのか理解出来ない 10月1日から音楽や動画をキャッシュしたら違法です キャッシュ機能を無効にしましょう 学校のネットワークにsquidが入ってて2cnとかfacebook,twitterが見られない けどpinkbbsは見られるそうな どうしたら弾くのやめさせられるんだろう コミュ力で勝負 → ネットワーク管理者に、制限解除を交渉する。 技術力で勝負 → 自宅に squid建てて VPNとかで学校から接続する。 財力で勝負 → Wimaxとか、LTEテザリングとかで自力接続する。 スマホのバカ高い月額料金きらって、ガラケー + iPodTouch + 学内WiFi網 で、運用してる賢い学生うちには、そこそこ居るよ。 iPodTouch代わりに、中古白ROMアイフォン、アンドロも含め 学生にとって5千円は小銭じゃなかろ? 毎月5千円超をキャリアに払うか、趣味・遊びに使うかのトレードオフだわな。 学内ネットは学生の遊びのために用意されてんじゃねえぞボケ FacebookもTwitterも馬鹿曝しツールになりかねんから一律遮断も判るつーか 遮断されるだけの馬鹿やった先例があるんじゃねw 俺が管理している大学はそこまで厳しくないな FWでp2p系のソフトは遮断しているけど、SquidでURLフィルタとかはやってない 自己責任でお好きにどうぞって感じ わざわざsquidでフィルタリングするのは面倒なんじゃないか システム管理者に余計な仕事増やすくらいなら市販のコンテンツフィルタ使うなり UTMのフィルタリング機能使うだろうな 最近ならフィルタリングにクラウドサービスも使えるし >>56 いや、UTMは年間利用料(保守料名目)が掛かるから貧乏学校では導入しずらい。 仕方なく squidでやってる組織は少なからずある。 200台以上の鯖でsquidが稼働している・・・ そんな環境を俺は知っている その前に負荷分散装置があるけど、ある意味壮観だよ どっかの大学の鯖管だけど、squidのホスト名を「proxy.組織名.ac.jp」としておくと 掲示板側から勝手に書き込み拒否してくれるみたいで便利。 どこそこで「今日こうなご喰います」みたいな書き込みされると大迷惑だからなww 3のCOSSは一体いつまで待てば良いのか? 2.6から移行したいよ。 >>62 http://www.squid-cache.org/Doc/config/cache_dir/ >The rock store type: > >cache_dir rock Directory-Name Mbytes <max-size=bytes> [options] >The Rock Store type is a database-style storage. 以下略 >>63 ML見ているとバグがあるみたいだけど、大丈夫なんかな? COSSとのベンチも見たいところ firefoxでURLのところに文字を入れて検索したいたのですが squidを通すとエラー画面がでます。 検索できるようにできるのでしょうか? >>66 素早いお返事ありがとうございます。 proxy.pacでproxyを通さないようにすればいいんですね どうもありがとうございました。 >>64 大丈夫どころか人柱募集中だな。 http://wiki.squid-cache.org/Features/RockStore 大規模サイト向けにCOSSとdiskdのノウハウ使って高性能ハードウェアを活用する、ってあるな。 そのうち比較レポートとか上がってきそうではあるけど、実用レベルになるのはいつになるんかなぁ。 refresh_patternって変更してますか? Squidの更新パターンでインターネットアクセスを高速化する http://sourceforge.jp/magazine/08/11/26/019236/3 おすすめの設定があれば教えてください。 refresh_pattern -i \.(gif|jpe?g|ico|png)$ 10080 90% 40320 ignore-no-cache refresh_pattern -i \.(iso|avi|wav|mp3|mp4|mpe?g|swf|flv|x-flv)$ 10080 90% 40320 ignore-no-cache refresh_pattern . 0 90% 40320 ignore-no-cache こんな感じ。 画像関係と動画とかは最低7日はキャッシュさせてる >>70 ありがとうございます。 参考にさせていただきます。 >>71 とにかく帯域抑えてキャッシュだってんなら refresh_pattern -i /(index|top)\.html?$ 0 99% 43200 ignore-no-cache refresh_pattern . 1800 100% 43200 ignore-no-cache とかやってみたらいいかもよ。 あと2.7使ってんならcossつかって32KB以下をcossストレージにすると少し幸せかも。 うちはキャッシュはそんなにでかくしてないけど cache_dir coss e:/squid/var/cache/coss/1 512 block-size=512 max-size=32768 cache_dir coss e:/squid/var/cache/coss/2 512 block-size=512 max-size=32768 cache_dir aufs e:/squid/var/cache/aufs/1 1024 16 256 min-size=32768 cache_dir aufs e:/squid/var/cache/aufs/2 1024 16 256 min-size=32768 こんあ感じで計3GBにしてる。 キャッシュヒットは40%前後、帯域節約は35%くらい 以前は、帯域節約目的で運用してたけど、最近は帯域の節約より、 人気のコンテンツがサクッと出てくるところが、squidの醍醐味だね。 IEだと、cache=0に出来ないのでいまいちだけど、 FireFoxだと、cache=0 + squidの方が快適 COSSは性能が出てイイんだけど、squid再起動時に初期化に凄い時間かかるね。 あれは、改善する気はないんだろか? 型落ちで安く入手したSSDは丸ごとsquidのキャッシュ用だな チューニングに脳味噌使う必要がなくなるのは良いのか悪いのか分からんがw >>72-74 Raspberry piを買ったのでsquidを導入して niconicoが早くなり快適になりました。 いろいろ試してみたいとおもいます。 ありがとうございます。 どなたか教えて下さいませ。 任意の文字が入力されたら、一定の文字を挿入したいのです。 たとえば、http://aaa.com へのリクエストがあったら、 http://bbb.jp/count.cgi?http ://aaa.com のように書き換えてしまいたい。 Squidで可能でしょうか? また、可能ならどうやれば良いのでしょうか?? >>76 URL書き換えのスクリプトを用意して、呼び出し。 url_rewrite_programがポイント 家族が楽天とかネットショッピングで購入するポイントを取りこぼしたくないのですが、 squidをgwに設置することでそれを実現することができますか。 L4レベルの操作である squidでは無理 原理としては L7レベルで可能とは思うけど、実装が凄いことになりそう。 とりあえず、squidのログから購入した日時ぐらいは拾えそうだけど、 何を買ったか?何ポイントかは、コンテンツの中まで見ないとイカン。 Ubuntu Server12.10(x64)で最近upgradeしたらcachemgr.cgiがInternal Server Errorになっちゃうんだけど同じ人いない? apacheのログ見るとfree()で開放時に落ちてるみたいだけど COSSで、RAM-DISKにキャッシュ確保しようと思うんだが、 CentOS x64で、20Gbyte超の /dev/RAMDISKって作れるんだろうか? >>81 cache_mem増やせば良いんじゃないの? >>83 cache_mem < cache_dir じゃないと動作しない仕様(2.x) 3.xだと、cache_memのみで動くって話はどうなった? それと、コア余りなんで マルチスレッド化して欲しいね。 >>86 おっ、出来てるんだ! 3.xで運用してる人いる?まとも?? >>86 Rockがまともに動いてRHEL6に移行するタイミングで アップデートしようかな・・・ squid3でYoutubeのキャッシュできますか? Squid 3.1.x 系で、透過Proxyを設定するとできるのに Squid 3.2.x 系、Squid 3.3.x 系で同じ設定しても出来ない 誰か知ってたら教えて下さい。 ちなみに、以下の2つのパラメータを追加して iptablesでポート80を3129にリダイレクトしただけです。 http_port 3129 intercept visible_hostname proxy.localhost squid 3.2/3.3でFreeBSDでRock Store使えている方いますか? livedoorの認証でsquid経由だと 「OpenID認証に失敗しました。」 となるのですが、回避方法はありますでしょうか。 >>92 取り敢えずブラウザ変えても同じ現象が起きるのか試す。 >>92 Squidじゃないプロキシだとうまくいくの? >>94 squid以外のプロキシで、まともな奴って何かある? >>93 ,94 アドバイスありがとうございます。 ブラウザ、クライアントOSともに変更して確認しましたが、同じです。 squidを介さないネットワークからは問題ない(他のプロキシという意味ではなくプロキシ無し)ので squidが原因だと思います。 openidの仕様がよくわからないのですがURL遷移が要っぽいので、 そのあたりのタイミング設定があるのかと思うのですがよくわかりません。 よろしくお願いします。 クライアントから外部のLDAPサーバーへ接続を行いたいのですが、 どのように設定すれば良いのでしょう? Squidを通さずにルーター直結すると接続できたので、 あとはSquidの設定次第で可能になるのでは、と考えています。 ちなみに、Safe_Ports へ 389 を追加したのですが接続できませんでした。 環境は今は Squid 2.7 Stable8 forWin ですが、 Linux版にすることで可能になるのであれば、変更します。 アドバイス、よろしくお願いします。 >>97 squdでLDAPを使って認証なら出来るけど LDAPをproxy出来るのかな? 専用のLDAPサーバとクライアントなら可能だろうけど >>98 LDAPプロキシって、Webプロキシとは全然動きが違うから無理っしょ OpenLDAPとかでLDAPプロキシに出来ルンだっけ? eDirectory8.xだとすんなり動くけど。 OpenLDAPでLDAP Proxyが出来るんだから、そっちでやれば?と思って突っ込まなかったのに・・・ SquidはDelegateと違って、万能じゃ無いんだよ! read.cgi ver 07.5.1 2024/04/28 Walang Kapalit ★ | Donguri System Team 5ちゃんねる