X
【RSS】　　Yahoo! Pipes 2　　【XPath】
レス数が900を超えています。1000を超えると表示できなくなるよ。
0002名無しさん＠お腹いっぱい。
垢版 |
2012/09/11(火) 06:06:58.00
ｚ
0005名無しさん＠お腹いっぱい。
垢版 |
2012/09/12(水) 00:46:20.98
前スレの最後らへんの人に向けて
Fetch Pageで取得した日付からpubDateを作成したいなら、2012月09月12日みたいな日付をRegexでDate Builderが
理解出来る形式(09/12/2012など)にしてLoopに入れたDate Builderに渡し、item.y:publishedとして保存するといいよ
0006名無しさん＠お腹いっぱい。
垢版 |
2012/09/12(水) 06:23:15.51
Loop[Date Builder]はちょっと昔だと定番のやり方だけど、今はCreate RSSを使った方が便利
日付は日本時間に合わせておいたほうがいいね
形式はISO8601にあわせて2012-09-10T00:00:00+09:00みたいにしとく
0007名無しさん＠お腹いっぱい。
垢版 |
2012/09/12(水) 06:40:20.89
すこし前になにかの仕様変更で日付と認識される形式がすこし変わった事があったような
それ以来読んでくれればなんでもいいってのじゃなく、ISOフォーマットにするようにしてる
0008名無しさん＠お腹いっぱい。
垢版 |
2012/09/12(水) 06:44:39.02
生成されたフィードのソース見るとわかるけど、リンクが同じだとpubdateをいじってもguidが変わらず、更新されても反映されない事があるのよ
前スレに書いた、リンクにタイトルをくっつける方法は、それを避けるための苦肉の策
0012名無しさん＠お腹いっぱい。
垢版 |
2012/09/28(金) 00:25:25.25
http://seikatsusoken.jp/teiten/
↑のサイトをxpath fetch pageモジュールで切り出した時に、
下記で取得できるdd要素とdt要素を１組にするような方法はないでしょうか？
//div[@class="report_theme"]/dl

dl要素以下に１つずつ並んでいるdt要素とdd要素を
dt[0]
dd[0]
dt[1]
dd[1]
dt[2]
dd[2]

以下のようにdt要素とdd要素の組み合わせで１アイテムとして取得したいです。
item[0] dt[0] dd[0]
item[1] dt[1] dd[1]
item[2] dt[2] dd[2]

該当サイトの例で言えば、下記のようなアイテムとして抜き出したいのです。
2012年3月 「圏づくり」から幸せになろう。
2012年2月 「圏づくり」は、人や消費を活性化。
2012年1月 「圏づくり」へ
001412
垢版 |
2012/09/28(金) 11:52:09.31
>>13
ありがとうございます！
archivesページで取得することにします。
0015名無しさん＠お腹いっぱい。
垢版 |
2012/09/30(日) 21:10:26.28
なんとなく作ってみたけど、これdtいらなくないか？日付はリンクに入ってるし
まあYQLexecuteのサンプルってことで
http://pipes.yahoo.com/pipes/pipe.info?_id=3f0a323eb457b5369e2b45f578d60041
これが使ってるYQLtable http://pastebin.com/yTYnnCPp
YQLexecute便利だしみんなもっと使おうぜ

ちなみにexecuteのなかでpipeを走らせることができる
y.pipe("pipeID", {input1: "hoge", input2: "fuga"}).results
001612
垢版 |
2012/10/01(月) 01:31:25.85
>>15
なるほど、dtの内容はddのリンクに含まれる文字列を使えば良いんですね。
YQLも勉強になりました。ありがとうございました。
0020名無しさん＠お腹いっぱい。
垢版 |
2012/10/04(木) 03:57:57.01
RSSはなくなるけどjsonはこれまでどうり使えるよ
そのままRSS登録してる人が困るのはわかるけど、
pipesスレの人が困る理由がわからない
pipesはそれをRSSにして吐き出すためのようなサービスじゃん
0021名無しさん＠お腹いっぱい。
垢版 |
2012/10/04(木) 12:14:33.85
Pipesは頻繁に更新してくれないから、
ツイート頻度の高いアカウント相手だとRSS直に比べて取りもらしが増えることはありそう
0022名無しさん＠お腹いっぱい。
垢版 |
2012/10/05(金) 09:40:54.02
で、twitterのjsonをRSSに変換するpipesを教えて。
0024名無しさん＠お腹いっぱい。
垢版 |
2012/10/12(金) 10:32:59.95
優しい人がtwitterのユーザー名を入力すれば、jsonをRSSに変換してくれるPipesを作ってくれた。
ありがたい。
0026名無しさん＠お腹いっぱい。
垢版 |
2012/10/12(金) 21:40:11.51
なんでこのタイミングかと思ったら、昔のTwitter RSSが使えなくなったのか
URLにapiが入ってない twitter.com/statuses/user_timeline/____.rss こんなやつ
いまはこれ↓で取得するのが標準になってる
api.twitter.com/1/statuses/user_timeline.json?screen_name=____
jsonのとこをrssにしたらこれまでと同じ形式だけど、json以外のrss,xml,atomは来年3月廃止
公式RTを含めるのは include_rts=true を付けるといい

>>21
標準では最新20ツイートだけど、countクエリで最新200ツイートまではいけるからよっぽど中毒の人じゃなければ問題ないかと
他のクエリで頑張れば最高で3200ツイートまでいけるみたい
pipes通す時点で速報性はなくなるけども
https://dev.twitter.com/docs/api/1/get/statuses/user_timeline
0027名無しさん＠お腹いっぱい。
垢版 |
2012/10/13(土) 08:47:54.65
Pipes通すと遅いわ。
twitter jsonをPuSHでRSSに変換してくれるWebサービス誰か作ってくれないかな。
広告フィードありで構わないから。
0034名無しさん＠お腹いっぱい。
垢版 |
2012/10/19(金) 21:21:57.08
pipesでTwitterAPIを呼び出す人が増えると制限に引っ掛かって
取得できなくなることが増えるんじゃないの？
以前からのURLが使えなくなって以降しばらくスムーズだったような
0036名無しさん＠お腹いっぱい。
垢版 |
2012/10/20(土) 18:57:58.65
設定欄があるpipeはcloneしないと値を設定できないと思ってる人が案外多いのか
clone数が増えやすいけど、publishされてないと検索しても引っかからないからな
0038名無しさん＠お腹いっぱい。
垢版 |
2012/10/21(日) 20:10:34.97
サブパイプから出てきたフィールドの扱い方がよくわかりません。

基本的に
1. あらかじめUser inputsのあるパイプを作る(=サブパイプ)
2. Loopを置いて、その中にさっきのサブパイプを入れる
3. inputやassign先を指定する
だと思うんですが、

これだと例えばitem.pubDateに加工するサブパイプを作った場合、
3.でサブパイプに対してitem.pubDateをinputして、
出てきたものを再びitem.pubDateにassignしても、
item.pubDate.pubDateに入ってしまいます。

改めてitem.pubDateにRenameすればいいだけなんですが、
この一手間が必ず発生するのが仕様なのか、
それとも私が何か基本的な使い方を知らないだけなのか…
0039名無しさん＠お腹いっぱい。
垢版 |
2012/10/21(日) 23:50:07.08
サブパイプ(というかパイプ)はテキストだけのOutputはできなくて、
かならず item にしないといけないわけ。
だからサブパイプの出力が item.sub : hoge であるなら、
それをメインパイプでループさせて item.main に assign すると
item.main.sub : hoge になる。まあ仕様だね。
0040名無しさん＠お腹いっぱい。
垢版 |
2012/10/21(日) 23:56:42.54
>>39
ありがとうございます。
そういうものだ、ってことですね。

とりあえず自分の間違いでないことがわかったので、
これからは安心して作れます。ありがとうございました。
0041sage
垢版 |
2012/10/22(月) 13:22:52.86
何気にdapperが復活していた。
htppsをスクレイピングするのに助かる。
0043名無しさん＠お腹いっぱい。
垢版 |
2012/10/23(火) 08:01:03.98
Clone作って全く同じSourceなのに、どうして俺のCloneはエラーが出るんですか
0045名無しさん＠お腹いっぱい。
垢版 |
2012/10/25(木) 13:45:39.49
1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。
0047名無しさん＠お腹いっぱい。
垢版 |
2012/10/25(木) 23:33:38.36
フォローするまでもないorフォローしたくない
けど読みたい。そんな時に使う。鍵かかってなければだけど。
0048名無しさん＠お腹いっぱい。
垢版 |
2012/10/26(金) 02:52:35.84
非公開のリストに登録しても同じ事出来るよね。
あえて、RSSで購読ってのは、慣れてるからとか感覚的なモノ?

Pipes通せば、フィルタも掛けるの楽か。
0051名無しさん＠お腹いっぱい。
垢版 |
2012/10/26(金) 05:33:09.32
昔リストで読もうとして、何かがダメでRSSにしたんだよな
なんだったか忘れてたけど思い出した
フォローとかリストだとリプライが見えないんだ
リプライ相手もフォローしとかないと
0052名無しさん＠お腹いっぱい。
垢版 |
2012/10/26(金) 09:52:23.14
1.ニュース、ブログ、twitter、Facebookページ、Google+、Podcast、Youtube、UST、ニコ動、tumbler、Flickr、Pinterest、500px、…フィードリーダーで一元管理できるのに、いちいちクライアントを切り替えるのが手間だから。
2.見てるだけ、つながりは不要。
3.Googleリーダーにぶちこめば過去記事の検索が可能。

0055名無しさん＠お腹いっぱい。
垢版 |
2012/11/04(日) 11:41:14.57
1つ目のアイテムのtitleと2つ目のアイテムのtitleを結合して
1つのアイテムのtitleにまとめることって出来ない？
0057名無しさん＠お腹いっぱい。
垢版 |
2012/11/06(火) 15:01:22.51
いままで、まぐまぐの最新号のみ公開の記事のRSSはdlvr.it経由でGoogleリーダーに登録していました。
今月からdlvr.itの無料アカウントが５フィードまで登録できなくなったので、Yahoo! Pipesに移行したいと思います。
まぐまぐIDを入力するとRSSフィードを生成する方法を教えて下さい。
0059名無しさん＠お腹いっぱい。
垢版 |
2012/11/06(火) 22:49:30.10
Yahoo!リアルタイム検索の「注目のキーワード」
ttp://search.yahoo.co.jp/realtime
をXPath Fetch Pageで取得しようとしているのですが、取得ができません。

//p[@class="que_2"]/a
や
//div[@class="itm"]/p[@class="que_2"]/a
などで試しているのですが、どのように指定すれば取得できますでしょうか？
0064名無しさん＠お腹いっぱい。
垢版 |
2012/11/14(水) 11:27:14.49
>>60
Pipesからのアクセスは出来ないようになっているから取得出来なかったんですね
ありがとうございました

>>62
探してみたんですがそれらしいのが見つからないんですよね

>>63
取得できるキーワードは違うようだけど旬なワードが手に入るみたいです
助かりました、ありがとうございました
0065名無しさん＠お腹いっぱい。
垢版 |
2012/11/14(水) 11:45:47.47
PipesでTwitterの指定キーワードを含むツイート検索結果のRSSを取得しているのですが、
2013年3月のAPI規約変更以降は今まで認証が必要なかったツイート検索結果の取得もOAuth認証が必要となるのでしょうか？
PipesでTwitterのOAuth認証が可能なのかご存知の方お教えいただければ幸いです。
0066名無しさん＠お腹いっぱい。
垢版 |
2012/11/15(木) 10:09:02.79
Translateがいつのまにか消えてるけど、もうpipes使って翻訳する事出来ないんだろうか
0068名無しさん＠お腹いっぱい。
垢版 |
2012/11/16(金) 11:55:44.07
XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
description
0
1
2
3
4
って分割されて出力される。
それを Loop にセットした String Builder で
item.description.0
item.description.1
item.description.2
item.description.3
item.description.4
と記述して
Loopの吐き出しを item.description にすると、一つの description になるんだけど、
String Builder に一発で、例えば item.description.* みたいに記述出来ないのかな？
0071名無しさん＠お腹いっぱい。
垢版 |
2012/11/23(金) 02:31:33.08
クックパッドの話題のレシピ（ ttp://cookpad.com/recipe/hot ）のRSS取得方法分かりませんか？
ソース見ると料理部分をjsで表示してるみたいで取得できませんでした。
0072名無しさん＠お腹いっぱい。
垢版 |
2012/11/23(金) 12:30:58.47
>>71
ttp://cookpad.com/recipe/update_hot_recipe
ただしリクエストヘッダに特定のものが入ってないと見れない
一応YQLで↓とやれば取得できるのを確認したけど、その後面倒になったから興味あれば続きどうぞ
y.rest('http://cookpad.com/recipe/update_hot_recipe').header("X-Requested-With","XMLHttpRequest").get().response;
007571
垢版 |
2012/11/24(土) 22:26:18.58
>>74
71で質問した者です。凄いです！ありがとうございます！ここまで完全に作ってもらえるとは思いもしませんでした。
YQL使ったことがないのでどうなってるのか全然わかりませんがcloneさせて頂き自分なりに仕組みを勉強しようかと思います。

趣味でPipes触ってるんですがやっぱりYQLとかSQL覚えないとこの先キツそうですね。。
0079名無しさん＠お腹いっぱい。
垢版 |
2013/02/01(金) 15:33:25.08
あと1ヶ月ぐらいだっけ？twitterのRSS配信終了

Pipes経由に移行したいけどたくさん登録してあるからいちいちめんどいわ
0080名無しさん＠お腹いっぱい。
垢版 |
2013/02/01(金) 18:53:13.65
>>74
YQLドキュメントと格闘する事2時間、やっと大体分かったわ
store://がなんの事やら分からなかったけどMyYQLで作った自作tableか
これは何だか面白そうね
0082名無しさん＠お腹いっぱい。
垢版 |
2013/02/01(金) 20:50:18.99
1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。
0083名無しさん＠お腹いっぱい。
垢版 |
2013/02/01(金) 21:05:00.68
>>81
use "store://dXeXD216hAWocoqmWFAeGH" as cookpad; select * from cookpad
この部分の話ね
url「store://dXeXD216hAWocoqmWFAeGH」のユーザー定義tableをcookpadという名前で使いますという宣言文
select以下で具体的にデータを抜き出してる

>>82
その前にこのスレが阿鼻叫喚だろ
0085名無しさん＠お腹いっぱい。
垢版 |
2013/02/01(金) 22:03:12.33
>>68
> XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと

このitem.descriptionで吐き出すってどうやるんですか？
自分でやるとitemsでしか吐き出してくれない
0091名無しさん＠お腹いっぱい。
垢版 |
2013/02/02(土) 15:41:52.70
俺はついったーやってないから分からないけど、URLにjsonと書いてあるからにはjsonなんじゃないの
fetch dataにかけてみれば
0092名無しさん＠お腹いっぱい。
垢版 |
2013/02/02(土) 16:09:15.69
pipes作りながらちょくちょく動作確認してると
badly formed responseエラーが出るんですけど、
これって、fetch対象のサーバーからアクセスしすぎという理由で
蹴られているんでしょうか？
009392
垢版 |
2013/02/02(土) 16:23:53.09
あ、すみません
単にxpathでtext()を使ったのが原因だったみたいです
009796
垢版 |
2013/02/06(水) 20:06:32.65
あ、pipes歴数日なので
すごく珍妙なことやってると思います。
横からﾊﾞﾘﾊﾞﾘ駄目出ししてもらえると嬉しい
009996
垢版 |
2013/02/07(木) 02:51:05.41
あー・・・
その書き方の方が全然いいですね
勉強になります
010096
垢版 |
2013/02/07(木) 14:01:11.87
htmlからfetchしてrssを作ってpubDateを付けるときに、
今はdate builderでtoday指定しているのですが、
元になるhtmlのレスポンスヘッダから
dateを取得する方法って無いでしょうか？
pipes単体では無理っぽいのでYQLでもなんでもいいのですが
0104名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 14:40:04.92
RSSの全文化ってどうしてますか？
xpath→regexとかで整えて吐き出ししてるけど、pocketとかの本文取得サービスにlinkを渡して戻してもらう様なpipeを構築する事って出来ないのかな？
0106名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 20:27:21.41
>>105
これとかfullrss.netとかは使ってるんだけど、本文取得はpocketが一番いいのよね。数ページにも対応してるし。
pipesのxpathはどうも適用できない構文がある感じだし、pocketのモバイライザみたいのが無いかなーって思ったんです。
0108名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 21:15:58.16
このスレで言うのも何だけどpipesは最後の手段よ
グリモンとかローカルscriptで何とかなるのならそっちが良い
0109名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 22:17:36.38
>>106
どういう動きを想定してるんだろう

RSS取得
↓
未読文章をPOCKETに登録
↓
POCKETの個別ページから全文を取得
↓
元のRSSに差し込む
↓
出力

こんな感じ？すげえ重そうw
0110名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 23:28:17.68
>>109
pocketは登録メアドからpocketサーバにリンクアドレスを送ればページの体裁を整えて登録pocketに返してくれる仕組み。
そのページを整える機構にpipesからリンクを送ってpipesに返してくれたらpipesでの処理はシンプルになって良いかなって思って。
fullrss.netは便利なんだけど、wedataのデータベースに寄る処理が行われるが反映が遅いし、失敗したxpathを登録しちゃうと他の人に迷惑かけてしまう場合も有る。
0111名無しさん＠お腹いっぱい。
垢版 |
2013/02/09(土) 23:49:13.23
あ、そうなんだ
POCKETのAPI使ってOAuth認証して・・・って考えてるのかと思ったわ

記事をPOCKETに登録さえできればRSSに本文は出力されなくていいの？
0112名無しさん＠お腹いっぱい。
垢版 |
2013/02/10(日) 07:20:42.81
>>111
RSS本文に埋め込みできるのがベストです。
pocketモバイライザ(?)からpipesにリターン出来たら色々と加工もできて楽しそう。
0113名無しさん＠お腹いっぱい。
垢版 |
2013/02/14(木) 02:57:17.01
xpath fetch pageで取得したitemに画像が含まれているのでfeedに表示させたいんですがどうやったら出来ますか？
0114名無しさん＠お腹いっぱい。
垢版 |
2013/02/14(木) 06:09:33.79
>>113
item.img.srcに画像のアドレスが入ってるとしたら
loopのなかにstring builder入れて
<img src="
item.img.src
">
をitem.descriptionに書き出す
0116113
垢版 |
2013/02/14(木) 16:54:22.62
間違えたｗ

>>114
出来ました！ありがとうございます！
0120名無しさん＠お腹いっぱい。
垢版 |
2013/02/16(土) 18:53:05.06
みんなそうなのか
XPATH Fetch PageでもYQLのhtmlみたいに文字コードが選択できればいいんだけど
0123名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 17:59:38.25
[ ってどうやったら消せるんでしょうか？色々試したのですが、自分では解決出来ないので教えてください。
0124名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 18:21:12.85
yqlでrssの取得はできるんだけど、そのrssのリンク先からxpathで取得まで出来るのかな？
rss本文取得は fetchfeed → xparhfetchpage を使うけど、yqlなら一発なのかなって思ったんです。
0125名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 19:17:56.43
答えてあげたいがyqlのドキュメントってすごくふんわりしてて、
大体わかるだろ？空気読んで使えな？って感じで
俺にはさっぱり理解できない
詳しい人が来るの待ってくれ
0128名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 20:40:56.62
>>127
regexの[の前に\(バックスラッシュ)を入れるんだよ。
正規表現の記号に[があるから\[って記述する必要があるんだろう。

>>125
わしもyqlは何か凄そうなのまでは理解できるんだけどｗ。
詳しい人待つか~
0129名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 20:44:36.87
>>126
補足　regexに　\[.*?\]　で[タイトル]とかの[○○○○]はマッチできるよ。

連投すまん
0130名無しさん＠お腹いっぱい。
垢版 |
2013/02/17(日) 20:46:32.58
すまん >>129 は >>127 への返信でした。
0132名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 04:23:35.96
ちょっと文字化け調べてみたけど、文字コードがshift-jisで、レスポンスヘッダではなくmetaタグで文字コードを伝えている場合に起こるみたいだね
（余談だが厳密に言うとやってはいけない）

割と長いこと放置されてるし、こちらからyahooに働きかけないと直してくれないのかなあ
0133名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 04:39:48.19
blogみたいな動的なサイトならほとんどヘッダで文字コードを吐いていると思うので
古き良き静的htmlファイルを読み込んだ時に起こるんじゃないかと思う
0134名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 04:47:28.91
もう少し調べてみた
レスポンスヘッダで文字コード指定をせずに、
metaタグでやってる場合には
強制的にutf-8で解釈されるっぽい
だからeucjpやsjisだとアウト
0135名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 08:14:12.73
あら、metaタグのみでshift-jisだけど文字化けしないサイト見つけてしまった
真面目に自分でサーバ立てて調べないと意味無さそう
0136名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 09:46:22.85
それはいったんバイナリで読み込んでShift-JIS指定して変換とかしないと無理
YQLでテーブル自作すればいけるかもしれんけど
0137名無しさん＠お腹いっぱい。
垢版 |
2013/02/18(月) 15:44:56.28
androidのGoogleカレントってRSSリーダにPipesで作ったRSSを流してる。
RSSをGoogleリーダ経由で登録のした時は読み込みして表示されるんだけど、
その後、一切更新されないんだよ。
同じRSSのGoogleリーダは更新されてる。

何か、RSSに必要な何かが足りないんだろうか？

カレントとPipesを連携してる人が居れば、ご意見お願いします。
0142名無しさん＠お腹いっぱい。
垢版 |
2013/02/21(木) 01:41:27.03
>>139
とりあえずそのRSSをkwsk!!!
0146名無しさん＠お腹いっぱい。
垢版 |
2013/02/21(木) 19:42:25.11
上に晒したforumの奴は、どうも外部サイト経由して解決してるみたいだな
回答のpipeが動かないんで検証のしようがないけど
0151名無しさん＠お腹いっぱい。
垢版 |
2013/02/22(金) 12:34:56.56
>>150
それでpipesがchannelを取得はできるんだろうけど、
pipesが吐き出すRSSのchannelを設定したいんです。
要はpipesから吐き出したRSSですって情報の変更や、
DateのGMTを0:00から+9:00に変更って事です。
0153名無しさん＠お腹いっぱい。
垢版 |
2013/02/22(金) 22:32:10.72
yqlでRSSをからtitle,linkを取得。
loopモジュールにyqlを突っ込んでlinkからxpathで全文取得したい。
loopモジュールに突っ込んだyqlには何て記述すれば良いんでしょうか？
0156名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 11:44:44.84
>>155

YQLでRSSからtitle,linkを取得→loopにYQLを突っ込んで取得したlinkからYQLでcharsetを指定してxpathで抜き出ししたいって事。
xpath fetch pageだと文字化けしてる場合にcharsetの指定ができないから文字化けしてる場合は
YQLを使えないかな？って意味です。

select * from html where url=item.link and xpath="//div[@class="blogbody"]"

てな感じでloopから取得されるitem.linkがしめすurlをYQLに指定させられないかな？って事です。

文字化けしないならxpath fetch pageで良いんです。
0157名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 11:53:51.39
補足

[YQL RSS]→[loop[YQL item.linkからxpath]]→[pipeout]って流れです。
0159名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 13:46:24.85
>>158
YQLの〜 url=" " の部分には何て入れれば良いのでしょうか？
pipesモジュールから発行されたlinkをYQL内に記述出来る方法があればな〜。
0161名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 14:14:54.43
[loop(string builder)]をかませても各リンクurlがitem的に吐き出しされますよね。
その吐き出されたitem的な内容をYQL内に記述する必要があると思うのですが、
その記述が判らないのです。
url="http:// "の記述の部分にそのitem的ものを記述する必要があると思うんですが、
そこが違うのでしょうか？
0162名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 14:19:47.51
要は取得したRSSのlinkからxpath fetch pageで全文取得するpipeを作成してるのですが、
xpath fetch page では文字が化けるので[loop(xpath fetch page)]の代替として
charsetの指定ができる[loop(YQL)]を採用しようと考えたのですが、[loop(YQL)]内のYQLの
記述の中でどうやってurl=""に当たる部分の記述をすれば良いのか？出来るのかな？
って事なんです。
0163名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 14:26:32.30
>>158

>>160

すみません理解しました！string builderで記述一式を作成し、url=" "の部分だけitem.linkを設定しておけば良いのですね。


長々と申し訳ありません
0164名無しさん＠お腹いっぱい。
垢版 |
2013/02/23(土) 21:14:05.80
結果をお知らせします。
[loop(string builder)]→[loop(YQL)]でYQLによるitem.linkからのxpathによる内容取得は可能ですが、YQLにはxpath fetch pageのemit items as stringのオプションが無いのでRSSの全文化には適しませんね。
文字化けはyahooの対応を待つことにします。
0168名無しさん＠お腹いっぱい。
垢版 |
2013/02/24(日) 15:54:09.19
質問です。
Yahoo!ニュース内の「スポーツ報知のスポーツカテ内のニュース」、
できれば「スポーツ報知のサッカー関連ニュース」だけをRSS出力させる事は可能ですか？
feed43を使って、「スポーツ報知のスポーツカテ内のニュース」のRSS化はできたのですが、
２ページ目以降は漏れる事が分かったので、可能ならば、Pipesにチャレンジしてみようかと思いまして。
技術的には、feed43がどうにか使えた程度です。
0169名無しさん＠お腹いっぱい。
垢版 |
2013/02/24(日) 17:40:55.98
アドレスくらい書けよ・・・
というのが正直な気持ちです
俺らが検索して探すのかよ

それはともかくyahooの方見てきたけどちょっとサッカーであることを判定するの面倒臭そう
スポーツ報知本家のほうがサッカーでカテゴリー作ってるから楽じゃないかと思うけど
yahooニュースじゃないといけない理由あるの？
0170168
垢版 |
2013/02/24(日) 20:38:36.65
>>169
レスありがとうございます。詳しく書きます。
FeedlyでRSS管理しています。
Yahoo!ニュースでニュース提供社ごとのRSSはあるのですが、スポーツ報知はありません。
スポーツ報知に拘るなと言われればそれまでですが、「スポーツ報知」の検索結果 - Yahoo!ニュース
http://news.search.yahoo.co.jp/search?p=%E3%82%B9%E3%83%9D%E3%83%BC%E3%83%84%E5%A0%B1%E7%9F%A5&;vaop=a&to=2&st=&c_=c_spo
を、
http://feed43.com/
でRSS出力はできたのですが、Feedlyで選択した時点の１ページ目しか無理のようです。
Yahoo!ニュースがいいのは、コメントも見たいからです。
ですから、Yahoo!ニュースに行って読むので、全文配信でなくてもいいです。
RSS配信していない他のニュース提供社にも流用できるでしょうし。
スポーツ報知のサッカー関連ニュースであることは、検索では絞り込めませんでした。
個別記事のアドレスの末尾が-sph-soccであることくらいでしょうか。
可能だとしても、feed43とはレベルが違うならあきらめます。
0171名無しさん＠お腹いっぱい。
垢版 |
2013/02/24(日) 22:03:12.66
あ、末尾で分かるのか、それは気づかなかったわ
言い訳だがこの辺は自分の読みたいRSSのために必死になってる人しか分からんな

それなら多分できそうに思う　ちょっと待ってて
0173名無しさん＠お腹いっぱい。
垢版 |
2013/02/24(日) 22:33:08.96
一応作りはしたけど、yahoo pipesは更新が遅く、
feedly(が使っているgoogle reader)は使用しているユーザー数が少ないフィードは
あまり頻繁に更新を確認しないという二重苦があるので
速報性が求められるニュースにはあまり向いていない、というのが実情だったりする
0174168,170
垢版 |
2013/02/25(月) 00:48:20.61
>>172-173
二重苦、ニュースにはあまり向いていない、ですか。
ソース見させていただきましたが、まったく理解できません。知識ゼロからやるには、あまりメリットないんですかね。
せっかく書いていただいたので、いろいろと調べながらいじってみようと思います。諦めるかもしれませんが。
わざわざありがとうございました。
0175172
垢版 |
2013/02/25(月) 01:02:46.35
使わなかったからって機嫌損ねたりしないのでそこは心配しなくていいです
自分の目的に一番合致したツールを見つけて、使いこなしてください

pipesでhtmlを解析してrssを作りたい場合はXPathの知識が実質必要になると思います
XPathは、ファイルパスに似せたノードなどを特定するための表記法です
ファイルパスに似ているだけあって身構えなければそれほど難しくはないはずですが、
これができないとあまり凝ったことはできないので、
自分の手には余ると思ったら他のツールを使ったほうがいいかもしれません
0176172
垢版 |
2013/02/25(月) 01:19:39.96
例えば１日１回、朝にRSSを確認するような利用スタイルだったとして、
最悪１日くらいは見るのが遅れてもいいけど
自分が指定した情報全てに目を通したい・・・という利用法だと
yahoo pipesはお勧めです
0179名無しさん＠お腹いっぱい。
垢版 |
2013/02/25(月) 20:43:47.04
fetch feed
http://rss.dailynews.yahoo.co.jp/fc/sports/rss.xml
↓
fetch page
<!--SOURCE--> から <!--SOURCE-->
item.descriptionで吐き出す。
↓
filter で [permit] items 〜[any] of following
item.description [contains] スポーツ報知
↓
pipe output

でどうよ？

fetch page の範囲をもうちょい広げてもいい。

fetch pageは非推奨になってるから YQL と xpath fetch page が良いと思ったんだが、うまく動かんな。
0182168
垢版 |
2013/02/26(火) 20:53:33.83
みなさん、いろいろとアドバイスありがとうございます。
ぼちぼち理解できてきたのですが、>>172さんの、Extract using Xpathで-sph-soccまでズバッと指定するのは難しかったので、
Xpath Fetch Page : http://news.search.yahoo.co.jp/search?p=%E3%82%B9%E3%83%9D%E3%83%BC%E3%83%84%E5%A0%B1%E7%9F%A5&;vaop=a&to=2&st=&c_=c_spo
Extract using Xpath : //div[@class="l cf"]/h2/a
↓
Rename : item.href Rename link, item.content Rename title
↓
Filter : Permit item.link Contains -socc
↓
Pipe Output
でサッカー記事だけ抜き出せました。
で、また質問で申し訳ないですが、大前提の「２ページ目以降は漏れる事を防ぐ」には、２ページ目以降も指定して、重複削除という方法でしょうか。
まさに>>172ですね。
0184名無しさん＠お腹いっぱい。
垢版 |
2013/02/26(火) 21:08:20.07
>>182
2ページ以降の検索urlには末尾に11とか21とかつくから、そのurlに対しても同じ処理をすれば良いんじゃない？
チカラ技になるけど。
0186名無しさん＠お腹いっぱい。
垢版 |
2013/02/26(火) 23:41:57.68
今見直してみたけど、この　スポーツ報知　で検索かける方法あまりいけてないかも
ちょっとまってて
0188名無しさん＠お腹いっぱい。
垢版 |
2013/02/27(水) 00:32:53.41
http://pipes.yahoo.com/pipes/pipe.edit?_id=99e9e44a67d30237aa45d443d10030f9
はい。
一度自力で完成させているということなので、今回は最後までやって見ました。

>>172は自分が原因のミスがあって、ヒットする記事数が少なくなっていました。
すみません。
それを修正してあります。

後は分かりやすいように、Xpathとfilter operatorの二段階で目的のノードを探しています。

pubDateには手を付けてないので、改造したいのならここをやってみるといいかもしれません
0189名無しさん＠お腹いっぱい。
垢版 |
2013/02/27(水) 01:48:26.49
>>184
すばやい解答ありがとうございます。うたた寝してました、すいません。
>>185-188
String Builderの所が難しいなと思い、二つ指定してある理由を考えてませんでした。
thumbnail出力やら、Create RSSモジュールやら、また新しいのが出てきましたw
また参考にさせていただきます。ありがとうございました。
0190名無しさん＠お腹いっぱい。
垢版 |
2013/02/27(水) 02:52:40.33
thumbnailは簡単な法則でもう少し大きな画像を用意できるので
http://amd.c.yimg.jp/im_siggihfJCqJjueFplJvIzKX8lg---x60-y60-q90/amd/20130225-00000206-sph-000-1-thumb.jpg
↓
http://amd.c.yimg.jp/amd/20130225-00000206-sph-000-1-thumb.jpg

この変換を正規表現で行って、media.contentに指定したり、
item.descriptionの中に混ぜてやると良いです
（ややこしくなりすぎると参考にするのに向かないので>>188には組み込んでいません）
feedlyは画像があるかないかで見やすさがだいぶ変わってくるので余裕があったらがんばってみてください
0191名無しさん＠お腹いっぱい。
垢版 |
2013/03/02(土) 10:05:17.00
前からなんだけどRSSのValid判定が厳しすぎる。
一文字目にスペースが入ってたり、一行目が空行だったりすると
すぐRSSじゃないよってエラーだして取得してくれない。
0198名無しさん＠お腹いっぱい。
垢版 |
2013/03/06(水) 18:30:45.63
ttp://tv2ch.com/jlab-10s/s/10s1057148.jpg
0199名無しさん＠お腹いっぱい。
垢版 |
2013/03/06(水) 19:12:43.05
外部のサービスを使わずに、YQLだけでcharset指定できるhtmlstringを定義することはできるんだろうか。
>>196 はどうやってるんだろう…
0201名無しさん＠お腹いっぱい。
垢版 |
2013/03/06(水) 21:05:44.39
よう判らんけど、直接YQLモジュールにクエリを入れてるのと同じじゃないの？
YQLモジュールにcharsetを指定したhtmlstringの取得が不可なら、 >>196 でも
不可じゃないのか？

use "store://vmfZbKuU2I4M8nEUv3FOhl" ってのは何かの外部サービスなんかな？
ならYQLモジュールにそう記述すれば良いんでないの？
0203名無しさん＠お腹いっぱい。
垢版 |
2013/03/06(水) 22:01:40.50
>>202
スマン。
意味は理解できるが、正直しんどいので実質無理。
0205名無しさん＠お腹いっぱい。
垢版 |
2013/03/12(火) 03:41:02.24
　　　　　Ｏ
　　　　　　o　　　　　　　　　　　　　　　　　　　 　 　 と
　　　　　　　。 ,. -ー冖'⌒'ー-、 　　　　　　　　　 　思
　　　　　　　,ノ　　　　　　　　 ＼ 　　　　　　　　　　 う
　　　　　 　/　,r‐へへく⌒'¬、　 ヽ 　　　　　　　　 キ
　　　　　　 {ノ へ.._、 ,,／~`　　〉 　｝　　　　,r=-、　 モ
　　　　 　／プ￣`y'¨Y´￣ヽ―}j=く　　　　/,ミ=/ 　オ
　　　　ノ　/レ'>-〈＿ュ`ー‐'　　リ,イ} 　　　〃　/　 タ
　　　/　_勺 イ;；∵r;==、、∴'∵;　シ　 　 〃　/ 　 で
　　,/　└' ノ ＼ 　 こ¨｀　　　 ノ{ー--、〃__/ 　　　あ
　 人＿_/ー┬ 个-、＿_,,..　‐'´ 〃`ァーァー＼　　っ
. /　　　|／　|::::::|、　　　　　　　〃　/:::::/　　　 ヽ　 た
/　　　｜ 　 |::::::|＼、_________／' 　 /:::::/〃
0207名無しさん＠お腹いっぱい。
垢版 |
2013/03/12(火) 12:35:15.44
　　　　　Ｏ
　　　　　　o　　　　　　　　　　　　　　　　　　　 　 　 と
　　　　　　　。 ,. -ー冖'⌒'ー-、 　　　　　　　　　 　思
　　　　　　　,ノ　　　　　　　　 ＼ 　　　　　　　　　　 う
　　　　　 　/　,r‐へへく⌒'¬、　 ヽ 　　　　　　　　 キ
　　　　　　 {ノ へ.._、 ,,／~`　　〉 　｝　　　　,r=-、　 モ
　　　　 　／プ￣`y'¨Y´￣ヽ―}j=く　　　　/,ミ=/ 　オ
　　　　ノ　/レ'>-〈＿ュ`ー‐'　　リ,イ} 　　　〃　/　 タ
　　　/　_勺 イ;；∵r;==、、∴'∵;　シ　 　 〃　/ 　 で
　　,/　└' ノ ＼ 　 こ¨｀　　　 ノ{ー--、〃__/ 　　　あ
　 人＿_/ー┬ 个-、＿_,,..　‐'´ 〃`ァーァー＼　　っ
. /　　　|／　|::::::|、　　　　　　　〃　/:::::/　　　 ヽ　 た
/　　　｜ 　 |::::::|＼、_________／' 　 /:::::/〃
0214名無しさん＠お腹いっぱい。
垢版 |
2013/03/14(木) 11:41:51.47
API完全互換なら楽で良いな、script使って未読数取得とかしてたから
auth回りを変えれば良いだけとかなったらいいな
0216名無しさん＠お腹いっぱい。
垢版 |
2013/03/21(木) 14:29:42.47
もう文字化け直す気無さそうだなw

文字コード決め打ちするのって頭いいとは言い難いけど
もう全部yqlに置き換えるわ
0218名無しさん＠お腹いっぱい。
垢版 |
2013/04/02(火) 12:23:04.18
TwitterAPIを叩く方法を知らんけど、OAuth認証とかじゃなければ変換だけならPipesで出来るでしょたぶん
Fetch DataでJson読めるんだから
0219名無しさん＠お腹いっぱい。
垢版 |
2013/04/02(火) 12:27:06.07
>>218

だからさぁ

Twitter has completely switched from XML to JSON format and the other big change is that all requests to the Twitter API must now be authenticated with OAuth.
0220名無しさん＠お腹いっぱい。
垢版 |
2013/04/02(火) 12:32:39.21
OAuth認証か、じゃあYQLでopen data table自作だな、たぶん出来る
Twitterなんか使ってないから俺はしないけど
0222名無しさん＠お腹いっぱい。
垢版 |
2013/04/02(火) 12:45:00.54
方向性は示しただろ、誰かが何とかしてくれるのを口開けて待ってるだけか
まあ心配すんな、Twitterユーザーは世界中にいるんだからご要望の品を外人が作るさ
0225名無しさん＠お腹いっぱい。
垢版 |
2013/04/04(木) 00:27:34.14
例えばttp://..../aaa.cgi?page=1からpage=5までをまとめるにはどう記述するのが一般的ですか？
数字の部分だけを1から5までループさせて
ソースを取得したりするような機能とかありますか？
0226名無しさん＠お腹いっぱい。
垢版 |
2013/04/04(木) 09:53:08.40
そういう単純なループは出来ないんだよね、forループみたいな機能はないから
1から5までURL作ってloop moduleで回すしかない
0227名無しさん＠お腹いっぱい。
垢版 |
2013/04/04(木) 12:43:42.20
取り敢えず力技でXPath Fetch Pageを五つ作ってUnionでまとめましたが、
Loopのほうが優れている点があれば
アドバイスください。
0228名無しさん＠お腹いっぱい。
垢版 |
2013/04/04(木) 16:05:47.74
速度的には変わらんのじゃないかな、単純に手間とメンテナンスの問題
unionとloopのpipeをそれぞれ作って実行速度を比較してみればいいんじゃね
0235名無しさん＠お腹いっぱい。
垢版 |
2013/04/09(火) 18:00:41.09
>>225
横にダラダラ並べたくない場合はこう書くのが一般的じゃないかと思う
http://pipes.yahoo.com/pipes/pipe.edit?_id=62f1cdb75eeff1a447d3b11d956bbd5b

横に並べるよりはマシとはいえ、hoge=1 hoge=2 hoge=3・・・と打っていくのは
相当頭悪い行為だし、
yqlを使って、開始番号と終了番号とURLの形渡してやったら
これと同じitemsを返してくれるpipesを書くのが一番いい気がする
0236名無しさん＠お腹いっぱい。
垢版 |
2013/04/10(水) 23:25:43.03
>>71の方がやってることで３つ質問があるのですが

・ttp://cookpad.com/recipe/hotの語尾をupdate_hot_recipeとしたこと
・y.rest(' 〜 とは
・yqlでのuse "store://dXeXD216hAWocoqmWFAeGH" as cookpad;の部分がxmlではなく「store://〜」よくわからない文字なのはなぜか

上記３点がまったくわからないのですが
どなたか教えていただけないでしょうか
0240名無しさん＠お腹いっぱい。
垢版 |
2013/04/21(日) 21:23:27.29
メタラーってメタル信者ってイメージがあるんだよね
オレは音楽として好きなだけで信者じゃないって言いたかった
0241名無しさん＠お腹いっぱい。
垢版 |
2013/04/24(水) 15:32:22.64
ここにいる人はとっくに知ってるかもしれないけど、こんなのあったのか
ttp://rssc.dokoda.jp/
dapperなんかいらんかったんや！
0243名無しさん＠お腹いっぱい。
垢版 |
2013/05/16(木) 05:33:26.84
FC2ブログのRSSをYahooPipesで読み込もうとすると
エラー起きて読み込めなくないですか？
うちだけの環境なのかな・・・
0245名無しさん＠お腹いっぱい。
垢版 |
2013/06/01(土) 16:06:56.71
すいません、どなたかお助けください
http://******.blog.fc2.com/?xml
や
http://blog.livedoor.jp/*****/index.rdf
をFirefoxで開くと
http://my.yahoo.co.jp/p/1.html?mymsg=・・・
のページに飛ばされるようになってしまいました
（他のブラウザでは飛ばされません）
Firefoxでhttp://******.blog.fc2.com/?xml
のリンクをクリックすると
http://******.blog.fc2.com/?xmlを表示する設定へ
戻したいのですが、方法をご教示くださいませ
0247名無しさん＠お腹いっぱい。
垢版 |
2013/06/01(土) 17:05:46.43
Windowsなら　ツール　＞　オプション　＞　プログラム　＞　Ｗｅｂフィード

Ｍａｃなら　FireFox ＞　環境設定　＞　プログラム　＞　Ｗｅｂフィード
0248名無しさん＠お腹いっぱい。
垢版 |
2013/06/04(火) 17:30:48.42
ぐぐるりーだーがアレなんで久しぶりに弄ったら、エディタ画面でfeedのitemが何件あろうと吐き出しは100件なんだね
昔からこんな仕様だったっけか
0251名無しさん＠お腹いっぱい。
垢版 |
2013/06/13(木) 10:57:51.43
やっと規制とけたわ

>>243
fc2のRSSは短期間に何度もリクエストすると
一定時間アクセス拒否されるっぽい
（アクセス拒否と言ったけど、エラーメッセージまで確認してないので実際にどういう処置なのかは分からない）

これは普通に使ってる分には問題ないが、
fc2のRSSをフェッチするyahoo pipesを組み立ててるとあっという間に制限に達する

なので、fc2のオレオレRSSを作りたい場合は
・pipesが完成するまでは、RSSを別のサーバーにアップロードして、それを読み込むようにする
・RSSをフェッチするのをやめて、ブログのhtmlからpipesを作る
のどちらかでやるのがいい
0254名無しさん＠お腹いっぱい。
垢版 |
2013/06/30(日) 16:54:05.04
>>253
一応OPMLダウンロードしておいたけど、
feedlyからワンボタンで移行させたるわってメールが来てたわ

あ、googleに実名で登録してる人は
OPMLファイルにファーストネーム載っちゃってるから注意な
0255名無しさん＠お腹いっぱい。
垢版 |
2013/07/10(水) NY:AN:NY.AN
Dapperってサービス終わったの？？
0256名無しさん＠お腹いっぱい。
垢版 |
2013/07/10(水) NY:AN:NY.AN
Pipesで作ったRSS、Feedlyだとサムネ表示が上手く出来なくて
めっさ困る
GoogleReaderの時はちゃんと表示されてたのに…
0258名無しさん＠お腹いっぱい。
垢版 |
2013/07/10(水) NY:AN:NY.AN
Feedlyはタイムスタンプ機能があるようで、これまでPipesやdlvr.itを通していたフィードが直接登録できて、こりゃ便利だわ。
0259名無しさん＠お腹いっぱい。
垢版 |
2013/07/12(金) NY:AN:NY.AN
質問なんですが
Uniqueの逆で重複したものだけ残すってできますか？
0260名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
昨日から自分で作ったpipesのほとんどで999エラーが出るようになってしまいました。

Sorry, Unable to process request at this time -- error 999.

一時的なものかと思ったのですが、今のところ改善されていません。

原因や対処法などがわかる方はいらっしゃいますか？

今の状態ですが、確認した範囲では9割くらいのpipesがエラーになってしまいます。
infoとrunのページが999エラーになります。
作ったpipesの一覧は表示されます。editや一覧からのclone作成はできます。

昨日一斉にエラーで止まってしまったようです。
0261名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
Why am I getting "999 Errors" from pipes.yahoo.com?
A 999 error implies you are over utilizing our service.
Please try throttling back the number of requests made to the Pipes site and within a few hours you should no longer be blocked.
The Pipes team puts these measures in place to protect the overall experience for its users.

What are the usage limits for Pipes?
200 runs (of a given Pipe) in 10 minutes
200 runs (of any Pipe) from an IP in 10 minutes
If you exceed the 200 runs in a 10 minute block, your Pipe will be 999'ed for a hour.
We currently are not raising rate limits. This may change in the future.
0262999
垢版 |
2013/07/17(水) NY:AN:NY.AN
>>261
ありがとうございます。
アクセス制限の条件が厳しくなったのでしょうか...。
とりあえず、もう少し様子を見て、元に戻らなかったら、pipesを分散させてみます。
かなりの量があるので、気が遠くなりそうですが...。
0264999
垢版 |
2013/07/17(水) NY:AN:NY.AN
>>263

あ、仲間がいた。よかった〜☆
0268名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
一つのミニブログの最新記事だけを読みに行くだけだよ。さいきん使い始めたからタイムリーに999がでて泣ける。ツイッターでも愚痴ってるやつがちらほらいるな
0270999
垢版 |
2013/07/17(水) NY:AN:NY.AN
有料でもいいから(金額にもよるけど)無制限にして欲しい。でも、英語わからん。
0271999
垢版 |
2013/07/17(水) NY:AN:NY.AN
別アカにコピーしてみた。
ブラウザでは表示されるけど、twitterfeedに流すと999エラーが出る。多分、dlvrも同じだと思う。
0272名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
コード書くのがめんどいから使ってたのに、ただでさえpipesはクセがあってやっと慣れてきたのに。色々めんどいなあ
0273999
垢版 |
2013/07/17(水) NY:AN:NY.AN
アクセス数に関係なく、twitterfeed、dlvritからのアクセスは全部999ではじいてるっぽい。
0274名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
多分時間あたりの実行回数は、ipアドレスごとに見てるんだろう
こういうやり方だとネットワークRSSリーダーや他のマッシュアップサービスが
あっという間に上限に達するから、
そいつらはホワイトリストで普段は弾いてる
（あるいは別の条件で判定してる）
けど、そのホワイトリストに何か異常があったとかじゃないかな
0275名無しさん＠お腹いっぱい。
垢版 |
2013/07/17(水) NY:AN:NY.AN
999で色々死亡。。。
0276名無しさん＠お腹いっぱい。
垢版 |
2013/07/18(木) NY:AN:NY.AN
はやく復活してください
0283名無しさん＠お腹いっぱい。
垢版 |
2013/07/18(木) NY:AN:NY.AN
なおって無い。。
0288999
垢版 |
2013/07/19(金) NY:AN:NY.AN
サービス終了レベルで使えない。
0293999
垢版 |
2013/07/19(金) NY:AN:NY.AN
dlvritに流していたpipesが一瞬だけ復活してました。ずっと999だったのが、一度だけpostに成功してて、その後、また999...。
完全にブロックされてるのかと思ったけど、いちおう解除されることはあるようです。でも、解除されてもアクセス数が多いから、一瞬のうちに制限に引っ掛かり、滅多に自分のところには回ってこない。それで止まっているように見えたようです。
0294999
垢版 |
2013/07/19(金) NY:AN:NY.AN
>>291
外人さんなのに、かちかち山...
0296名無しさん＠お腹いっぱい。
垢版 |
2013/07/19(金) NY:AN:NY.AN
自分が一番使ってるpipeの場合だと、1つのpipeをパラメーター変えて40個登録して
それぞれ15分に1回のペースで取得してるけど、それでも999は出た事ない。
自分のIPで取得してるから？999出る人は別サービス経由？
それとももっとヘビーな使い方してるの？
0298名無しさん＠お腹いっぱい。
垢版 |
2013/07/19(金) NY:AN:NY.AN
Google Readerと一緒で、みんなで使う系のやつは登録者が多いの優先で取得するから
自分だけしか見てないようなフィードは一日一回とかになるんじゃないの
0302999
垢版 |
2013/07/19(金) NY:AN:NY.AN
あきらめて、phpでコード書いてます。php、ほぼ初心者なのに...。
現状回復まで半年くらいかかりそう。
pipesに依存し過ぎてるという不安はあったので、いつかはphpで書こうとは思っていたんだけど、サーバーの設定とかセキュリティとか、どうすればいいのか、全然わからないんだよね。
phpに移行したらしたで、また落とし穴がありそう。
0304名無しさん＠お腹いっぱい。
垢版 |
2013/07/20(土) NY:AN:NY.AN
９９９のせいでパブリックできません＞＜＞＜
0308名無しさん＠お腹いっぱい。
垢版 |
2013/07/20(土) NY:AN:NY.AN
いままで
Google news
Pipes
dlvr.it
だったのを
Google news
Pipes
feedburner
dlvr.it
間にfeedburnerを通したら投稿できだした
0309名無しさん＠お腹いっぱい。
垢版 |
2013/07/20(土) NY:AN:NY.AN
>>302
パースさえできればあとはどうにでもなりそう。問題は常時起動するためにレンタルサーバーを使う必要があること。設定もめんどくさそうだし。家のパソコン付けっ放しにも限界あるしなあ。
0312999
垢版 |
2013/07/20(土) NY:AN:NY.AN
<?php
$rssurl = ($_GET['rssurl']);

//RSS取得
$dom = new DOMDocument('1.0', 'UTF-8');
$dom->preserveWhiteSpace = false;
$dom->formatOutput = true;
$dom->load($rssurl);

$content = $dom->saveXML();
header("Content-Type: text/xml; charset=utf-8");
echo $content;

?>
0313999
垢版 |
2013/07/20(土) NY:AN:NY.AN
>>312

rssのurlを指定して、それをそのまま吐き出すphpプログラムを作ってみました。というか、パクってきました。ここまで、約10時間...。

これをrss.phpとか適当なファイル名で保存して、phpが使えるサーバーにアップロードします。

サーバーのアドレス/rss.php?rssurl=元のrssのurl(urlエンコードが必要)

urlエンコードはここを使いました。
http://home.kendomo.net/board/decode/decode.php
デコードではなくエンコードするにチェックを入れ、文字コードはUTF-8に。

ロリポップでは999が返ってきましたが、マイナーなサーバーでは使えました。人知れずこっそり使えば、なんとかなるかな？
0315999
垢版 |
2013/07/20(土) NY:AN:NY.AN
>>314

自分でも何か方向性が間違ってるような気がしないでもないのは確かなんだけど...。
これでpipesの999エラー回避ができないかな、と思って。
0317999
垢版 |
2013/07/20(土) NY:AN:NY.AN
>>316

みんな一斉にfeedburner挟むようになって、feedburnerもアクセス制限にひっかかるようになった感じでしょうか？
0319999
垢版 |
2013/07/20(土) NY:AN:NY.AN
さっそく文字コードでつまづいてる...。
linkにUTF-8以外のurlエンコードされた文字が入ってると、dlvritでpostした時に、正常なリンクにならない。
php、簡単そうで、難しい...。
0321名無しさん＠お腹いっぱい。
垢版 |
2013/07/20(土) NY:AN:NY.AN
文字コードで躓くとか遙か昔の俺を見てるようで微笑ましい、まあム板でもマ板でも好きな所行ってやりな
0322999
垢版 |
2013/07/20(土) NY:AN:NY.AN
もう、スレチ！？
ごめん、いちおう999回避の話だから、ここまではOKだと思ったのに。
自分ではわきまえているつもりだったけど、狭いですね。失礼しました！
0324名無しさん＠お腹いっぱい。
垢版 |
2013/07/20(土) NY:AN:NY.AN
文字コードで詰まってる話し始めたらそりゃスレチもいいとこだわw狭いとか広いとか以前の問題。やんわり諭されたのに何をキレてんだか
0326名無しさん＠お腹いっぱい。
垢版 |
2013/07/21(日) NY:AN:NY.AN
あ、勝手に数日とかいったけどそんなこと書いてないな
ただyahooは問題を認識していて、修正するつもりではあるらしい
0329308
垢版 |
2013/07/22(月) NY:AN:NY.AN
>>328
確かに土曜日ぐらいからまったく更新されなくなった。
0330名無しさん＠お腹いっぱい。
垢版 |
2013/07/22(月) NY:AN:NY.AN
pipes様が息をしていらっしゃらないのでfullrss.netに切り替える。登録メンドクセ
0331名無しさん＠お腹いっぱい。
垢版 |
2013/07/22(月) NY:AN:NY.AN
例えばマクドナルドのハンバーガーについて話すスレがあったとする
でもマクドナルドのハンバーガーがまずくなったから自分たちで作ろうという話題になる
そこで>>322がパンの原料になる小麦の育て方はどうするのがいいかという話題に長々と8レスを費やす
お前らはこれでも出てけと言うのか？思ってたより狭いな
0338名無しさん＠お腹いっぱい。
垢版 |
2013/07/23(火) NY:AN:NY.AN
ちょっとスレチだけど、全文化って異常だよな。
全文配信してくれりゃ良いだけの話で、googleカレントとかで米のコンテンツの充実ぶりを見ると、日本の事情は泣けてくる。
0339名無しさん＠お腹いっぱい。
垢版 |
2013/07/24(水) NY:AN:NY.AN
全文配信によって、ユーザーのもとに必要のない記事まで届けられる→サーバーコストの増大
読ませることができる広告が減る

というわけで、サイト側からすれば
全文化なんて百害あって一利なし
そもそもRSS使うようなユーザーはリテラシーが高く
広告なんか絶対に踏まないから
サイト側からみていい客ではないからな
0340名無しさん＠お腹いっぱい。
垢版 |
2013/07/24(水) NY:AN:NY.AN
RSSはあくまでお知らせだからね。ってかpipesほんと全滅だわ。feedburner挟んでたfeedlyのやつ全部配信止まってる。もうスクリプト組んで巡回させるわ
0341999
垢版 |
2013/07/26(金) NY:AN:NY.AN
エラー出なくなったみたい。
ずっと拙いphpプログラムに置き換える作業をしていました。半分くらい置き換えたところなんだけど、このままphpに移行するか、pipesに戻るか、とても悩むところです。

ところでKY呼ばわりされたり、「ほざくやつ」とか言われてるけど、そんなに迷惑掛けましたか？
0345999
垢版 |
2013/07/26(金) NY:AN:NY.AN
>>342
また、KYとか言っていじめられるから勘弁して下さい。(過去スレを参考に)
phpに詳しい、"まともな頭"の人がきっと「pipesをphpに置き換えるスレ」を立ててくれると思いますよ♪

>>343
全然そんな気ないですね。ご自身がそういうタイプの人間だからそういう発想が出るのかな？

>>344
全スレ読んで、スレチ、あらし狩りでもすれば？
0346名無しさん＠お腹いっぱい。
垢版 |
2013/07/26(金) NY:AN:NY.AN
プログラミング覚え立ての頃は意味もなく誇らしいんだよな
要望を見るとscriptを必死で作って、「簡単に作っただけだから出来が悪いけど」なんていいつつスレに晒したりして
よく考えると初心者の作った奴なんか出来が悪いし無駄な処理多いんだけど
0347999
垢版 |
2013/07/26(金) NY:AN:NY.AN
>>320 >>321
善意の発言

>>322
このスレの許容量狭いな、と感じたけど、それをスルーできない自分の心も狭かった。

ということでいいかな？

これ以上やると本当に荒れちゃいそうだから。
0349999
垢版 |
2013/07/26(金) NY:AN:NY.AN
あるよ
PHP書けよカス（笑）
0353名無しさん＠お腹いっぱい。
垢版 |
2013/07/27(土) NY:AN:NY.AN
とりあえずfeedlyでppesがクロールされるようになったな
あとプログラマーなんてこのスレでは珍しくもないだろたぶん
PHPが使えるようになって少しばかり誇らしげだけど
0356名無しさん＠お腹いっぱい。
垢版 |
2013/08/05(月) NY:AN:NY.AN
pipes→burner→dlvr4つあるんだけど1個ちゃんと動かなくなった
pipesを直接見に行くとViewResultsもRSSもちゃんと見れるんだけどburnerのRSSは更新されてない
これってburnerがpipesに999かなんか出されちゃってるのかな？
0358名無しさん＠お腹いっぱい。
垢版 |
2013/08/11(日) NY:AN:NY.AN
初心者です。教えてください。
Feedlyクラウドを使用しています。

例えば下記のpodcastのフィードですが
http://www.daiwatv.jp/videopodcast/headline.xml

linkが同一でもtitleもしくはpubdateが更新されれば新着記事として認識されていたのですが、7/25より仕様が変更になったようで、linkが同一の場合、新着記事として認識されなくなりました。
このような場合、pipesでどのように対応したら良いでしょうか？
0361名無しさん＠お腹いっぱい。
垢版 |
2013/08/11(日) NY:AN:NY.AN
>>360
実用上はそれで問題ないけど
pubdateが被る可能性を考えたらlinkやtitleも入れておいたほうがいいんじゃないの
ttp://pipes.yahoo.com/pipes/pipe.info?_id=f36a3748a6a249625cd594105f13a945
0364名無しさん＠お腹いっぱい。
垢版 |
2013/08/21(水) NY:AN:NY.AN
スマホでPipes作成させろ
0365名無しさん＠お腹いっぱい。
垢版 |
2013/08/28(水) NY:AN:NY.AN
pipeにへそ曲げられた・・・
0366名無しさん＠お腹いっぱい。
垢版 |
2013/08/28(水) NY:AN:NY.AN
dlvrまでへそ曲げてるし・・・
0368名無しさん＠お腹いっぱい。
垢版 |
2013/08/28(水) NY:AN:NY.AN
そんなスキル無い！
0369名無しさん＠お腹いっぱい。
垢版 |
2013/08/28(水) NY:AN:NY.AN
もっと簡易なYahooPipesとRSSReaderが一体となったサービスやってほしいわ
手軽にFeedにフィルター設定できたり2つのFeedを1つにしたり出来る
RSSReaderならそこそこ人気も出そうだと思う
0375名無しさん＠お腹いっぱい。
垢版 |
2013/08/31(土) NY:AN:NY.AN
そんな重い猫だったのか…
0376名無しさん＠お腹いっぱい。
垢版 |
2013/09/10(火) 14:55:48.40
<div class="pipesTitle"> 内の aタグが一括処理されるようになり、複数リンクを設定できなくなっちゃった…
0377376
垢版 |
2013/09/12(木) 15:13:53.64
先ほど見たら修正されたらしく元の仕様に戻ってました
良かった！
0383名無しさん＠お腹いっぱい。
垢版 |
2013/09/18(水) 22:16:43.74
>>381
こういう場合も何も、向こうが時間軸で並べてくれてない以上、
相手の迷惑顧みず毎回全ページfetchするか、
時間軸で並べてくれてるところ探すかの二択しかないと思うけど。

どういうプランを描いてたのか、逆にこっちが聞きたいわ
0389名無しさん＠お腹いっぱい。
垢版 |
2013/11/26(火) 22:01:49.89
単純にRSSを全文化しただけなんだけど
画像が多いと最後の方の画像が取得できない。

11枚画像があったら10枚目まで表示される感じ。
テキストはその後も取得できてるんだけど、
なんか画像取得制限でもあるんですかね
0391名無しさん＠お腹いっぱい。
垢版 |
2013/12/04(水) 13:54:32.47
フィードのURLのエンコードする方法が知りたいです。
教えてくれたら裸うpします。
0394名無しさん＠お腹いっぱい。
垢版 |
2013/12/23(月) 16:05:26.33
>>58　
うらやまし〜。ボッキした！
新婚一ヶ月で他の男とハメするって
いけない奥さんですね。
知り合った経緯、容姿など教えて下さい。
0397名無しさん＠お腹いっぱい。
垢版 |
2013/12/24(火) 22:02:53.45
　∩　.∩
　.い_cノ　　／￣＞Ｏ
.c/･ ･っ　(ニニﾆ)△△
.（"●" )　.(･ω･`)[‖]　　ここも悪い子ばかりだな
Ｏ┳Ｏﾉ)=[￣てﾉ￣￣]　　　　　　ルドルフ！次行こう！
◎┻し◎　◎――◎=3
／ﾗｼﾞｬｰ＼
0398名無しさん＠お腹いっぱい。
垢版 |
2013/12/27(金) 01:16:50.30
検索してみたらこのスレに。>>68 ってやっぱり出来ないんですかね。

XPath Fetch Page で //div[@class="main"] して取ってきたのをRegexしたいんだけど 17500オーバーで駄目。

それで //div[@class="main"]/p でパラグラフ毎に分割して取ってきたら今度は Regex は出来るが
description 以下に 0, 1, 2, ... と分割して格納されてしまう。
（10以上に分割されてて且つ上限は不定なので LoopでString builderも出来ない）

どうにもなりませんか……？
0400名無しさん＠お腹いっぱい。
垢版 |
2013/12/28(土) 07:18:34.19
>>399
おー、これです！　YQLで出来るんですね。
サンプルもわざわざありがとうございます。多謝。


YQLはさっぱりですが……；；
0401名無しさん＠お腹いっぱい。
垢版 |
2013/12/28(土) 07:29:04.51
store://〜 以下の文字列が何かのテーブル（？）に対応してるのかな。
ttp://www.datatables.org/　← このサイトには無いですよね。

どこで探せばいいのか教えてくれませんか？
0402名無しさん＠お腹いっぱい。
垢版 |
2013/12/28(土) 13:34:37.17
>>401
YahooにログインしてるとYQLの自分のスペースに自作テーブルを保存できる。
そのテーブルの中身が二番目のURLで、store:// はそれを呼び出してる。
0403398
垢版 |
2013/12/29(日) 00:25:22.59
>>402
ありがとうございます。正月にゆっくり勉強します。
0404398
垢版 |
2014/01/05(日) 06:46:12.15
とりあえず >>399 さんのをcloneしてテーブルを自分のYQLに保存して実行までは出来た。
チュートリアルを見つつYQLコンソールを弄り中。先は長いな……
0406名無しさん＠お腹いっぱい。
垢版 |
2014/01/08(水) 22:02:24.74
>>405
01/07/2014 みたいな形式で抽出して Date Formatter に突っ込む。
Format: は %a, %d %b ... でチマチマ指定するか %K で大まかに指定するか。TimezoneはUTC, JSTお好きなように。

後はモジュールのヘルプを見れば分かるのでは。
0407405
垢版 |
2014/01/09(木) 10:40:04.25
>>406
ありがとうございます。
無事できました。
0409名無しさん＠お腹いっぱい。
垢版 |
2014/01/10(金) 17:40:06.98
>>408
日付のフォーマットは月２桁/日２桁/西暦４桁の方がいいようです。

Regex
in: item.pubDate
replace: .*/(\d{4})(\d{2})(\d{2})/.*
with: $2/$3/$1

Loop
For each: item.pubDate

Loop　-　Date Formatter
Format: %K
Timezone: JST
assign results to: item.pubDate

ここの%Kは出力のフォーマットなんですね
気づくのに時間かかりました。
0411名無しさん＠お腹いっぱい。
垢版 |
2014/03/21(金) 20:26:28.72
xpath fetch pageで取得した複数要素をまとめる方法を教えてください。

例えば、//div/imgで複数の画像を取得してitem.descriptionにassign allした場合、item.descriptionの下に子要素として分割されてしまいますが、これを一つのdescriptionアイテムにしたいです。下の例でいうと、img1とimg2をひとくくりで取得したいです。

div1
div2a
img1
div2a
div2b
img2
div2b
div2c
text
div2c
div1

xpathで取得する時点で、最上位のdiv1を指定して一つの要素として取得するしかないでしょうか？
0412名無しさん＠お腹いっぱい。
垢版 |
2014/03/21(金) 21:22:05.20
>>411
item.description.hogeにassignすればいい話のように見えるけども。
string状態で1itemにしたいってことならYQLじゃないと無理っぽい。
0413411
垢版 |
2014/03/22(土) 01:56:28.85
>>412
YQLの select * from htmlstring を使ってstring状態で1itemにできました。
ありがとうございました。
0416名無しさん＠お腹いっぱい。
垢版 |
2014/04/14(月) 11:15:44.12
質問させてください

RSSフィードのlink urlを抽出してそのページを入力ソースにしたいのですが、
Fetch FeedからSub-elementでitem.linkを取ってXPath Fetch Pageに繋げようとしても
パイプが繋がってくれません

URL Builderも同様にBaseにはitem.linkを選択したSub-elementのアウトプットからは
インプットできません

どうすれば良いでしょうか？
0417名無しさん＠お腹いっぱい。
垢版 |
2014/04/14(月) 16:28:58.01
>>416
Sub-elementで取り出したい理由がわかりませんが、もし元のRSSフィードのitem.linkをソースにしたいだけなら、Fetch Feed -> Loop(XPath Fetch Page) -> Pipe Outputでいけますよ。
0418名無しさん＠お腹いっぱい。
垢版 |
2014/04/14(月) 16:37:33.93
>>417
ご回答ありがとうございます！
色々調べてはいるのですが、どうにもわからなくて質問させていただいてます、すみません

LoopにXPath Fetch Pageを入れるんですね！ちゃんとitem.linkが出てきました！

本当にありがとうございます、すごく助かりました
0419名無しさん＠お腹いっぱい。
垢版 |
2014/04/14(月) 17:16:58.79
>>417
たびたびの質問すみません

Fetch Feed -> Loop{ XPath Fetch Page(item.link) }.emit all results
までは繋げられたのですが、それで吐き出されている（と思われる）ページから
必要な情報のみを抽出して新しいRSSフィードを作りたいのです

http://jutememo.blogspot.jp/2012/06/yahoo-pipes-xpath-fetch-page-rss.html
などを参考にして作ろうとしているのですが、

Loop内に設置したXPath Fetch PageのExtract using XPathに
Chromeのデベロッパーツールの機能を使って該当ページ(item.link)の該当箇所から取得したXPathを
入れてもうまく動作してくれません

何かやり方が間違っているのでしょうか？
0420419
垢版 |
2014/04/14(月) 17:39:55.46
>>419に補足ですが、具体的には
//*[@id="contents"]/table/tbody/tr[2]/td[1]/ul/li[1]/text()[1]
というXPathが出てきましたのでそちらをExtract using XPathに入力しました

http://jutememo.blogspot.jp/2012/07/yahoo-pipes-xpath-text-content.html
を見ると、text()が使えないということでしたので、このサイトの説明通り
Sub-elementのitem.contentを使おうとしたのですがそもそもSub-elementに
item.contentが選択肢として出てこないのです
0421419
垢版 |
2014/04/14(月) 17:49:43.90
何度もすみません…Sub-elementのitem.contentは手入力でいけました
しかしSub-elementからOutputに繋げてDebuggerを見てみても内容が一切ありません
0422419
垢版 |
2014/04/14(月) 17:54:55.86
また訂正があるので連続書き込みすみません、ちょっと控えます

>>421の状態でDebuggerが動作しました
しかし内容は大元のソースとなるFetch Feedがそのまま出てきてしまっています

Fetch Feedのitem.linkのページの内容からRSSを構成したいのです
これではそのまま繋げたのと同じです

連続書き込みに関しては本当に申し訳ありません

どなたかアドバイスいただけたら嬉しいです
よろしくお願いいたします
0424419
垢版 |
2014/04/14(月) 18:48:41.59
>>423
レスありがとうございます！
気になる物件情報の詳細ページから必要な箇所のみ抜き出そうとしているのです

RSS Feedは
http://suumo.jp/jj/chintai/ichiran/FR301FC001/?shkr1=03&;cb=0.0&shkr3=03&shkr2=03&mt=9999999&sc=13113&ar=030&bs=040&shkr4=03&ct=9999999&cn=9999999&ta=13&mb=0&fw2=&et=9999999&rssFlg=1

で、このRSSの各item.linkが物件詳細ページとなっています
たとえば
https://suumo.jp/chintai/tokyo/sc_shibuya/bc_100009628160/
などです

そしてこの詳細ページの必要な情報の一つ目、↑のページでいえば「京王新線/幡ヶ谷」のXPathが
//*[@id="contents"]/table/tbody/tr[2]/td[1]/ul/li[1]/text()[1]
なのです
0426419
垢版 |
2014/04/15(火) 09:58:40.61
>>425
おおお！こういうことだったんですね！
ありがとうございます！仕組みもわかりました！

tableからは文字情報を抜き出さなければいけないんですが、
ここからは自力でやってみます、本当にありがとうございます！
0428名無しさん＠お腹いっぱい。
垢版 |
2014/04/17(木) 13:32:38.47
item.descriptionで得られた文字列と、他から取ってきたitem.descriptionで得られた文字列を連結したい場合、
どのモジュールが使えるのでしょうか？
Unionだとうまくいかず、String Builderにはパイプがつながりません
0430428
垢版 |
2014/04/17(木) 16:23:12.25
>>429
ありがとうございます、試してみます
0431428
垢版 |
2014/04/17(木) 16:28:07.26
>>429
LoopにString Builderを入れてemit resultsしたのですが、
結局LoopからのパイプはString Builderに繋げられないので
同じことになってしまいます

すみませんがもう少し詳しく教えていただけないでしょうか？
0433名無しさん＠お腹いっぱい。
垢版 |
2014/04/17(木) 18:03:25.75
>>428
例えば、それぞれのitem.descriptionを、Renameモジュールを使ってRenameなりCopy Asなりでitem.description_aとかitem.description_bとかに割り当てて、後続Loop内のString Builderで連結するっていうのじゃダメですか？
0434428
垢版 |
2014/04/18(金) 10:02:11.74
>>433
String BuilderにRenameが繋がらないのでダメですね…
0435名無しさん＠お腹いっぱい。
垢版 |
2014/04/18(金) 10:49:33.62
>>434
えーと、例えば、Fetch FeedとかのSources系モジュールで取得したitem.descriptionがあったとして、それをまず、RenameなりCopyなりで別の要素にした上で、その後にLoopの中のString Builderで連結するという意味です。

Fetch Feed -> Rename -> Loop(String Builder)

Renameを繋げるのはLoopですね。Loopの中のString Builderで、先にitem_description_a等に変換しておいた要素を並べて、改めてitem.descriptionにassignするということです。

それとも、やりたいことは複数のソースから取得したitem.descriptionを連結したいってことなんですかね？
0436435
垢版 |
2014/04/18(金) 14:51:32.69
レスありがとうございます

> それとも、やりたいことは複数のソースから取得したitem.descriptionを連結したいってことなんですかね？

まさにこれがやりたいことです
何か方法はあるでしょうか？
0437435
垢版 |
2014/04/18(金) 19:15:26.66
>>436
Pipeを入れ子にするやり方があります。考え方としては下記が参考になります。
http://stackoverflow.com/questions/338912/yahoo-pipes-any-way-to-combine-items

ただし、上記で示されているArendさんのPipeは使われているモジュールとかが古くて動作しないので、改修版のサンプルを作ってみました。出力としては不完全ですが、複数のソースを一つの出力にまとめる部分までは再現できていると思います。
http://pipes.yahoo.com/pipes/pipe.edit?_id=d0416bba32ff379d32a6fb9d2a146dc6

ただ、無理にPipesだけでやろうとするよりは、>>432さんもおっしゃっているように、YQLで取得することを考えた方がはやい場合も多いです。
0438428
垢版 |
2014/04/18(金) 19:40:00.13
>>437
大変参考になりました。ありがとうございます
こんなに複雑にせざるを得ないとは…ｗ

もしうまくいかなかったらYQLの勉強をしてみます
0439437
垢版 |
2014/04/18(金) 20:21:59.61
>>438
stackoverflowのサンプルに最低限の改造を施しただけなので、ちょっとゴチャゴチャしています。
複数ソースを結合する部分だけでいえば、
(1)各ソースの出力用Pipeを個別に作成する
(2)数列から空のフィードを作って(1)の個別出力Pipesを割り当てる
という流れになります。

なお、>>437のPipeはそのうち消してしまうので、もし必要であればCloneしてください。
0442名無しさん＠お腹いっぱい。
垢版 |
2014/04/26(土) 11:32:05.43
>>441
確実なことは言えないけど
100程度作って一年以上放置してるのもあるけど消えたことは無いんじゃないかなぁ

Pipeを間違えて覚えてて辿りつけないとかじゃないよな？
0444名無しさん＠お腹いっぱい。
垢版 |
2014/05/01(木) 11:10:32.69
Pipesで吐いた新着RSS(Loop + Xpath Fetch Page利用)を、IFTTTでツイートとデバッグ用にメールさせてるんだが
更新されてもツイートもメールもされなくなった
ちなみにRSSリーダーには新着が届いてる

毎回エラーになるものが一つあるけど、多分だけどそれは関係無いっぽい↓

This Pipe ran successfully but encountered some problems:

warning Error fetching http://xxx : Results may be truncated because the run exceeded the allowed max response timeout of 30000ms.


こういう問題なのかな？↓
http://jarp.does.notwork.org/diary/201312a.html#20131210

でもPipesのURL末尾に単純に&_render=rss?rss%F-%Hみたいな感じにしてもIFTTがfeed urlと認識してくれなくてよくわからない


曖昧な質問ですが、何かヒントいただけたら助かります
0445444
垢版 |
2014/05/01(木) 11:25:00.15
申し訳ないです、
http://jarp.does.notwork.org/diary/201312a.html#20131210
をちゃんと読んでみたら?rss%F-%HはPipes内部でitem.linkにつけるとかいう話だったのね

しかしそれでは私のPipesには使えない（item.linkはパラメータを足すとエラーになるサイト）

困った
0447444
垢版 |
2014/05/01(木) 12:24:01.50
>>446
ありがとうございます、試してみます
0449名無しさん＠お腹いっぱい。
垢版 |
2014/05/01(木) 17:37:24.69
>>448
試したみたけどどうも遅くなるっぽい

YQLを勉強するしかなさそうだけど、YQLのスレが無いのでもし良かったら誰か教えて


あるページから

1. xpathで指定した箇所の文字列
2. 指定したファイル名と一致するurl

を同時に取り出したいときはどういう構文にすれば良いの？


1.に関しては

select * from html
　where url="http://....."; and xpath="//*[@id='.....']"

という感じで取れることはコンソールでチェックしてわかったんだけど、
2.も一緒に取り出す方法がわからない
0450444
垢版 |
2014/05/02(金) 08:16:25.70
>>446
いけました！ありがとうございます
0451名無しさん＠お腹いっぱい。
垢版 |
2014/05/02(金) 11:18:18.79
hashの方がサーバ側に情報がいかないし、アクセス解析でなんだこれって思われないからいいよ
というか記事を区別してるのはGUIDだから、それをURL以外のユニークもの(例えばタイトルとか)にするってのもいいと思うけど
0453444
垢版 |
2014/05/02(金) 16:14:53.21
>>451
最後にRSS Feed化するのにLoopの中にRSS Item Builderを入れているのですが、
そこのGUIDに任意の値（それこそ日時など）を入れておけばハッシュをつける必要が無いということでしょうか？
0454名無しさん＠お腹いっぱい。
垢版 |
2014/05/02(金) 17:15:54.07
YQLモジュールについてわからないところがあるので教えてください

select * from html where url="○○" xpath="//*[@class='hoge0']" or url="○○" xpath="//*[@class='hoge1']"

という構文を作りコンソールで確認したところ、

<results>
<p class="hoge0">テキスト</p>
<p class="hoge1"><img src="image.jpg" /></p>
</results>

とちゃんと両方取れていました

ですがpipesのデバッガ上で出力結果を見てみると、
hoge0の中身は空になっておりましたが、hoge1の方はimg -> srcという階層構造で取得されていました

これはもしかして<p class="hoge0">の中にhtmlタグが無いと内容を取れないというYQLモジュールの仕様なのでしょうか？

解決策をどなたかご教示ください。よろしくお願いします
0457名無しさん＠お腹いっぱい。
垢版 |
2014/05/05(月) 10:59:24.46
RSSを元にitem.linkから情報引っ張ってきてRSS作ってるんだけど、重複しまくって配信される
uniqueは最後にかましてるんだけど・・・
0458名無しさん＠お腹いっぱい。
垢版 |
2014/05/05(月) 13:47:21.93
>>457
item.linkのURLがwww有りとwww無しで2つ配信されてるところとかあるよね。
ttp://web-tan.forum.impressrd.jp/e/2012/02/13/12027

配信側の問題だとすると、item.titleとかでuniqueにするとかぐらいしか方法なさそうな気がする。
0460名無しさん＠お腹いっぱい。
垢版 |
2014/05/06(火) 17:58:02.96
XPath Fetch Pageなどではrobots.txtではじかれるようなサイトでも、YQLのdata.headersを使うことでheaderとcontentを取得することができるようです。
select content from data.headers where url=
このひとかたまりで取得できたページ全体のcontentから、タグやxpathなどで特定の要素を抽出して、個別のitemに分解するにはどうすればよいでしょうか？
0462名無しさん＠お腹いっぱい。
垢版 |
2014/08/21(木) 14:36:18.10
最近人いないのかここ
0463名無しさん＠お腹いっぱい。
垢版 |
2014/08/21(木) 16:14:11.79
・google readerが終った
・yahooがいろいろなサービス中止していて将来的にはpipesも危なそう
・去年pipesが不具合を起こしたまま長時間放置された

の三連発で一気に過疎った
0466名無しさん＠お腹いっぱい。
垢版 |
2014/08/23(土) 17:08:38.58
やはりハードルが高い
画像まとめサイトやDanbooru系サイトのRSS利用して
画像だけ流れてくるフィードのお気に入り画像だけにスター付けて
スター付けた画像をローカルやネットストレージに保存しておきたい！
とかはあるんだけど、それは可能ってだけで実現は出来てない
0476472
垢版 |
2014/09/17(水) 22:42:07.05
>>474
Jsonで取得とかになると難しくて素人の手には負えないです＞＜
0477名無しさん＠お腹いっぱい。
垢版 |
2014/09/18(木) 17:51:47.27
>>476
>>474の手順通りにやればできるよ。がんばれ！
「検索を行いJSONを取得する」のURLをFetch Dataモジュールにいれて、RenameモジュールなりRss Item BuilderモジュールなりでRSSフォーマットにしてやるだけだよ。
0479名無しさん＠お腹いっぱい。
垢版 |
2014/09/23(火) 04:51:16.95
今までGoogleアカウントでログインしてたんだけど
Sorry, there was an error.
Please sign in again with the same account or a different one.
と出て急に出来なくなった
対処法無いですかね
0487名無しさん＠お腹いっぱい。
垢版 |
2014/10/01(水) 09:46:15.86
アカウント移行みたいなの出来るっぽいけどこんなん出てアカウント作れない
Sorry, we encountered an unexpected error. Please try again.
0490名無しさん＠お腹いっぱい。
垢版 |
2014/10/26(日) 00:40:03.51
楽天ランキングを常に1位から順に表示させたいんだけど
ランキングが更新される度に順がばらばらになる
rssの仕様上仕方無いんだろうけどなんか良い方法ないだろうか？
0493名無しさん＠お腹いっぱい。
垢版 |
2014/10/26(日) 02:31:13.88
どういう仕様のリーダーに読ませてるかによるけど、
item.guidを更新のたびに変わるように(現在日時+順位とか)しておけば良いような気がする。
0494名無しさん＠お腹いっぱい。
垢版 |
2014/10/26(日) 03:23:57.14
一度受信した商品は次回更新時にランクが変わっても受信対象にならない
でも次回更新時のランクで受信したいってことだよね？

次回更新時に初回受信情報を全クリアすれば可能と思うけどやり方はわからんw
0496名無しさん＠お腹いっぱい。
垢版 |
2014/10/27(月) 16:33:38.60
>>495
item.yはYahoo!Pipes自体が使用する要素で、item.y:id.valueを指定すると、Pipesが実行時に自動的にその値をフィードのguidにコピーしてくれるんだったはず。
だからitem.y:id.valueだけ指定すればOKかと。
0499名無しさん＠お腹いっぱい。
垢版 |
2014/10/30(木) 22:46:50.77
>>498
xpathを書き換えれば動くよ。
" and xpath="/html/body/div[@id='main_contents']/table/tr/td[@class='mov_info_right_gen']/p[1]"
を↓に変更。
" and xpath="/html/body/div[@id='main_contents']/div[@class='wrap_comesearch']/table/tr/td[@class='mov_info_right_gen']/p[1]"

div[@id='main_contents']の下に直接tableがあるのではなくて、div[@class='wrap_comesearch']の下にあるので、読み込めなくなっているのでしょう。

シンプルにするなら、最後のp[1]該当要素だけを直接指定してあげてもOKです。
" and xpath="//p[@class='movtitle']"
0501名無しさん＠お腹いっぱい。
垢版 |
2014/10/31(金) 20:36:12.64
>>500
簡単だから、これを機に作ってみたら？
>>498 のパイプをコピーして、 >>499 の部分を修正するだけです。
米国YahooのIDがなくても、GoogleかFacebookのアカウントがあれば作れるから。

簡単な手順を書いてみたけど、エラーになって書き込めない。
0502501
垢版 |
2014/10/31(金) 20:41:25.27
書き込めるかな？全角英字は半角に読み替えてね。
1. >>498 のパイプを開いて「Ｖiew Ｓource」を押せばログイン画面になるので、「Ｓign in with Ｆacebook or Ｇoogle」からログイン
(ＧoogleかＦacebookにログインして、Ａccept)
2. もしログインした後に自動でエディタが開かずpipesのトップに戻ってしまったら、 再度 >>498 のパイプを開いて「Ｖiew Ｓource」を押す
今度はエディタが開くので、上から5番目の、左上に「Ｌoop」と書かれている箱の、その内側に「Ｓtring Ｂuilder」って書かれているところを見つける
その中の3番目の文字列を書き換える (>> 499)
3. 画面の右上にある「Ｓave a copy」を押せば、自分のパイプとして使えるから、後は今まで通りに使えばOK.
0503名無しさん＠お腹いっぱい。
垢版 |
2014/10/31(金) 21:09:43.55
>>502
文字列を見つけるところまで入ったのですが、499の内容にコピペして内容が変わってることを確認してから
save as copyして、再度ソースを見ると変更前の文字列になっています

直接打ち込まないとダメなのでしょうか？
0504502
垢版 |
2014/10/31(金) 22:34:10.13
>>503
もしかして修正した後に、>>498 (ttp://pipes.yahoo.com/xulapp/saymove )を開いているんじゃないでしょうか？

「Save a copy」で >>498 のパイプを複製したら、新しい「自分の」パイプができているので、My Pipes ( ttp://pipes.yahoo.com/pipes/person.info ) の一覧に出てくるようになると思います。
My Pipes の一覧から選んで、ソースを見たら変更が反映されていると思います。

Save a copy: 既存のパイプを新しいパイプとして複製 (名前を付けて保存)
Save: 上書き (自分のパイプしか保存できない。人のパイプを変更したい時は Save a copy して自分のところにコピーしてから修正)
0505名無しさん＠お腹いっぱい。
垢版 |
2014/11/01(土) 04:28:20.30
500、503です
皆様のアドバイスで無事動作するようになりました。ありがとうございました
ただ、saymove→新着動画→すべてのカテゴリだけ微妙にアドレスが違うのでうまく動作しませんでした
（他のカテゴリすべて動作するのでいらないといえばいらないのですが。。）
0507名無しさん＠お腹いっぱい。
垢版 |
2014/12/04(木) 23:56:28.24
Yahoo Pipesと直接関係ないんですが
いつものようにYahoo Pipesを使おうと思って
https://pipes.yahoo.com/pipes/からサインインしようとしたら
急に起こったことでびっくりしてはっきりと覚えていないんですが
たぶんIDとパスワードを入力する画面をすっとばして

（ここはあやふやでいつもはFirefoxのアドオンのSecure Loginという
ボタンを押しただけでサインインできるのを使ってるので
ひょっとしたら無意識でボタンを押してサインインしてるかもしれません）

全く知らない別のアカウントにサインインした状態で
yahoo.comのメール画面に飛ばされたんですが
同じような経験した人いますかね
今日だけで２回同じ現象が起こってかなり怖いです
0509名無しさん＠お腹いっぱい。
垢版 |
2014/12/08(月) 23:22:10.63
publishしてないパイプって巡回してくれないけど
こいつのRSSフィードを、例えば外部リーダーから定期的に読みに行かせたら
そのたんびに更新してくれる？それとも前回runした時のまま？
0510名無しさん＠お腹いっぱい。
垢版 |
2014/12/09(火) 00:32:19.00
>>509
publishしてるかどうかは、検索に引っかかるかどうかだけじゃないの？
自分用に作ったパイプはpublishしてないけど、RSSフィードは更新されてるよ。
0512名無しさん＠お腹いっぱい。
垢版 |
2014/12/18(木) 23:12:04.38
全文配信フィードのcontent:encodeを削除する方法ない？
17500字以上だかで長すぎるとregexがエラー吐くんだよね
別に加工とかじゃなくて丸ごと切り捨てたいんだけど
0517名無しさん＠お腹いっぱい。
垢版 |
2014/12/19(金) 22:15:27.89
めっちゃパフォーマンス良くなってるわありがとう

わざわざCreate RSSなんてコマンド用意するなら、
要らんモン消す機能でもつけといてくれたらいいのにね
0519名無しさん＠お腹いっぱい。
垢版 |
2014/12/20(土) 14:44:43.18
Yahoo!ニュース取得できなくなってないか？
Response: Bad Request (400)なんて初めて出た。
0520名無しさん＠お腹いっぱい。
垢版 |
2014/12/21(日) 11:34:07.24
気軽に聞かせて
あのHTMLにXPathかけるのをオフラインでもやりたいんだが
(ダウソ済のhtmlファイルに何度でも試行かけてオンラインに反映)
何使ったらできる？コマンドラインOK ちょっと何か書くくらいOK
とりあえずMSXMLでは、参照と評価できる部分があるとそこでとまっちゃうみたいだ
0521名無しさん＠お腹いっぱい。
垢版 |
2014/12/21(日) 13:14:06.13
rubyとか、pythonとかweb系に強いスクリプト言語ならどれでもxpath使えるライブラリがあるよ。rubyならnokogiriってやつ。
もちろんperlでもok。
0525520
垢版 |
2014/12/23(火) 12:20:33.94
まずおまいらありがとう

>>523
へぇそんな便利なものが…と思ったら、SafariWinにもありました

> $x('/html/body/script');

これ通った！まずそっからやってみます

>>521-522
他のパーサならひっかからずにすっといくってことかな
XMLはちゃんと勉強できてないから、、 これ気に留めておきます
0535532
垢版 |
2015/01/21(水) 01:59:28.26
>>533
で、できたー！(感動)
ありがとう！
0536名無しさん＠お腹いっぱい。
垢版 |
2015/01/22(木) 02:16:50.90
>>534
むしろ「重ねたLoopに入らず、別のLoopに入ってしまう(既存を置き換えてしまう)」不具合はどうにかならんのかと思う。
0537名無しさん＠お腹いっぱい。
垢版 |
2015/01/22(木) 02:31:13.95
ドロップする前にLoop周辺でマウス動かしてたら
ちょっとはずれたとこでLoopにフォーカスあたらない？
そこでドロップしたらちゃんと入る
0539名無しさん＠お腹いっぱい。
垢版 |
2015/01/27(火) 02:58:16.21
publishしようとすると、下記の文と送信ボタンのみが出てきてpublishできない…なんですかこれ…

Pipes requires CAPTCHA to publish this Pipe.
Enter the code below to publicly list it on pipes.yahoo.com.
0541名無しさん＠お腹いっぱい。
垢版 |
2015/01/29(木) 23:04:08.78
>>540
そうです。言葉足らずで申し訳ない
今のところは個人で使うだけだから出来なくても支障はないんですけど気になって
0543名無しさん＠お腹いっぱい。
垢版 |
2015/02/27(金) 02:01:11.52
Pipesだけで、fetch feedで得られた任意のタイミングで結果を反映させることはできますか？
例えば、元のフィードに記述されたpubDateの時間の10時間後に自動的にPipesのrssへ反映させるといったような…
0544名無しさん＠お腹いっぱい。
垢版 |
2015/02/27(金) 02:02:23.50
×fetch feedで得られた任意のタイミングで結果を反映
○fetch feedで得られた結果を任意のタイミングで反映
0547543
垢版 |
2015/02/28(土) 03:01:01.80
>>545-546
あー！
書き換えたpubDateとtodayが一致したときに反映を許可すればいい感じになりそうですね！
助言ありがとうございます！
0551名無しさん＠お腹いっぱい。
垢版 |
2015/03/07(土) 14:00:32.11
YQLで日本amazonから新着書籍を検索しようとしているのですが、文字化けしてしまいます。どうしたらよいでしょうか。

use "store://B10k4SmlCX77LTK6yvA5Ky" as amazon.awsjp;select *
from amazon.awsjp where Keywords="京都" and AWSAccessKeyId="*********"
and secret="********" and SearchIndex="Books" and ResponseGroup="Medium"
and AssociateTag="********" and Sort="daterank"

文字化け以外は動いているんですが。
0554名無しさん＠お腹いっぱい。
垢版 |
2015/03/09(月) 22:40:57.94
amazonから新着書籍を検索するパイプを公開してみました。
AWSAccessKeyIdとsecret鍵を入力すれば使えるのですが、文字化けしてしまっています。
http://pipes.yahoo.com/pipes/pipe.info?_id=0fea42d60b57385fe777b4bf71dcdf81

設定のxmlファイルは
http://khamada2002.web.fc2.com/amazon.aws.jp.xml
に置きました。

文字化けがなくなりますよう、ぜひお力添えください。
0555名無しさん＠お腹いっぱい。
垢版 |
2015/03/10(火) 15:07:00.48
Amazon Webサービスのスレがあればそこで聞いたほうがいいんじゃない？
ここだとAccessKey取得してる人いるかもわかんないし
0557554
垢版 |
2015/03/10(火) 20:05:27.81
文字化けが解消しました。
何週間も前から文字化けしていたのに、突然解消したとはこれはいかに。

いずれにせよ良かったです。　たいへんありがとうございました。
0559名無しさん＠お腹いっぱい。
垢版 |
2015/03/17(火) 08:48:53.01
twitterで時々「yahoo pipesってまだ生きてたのか」
みたいなのが流れてきて悲しい
まだβみたいなもので生まれてもいないというのに・・・
0560名無しさん＠お腹いっぱい。
垢版 |
2015/03/22(日) 00:27:17.23
kimono(ttps://www.kimonolabs.com/)で取得した、複数のjsonのデータをpipesで組み合わせられるでしょうか

・jsonのデータA
"results":{"A":[{
"Aの項目1":"文字列","Aの項目2":"文字列","Aの項目3":"文字列","Aの項目4":"文字列"
}},
以下続く

・jsonのデータB
"results":{"B":[{
"Bの項目1": "文字列","Bの項目2": "文字列"
}},
以下続く

・整形したい形
"results":{"A":[{
"Aの項目1": "文字列","Aの項目2": "文字列","Aの項目3": "文字列","Aの項目4": "文字列",
"Bの項目1": "文字列","Bの項目2": "文字列"
}},
以下続く
0561名無しさん＠お腹いっぱい。
垢版 |
2015/03/28(土) 23:45:55.39
>>559
まだ生まれてないワロタ
だが死なれては、難しいことができない身としては本当に困る
収益厳しいなら月額で数百円程度のプラン用意してくれるなら全然出すよ…
0562名無しさん＠お腹いっぱい。
垢版 |
2015/04/01(水) 10:42:41.53
>>465

> kimonoがいい感じ。
> ttps://www.kimonolabs.com


これ使うとツイッターをRSSリーダーでまとめ読みできるだろうか？
0566名無しさん＠お腹いっぱい。
垢版 |
2015/04/13(月) 18:40:25.55
>>565

その後どうなった？
0567名無しさん＠お腹いっぱい。
垢版 |
2015/04/13(月) 21:35:24.78
自分は、google翻訳をfetchしするモジュール（たぶん）を転用して
多国語のtitleやdescriptionを英語に直してたんだけど、もうダメですね
yahoo pipesからのフェッチング自体が蹴られてるみたい
0568名無しさん＠お腹いっぱい。
垢版 |
2015/04/26(日) 19:19:20.87
textinputなどを使用している場合feedのURLに
pipes.yahoo.com/pipes/pipe.run?_id=xxx&_render=rss&textinput1=○○○
のように末尾にtextinputなどに入力した文字列が付与される
この時feedのURLが6689文字？を超える場合「The Pipes engine request failed (400)」
となりGetasRSSなどが出来ない

っていう気をつける必要のほぼない仕様を発見した
0569名無しさん＠お腹いっぱい。
垢版 |
2015/05/10(日) 23:31:53.36
pipesで取ってこれないサイトはkimonoでって感じで連携して使ってるんだけどkimonoの仕様が変わったらしく、
保存できなくなったり編集中に取得したデータと実際に書き出されたデータが違ったりして困った

もう自分でプログラミング勉強するしかないのか
0570名無しさん＠お腹いっぱい。
垢版 |
2015/05/12(火) 15:14:12.23
Pipesで1つのRSSからitem.descriptionに複数のURLが抽出されました。
複数のURLを各々item.linkにしてitem.titleを各々のURLから引っ張ってきて
別のRSSを作ることはできますか？
0571名無しさん＠お腹いっぱい。
垢版 |
2015/05/15(金) 18:29:58.98
>>570
加工元rssのitem.descriptionに含まれている複数のurlを、
それぞれ独立したitem内にlinkとして振り分けて、かつリンク先のタイトルをitem.titleにしたいって事？

合ってるなら、思い付くのは
・各URLをString Tokenizerで抽出
・loopにXpath fetch page入れてリンク先の<title></title>部分をitem.titleに書き出す
0572名無しさん＠お腹いっぱい。
垢版 |
2015/05/30(土) 14:43:32.75
pipesから直接取ってこれないページ対策に、string bilderで下記みたいにYQL内のurl部分をitem.linkにして、
出来上がったurl(json)でfetch dataする流れを組み込んだpipesのrssを
他のpipesとマッシュアップしたらYQL入りの方がタイムアウトでーすwwwなんて言われるようになっただす…

http://query.yahooapis.com/v1/〜
item.link
%22%20and%20xpath〜

何か解決策はありますか？
0579名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 12:35:05.79
自分のpipes数確認したら70個くらいあった
これ全部他で作りなおすのかよ・・
有料でいいから続けてくれ
0582名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 12:54:50.64
他所のサービス使ってる限りはこうなるのは仕方ないよねー
とgoogle readerの時も思った
簡単に作れる(移行も簡単)なのだけサービスで作って、
複雑なのは自前で動かしたほうがいいね
0583名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 13:01:40.60
　　　　　　　　　　　　　　　　　　　　　＿＿＿＿　　　　　　　　　
　　　　　　　　　　　　　　　　　　　／ ＿＿＿　 ＼　　　　　　
　　　　　　　　　　　　　　　　(￣二　 |´・ω・`|　　 ＼　　
　　　　　　　　　　　　　　　　 ＼ヽ　　￣￣￣　　　　)　　
　　　　　　　　　　　　　　　　∠／　　　　　　　／|　|　　　
　　　　　　　　　　　　　　　　(　　　　　　　　／／／　　
　　　　　　　　　　　　　　　　 |　　 ,､______,ノ￣￣)　　　　　
　　　　　　　　　　　　　　　　 |　 /　　　￣/　／　　　　　
　　　　　　　　　　　　　　　 ＿|_|＿＿＿_/／＿　　
.　　 　 　　　　　　　| ￣￣￣￣￣￣￣￣￣￣￣￣ |￣￣￣￣￣|
────── 　　|　　　 ここですCAR　　　　　 　 | 　 　 　 　 　|
　＿＿＿＿＿　 　 |　 　,-─-、 　 　 　 　. ,-─-、　| 　 　 　 　 　|
.　　　　　　　　　　　|＿/ 　,-、ヽ＿＿＿＿/　,-、 ヽ_|＿＿＿＿＿|
　　　　　　　　　　　　　', 　 -'　ﾉ　　 ヽ:::::::::',　 -'　 ﾉ　 ヽ::::::::::丿
0585名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 20:39:46.70
終了なのか、、全文rss作るのに重宝してたんだが

自分の用途だとGoogle App Scriptサービスでいけそうなので、週末見て見る予定
0587名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 04:40:48.65
無知な俺を助けてくれ
google+なんだけど
https://www.googleapis.com/plus/v1/people/*********************/activities/public?key=APIキー&maxResults=10
こういうので
{
"kind": "plus#activity",
"etag": "",
"title": "",
"published": "",
"updated": "",
"id": "",
"url": "",
"actor": {
"id": "",
"displayName": "",
"url": "",
"image": {
"url": ""
}
こういうのを取得して形整えてRSSにしてたんだけど
これはどういう事をしていたんだろうか
色んなとこの見よう見まねでやってたから専門的な知識皆無だしどういう移行をすればいいのか分からないんだ
0588名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 13:30:34.56
プログラミングの知識がないのでpipes終了対策として勉強しようと思うのですが、
スクレイピングした内容を整形してrss化するなら、javascriptを勉強すれば使えると聞く
google app scriptが現状一番手軽でしょうか？
0590名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:00:45.85
>>589
kimonoも使ってはいるんですが、kimonoの出力結果をjavascriptで整形できても、
yahoo pipesの様にlink先の内容をスクレイピングして一緒やな書き出すとなると
他のツールも使わないと駄目だよなあと悩んでまして…。
0592名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:11:15.31
朝からGoogle Apps Scriptいじってみて、ようやく全文配信をFeedlyに登録ができた。
Yahoo Pipesみたいに相対パスを絶対パスに書き換えるとかはやってくれないが、Javascriptなのでがんばればいろいろやれそうな感じ
0594名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:26:02.84
ミドルウェアやらウェブサービスの使い捨ての知識を学ぶより、最初っからサーバ上で汎
用性の高いプログラミング言語使った方が結局は得なんだよな、と毎回思ってるのにこの
ザマだよ
0595名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 16:40:14.54
俺はPHPなら少しはいけるんで、Goutte,SimplePie,FeedWriterあたりを組み合わせて
昨日からいじってて、Pipesでできることはほぼできるようになった。
書き慣れていけば断然早いし自由度も高くなるしいいことずくめ。
0596名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 21:12:41.18
>>595
プログラミングとかさっぱりですがなんだか面白そうなツールですね
ちょっといじってみたくなりました。すぐ断念しちゃいそうだが・・
0597名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 03:29:30.64
プログラミングのプの字も分からないけど
google apps scriptでのスクレイピングについて調べてたら、かえって面倒そうな印象を受ける…

pipesと同じことしたいって決まってるなら、php勉強してスクレイピング用のライブラリ使った方が良いのかな

実際のところどうなんですかぬ
0598名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 08:11:04.09
自分は、サーバーの運用方法とか調べるほうが面倒そうだったので、Google Apps Scriptにした。
GASは結構情報は多いし、プログラムに慣れてたらサーバー立てるより簡単なだと思うが・・・
あと、Googleドライブなどをキャッシュがわりに使えたり、結構高度なこともできそう。

もちろん、PHPなどの汎用プログラムのほうが高度なことができて、サービスの停止は心配しなくていいのだろうけど。
0599名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 15:36:52.96
移行先をどうするか、GASが良さそうに感じるけど、
Readerでひどい目にあっているので、サービス継続性が不安……。

いっそ、安いレンタルサーバを借りて構築してしまう方が良いのかも。
0600名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 17:47:35.93
互換性のある適当な代替サービスがあるもんだと思ってたら全く無くて詰んだわー
0602名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 20:28:11.61
自鯖で動くように色々書いてるけど、キャッシュ管理が大事だな
PipesはLoop->fetchぶんまわしてもうまいことやってくれるし、
たとえ怒られてもYahooが被ってくれるけど、自鯖だと自分に直接くる
0604名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 21:33:45.72
確かにキャッシュは大事だね
Google Appsで一日のUrlFetchが多すぎますって怒られたw
テストしてたら合計1万回ぐらいFetchしてしまったのが悪いんだが・・

今はドライブに保存してなるべくFetchしないようなコードに変えた
0605名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 21:34:21.48
ツイッターをRSSリーダーでまとめて読んでいるんだが。

困ったなあ。

代替サービスあるだろうか？
0607名無しさん＠お腹いっぱい。
垢版 |
2015/06/08(月) 02:05:16.47
kimonoもちょいちょいクロール止まるんだよね
クロール頻度を毎時、毎日に設定してても最後にクロールしたの数日前とか

登録してるURLの量たいして無いのに
0613名無しさん＠お腹いっぱい。
垢版 |
2015/06/08(月) 10:14:46.40
>>612

Show images as attachments　にはチェック入れないほうがいいんでしょうか？
0614名無しさん＠お腹いっぱい。
垢版 |
2015/06/09(火) 03:17:55.91
filterで対象をpubDateにした時に、条件がDateBuilderみたいに文字列(todayとか)でも効く事に今更気付いた
もう終わり間近で気付いても虚しい…
0618名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 05:48:44.64
google apps scriptでやってるんだが
fetchして出てきた日付がGMTで yyyy-MM-ddTHH:mm:ss.SSSZ (TとZはそのままTとZが書かれてる）で
これをJSTにフォーマット出来ないだろうか
formatDateでは無理みたいで
0619名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 07:35:54.34
>>618
自分が作ったやつだけど、どうだろうか？

function getDate(dateString) {
dateString = dateString.replace(/(\d\d\d\d)-(\d\d)-(\d\d)/, '$1/$2/$3').replace(/T/, ' ').replace(/Z/, ' +00:00').replace(/([\+\-])/, ' $1');
return new Date(dateString);
}
0620名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 07:42:00.00
ミリ秒まであるのか
ちょっと修正

dateString = dateString.replace(/(\d\d\d\d)-(\d\d)-(\d\d)/, '$1/$2/$3').replace(/T/, ' ').replace(/Z/, ' +00:00').replace(/([\+\-])/, ' $1').replace(/\.(\d\d\d)/, '');
0621名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 08:20:24.06
pipesから乗り換えなくちゃいけなくなって始めたばっかだから無知すぎでどう使えばいいかよく分かんないけど
そのままコピペして実行したら
TypeError: undefined のメソッド「replace」を呼び出せません。
って出たよ
0622名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 08:44:30.04
いや、関数をそのまま呼び出すんじゃなくて、例の文字列を引数に渡してくれ

そしたらDateオブジェクトが返るから
0623名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 09:12:35.66
>>617
> >>615


俺としてはツイッターをRSSリーダーでまとめ読みできれば
それでOKなのだが。

たくさんありすぎてどれがベストなのかわからん。
0626名無しさん＠お腹いっぱい。
垢版 |
2015/06/12(金) 07:59:58.04
代替使ってみようと調べると
〇〇を使えることが前提だ。〇〇を調べると××を使えることが前提だ
ってなるの辛い
0628名無しさん＠お腹いっぱい。
垢版 |
2015/06/13(土) 06:55:19.97
apps scriptでUrlFetchApp.fetchで読み込んだhtmlの中に決まった文字列が何回出てくるかを数えるにはどうすればいいでしょうか？
0631名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 10:51:07.53
必要なものは全部PHPに移植完了した
しばらくは別でテストしながら様子見てちょこちょこコード修正して、
問題なければpipes終了までに置き換えていく
代替サービス使うのもいいけど、何でもいいから言語覚えて自分で書くのも勉強になるしいいよ
0633名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 12:43:34.04
これだけで鯖たてるのは面倒かもしれないけど、
俺は2chブラウザのrep2と、RSSリーダーのTiny Tiny RSSも
動かしてるから敷居は低かったな
0635名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 23:25:04.52
Yahoo!ウォレットのカスタマーサービスからぶん投げられた、催促メールが下記の通りつじつまが合わなくてヤバイ件。
内部犯罪のニオイがしてるが、消費者としてこんな気味が悪いことはないのだが。

＊Yahoo!ウォレットのサポートから”未払い料金の催促、通知メール”＊
==============================================================
1.ご登録お支払い方法にて請求が行えなかった件について
今月請求分のご利用料金のお支払いが完了いたしませんでした。
Yahoo!ウォレットのお支払い方法が無効、または登録情報に不備があるなどの理由でお支払いが完了しなかったご利用料金は、
別途コンビニエンスストア払込票でのお支払いをお願いしております。
==============================================================

ちなみにYahoo!プレミアム。
俺はデビットカードの口座でウォレットを引き落としてて、確認したところ口座残高を切らしたタイミングはなし。

つまり、口座から引き落とされませんでしたというサポートの言い分は”事実”ではなく、明らかに”作り話”ということ。
原因がデビットカード決済のシステムトラブルならば、消費者の管理外の問題なので。Yahoo!側はどこの業者と連絡を取ればいいかわかるはず。

では、デビットカードでのシステムトラブル”決済ミス”の問題が解決されておらず、Yahoo!サポートでの規定の手続き(コンビニ払込と、追加の手数料つき)へ”ずーっとぶん投げていた”のならそれは”消費者への不利益案件”であって、深刻な信用問題だ。
この疑いが、まずはひとつ。
0636名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 23:25:48.00
そういえば、以前もYahoo!のサポートは”いかにもインチキな誓約書”まがいを提示したことがあって、これに同意しろと言ってきていたことがあった。
やられた側はこういう気味の悪いことを忘れないものだが、ふたつ目の可能性として考えられるのは、
もしかしたらYahoo!側かデータを取り扱う関係者が”引き落としなし”というデータのねつ造をして、わざわざ”決済ミスを人為的に装ってきた”可能性も疑ってみる必要があるかも。

いずれにしても消費者にとっては不可解なもので、気味が悪いことこのうえない。
不利益はすでに小さくないよ。

しかし思うのは、こんな不快極まりないことを消費者がずっと抱え込むとでも思っているとしたら、コンプライアンスとしてヤバい企業ということ。
こんなの消費者は抱え込ないので、ネットで簡単にバラされてしまうことくらいは想定してくてはいけないはず。

ラーメン屋のようなコンプライアンス軽視できる業界でもないし、社員たちが対応できないだろうなどとは誰も擁護しないと思うのだが。
上にあげたように、Yahoo!がコンプライアンスがダメな企業であるのは間違いないし、世論にさらされるべき案件だ。
0640名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 19:42:08.09
pipesって言っても使い方は人それぞれだよね。
自分はRSSを作ってるんだけど、代替サービス使うよりPHPとかで
自分でスクリプト組んだほうがいいのかなって思ってる。
0641名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 20:15:14.05
脱Pipesしてよかったことのひとつは、フィード自体のURLを自由にできるから
リーダーがそれをもとにFaviconを取得する場合、Yahooのアイコンじゃなくなったこと
0642名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 20:24:25.88
Faviconの件は自分もよかったと思った
GASでRSS作ってるけど、Feedlyがリンク先のFaviconを使ってくれる

あと、pipesは更新間隔がおまかせで遅くなることもあったが、そこらへんも自由にできるのもいいと思った。
0643名無しさん＠お腹いっぱい。
垢版 |
2015/06/25(木) 10:50:52.82
RSSリーダーとかTwitterBotとかならGASで公開している人がいるのですぐ作れるよ。
「google apps script ????」で1週間ぐらいの日本語のみにしておくとひっかかる。
0646644
垢版 |
2015/06/25(木) 16:45:46.22
>>644
FacebookのRSSは6/23で廃止になったようです。
ttp://webgoto.net/351/
0649名無しさん＠お腹いっぱい。
垢版 |
2015/06/29(月) 22:10:11.58
>>643

技術弱者なので、それだけの説明では理解できない。

もうちょっと詳しい説明おねがい。
0651643
垢版 |
2015/06/30(火) 10:43:37.06
>>649
何がしたいのかによるから
RSSがないのをRSS化するならkimono
ttp://imabari.hateblo.jp/entry/2015/06/23/145853
kimonoでフィルタ
ttp://imabari.hateblo.jp/entry/2015/05/07/231225

RSSを結合・フィルタならGoogle Apps Script
ttp://imabari.hateblo.jp/entry/2015/06/18/114843

TwitterでBOTするならGoogle Apps Script
ttp://imabari.hateblo.jp/entry/2015/06/12/143021
0654名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 13:58:46.74
>>653
XMLやJSONやRSSを加工するならGoogle Apps Scriptはベストだと思う。
あとはBOTぐらい反対にそれ以外の用途に使うのは難しい。

スクレイピングには向いてない。
0655名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 17:09:11.91
>>651

> RSSがないのをRSS化するならkimono
> ttp://imabari.hateblo.jp/entry/2015/06/23/145853


ありがとう。

ツイッターをRSSリーダーで、まとめ読みしたいから試してみるよ。
0658名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 18:07:34.88
>>657

Omit direct messages (started with @someuser)

Omit retweets (started with RT)

Show images as attachments


この３つのどれにチェックを入れればいいのかがわからない。
0660名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 18:51:39.43
omitほにゃららにチェックを入れたら、該当するツイートを除外するんだと思うよ。
特定のユーザのツイートを全部取得したいなら、from:dave_spector みたいに指定してあげるだけで良いと思う。
もちろん、ダイレクトメッセージやリツイートは除外したいなら、それぞれにチェック入れれば良いよ。
0662名無しさん＠お腹いっぱい。
垢版 |
2015/07/05(日) 12:34:49.24
RSSの無いサイトをRSS化したくてkimono使ってみたけどなんかうまくいかなくてGASで挑戦してみた
HTML読むの確かに弱いみたいで、仕方ないから文字列として読んで正規表現だけでどうにか整形した
最初単一のスクリプトでRSS吐くようにしたらどうしようもなく遅かったけど
スプレッドシートに書き込むのと、スプレッドシートを読んでRSSとして出力するのに分けたらすごく速くなった
スプレッドシートのRSS化はググったらすぐ出てきたやつほぼそのまま使ったよ
0664名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 03:08:04.67
>>663
そりゃまぁ自分のプログラミング能力に自信のある人ならなんでもできるのだろうけどさ
単なるサーバサイドで動くJS感覚で

スクレイピング特化のIDEからの移行という事を考えてもらわないと
0665名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 03:34:05.00
kimono登録して弄ったけどよく分からんかった
jsonとcsvは正常っぽいのにRSSだけおかしい
RSSの作成だけならfeed43でいいかなぁ

しかしフィルタリングも必要だからなんとかしなきゃ…
0666名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 13:13:53.88
単なるフィルタルングはフィードリーダー側に付くべきだと思ってるけど
googleもldrも結局付かなかったな
0667名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 13:59:18.15
>>663
やってみたらわかるけどxmlだとスクレイピングできないので結局正規表現しかない
いろいろ探してみたけどどれもタイトル引っ張ってくるだけのサンプルしか見つからなかった
0668名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 14:21:34.93
>>665
名前を以下の名前にしてないとRSSにならないよ
Aは必須、Bはあってもなくても、Cはなくても
A
title　タイトル（リンク含）

B
description　内容
pubDate　日付

C
author
category
comments(LINK)

あとコレクションがひとつで抽出している数が全部同じじゃないとRSS化できなかった。

フィルタはこのサンプルでできた。
ttp://imabari.hateblo.jp/entry/2015/05/07/231225
0669名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 18:43:17.73
>>668
titleはtitle(LINK)じゃなくてもいいのか
良かったらHatenaBlogの人が書いてる"それぞれのAPIを作成"ってどういうことか詳しく教えて欲しい
0672名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 20:29:40.55
>>669
>>668じゃないけど、そのブログで説明されているのは、リンクを取得する API(1)の作成と、1のAPIをソース(URLs from source API)にして title や description を取得するAPI(2)の作成、という2段構えでRSSを作成する手順だよ。
1個目のAPIでページからリンク抽出→1個目のAPIの結果をインプットにして2個目のAPIで詳細情報の抽出
なので、「1・2それぞれのAPIを作成する。」ってこと。
pipesでも複数のpipesをつなげるやり方があるでしょ。あんな感じ。
0674名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 23:26:51.80
xpath系は672の方法で大体kimonoで代用できそう。
0682名無しさん＠お腹いっぱい。
垢版 |
2015/07/23(木) 12:38:15.73
>>666
広告載せてるから無料でサービス提供出来てるRSSリーダーが
[PR]の文字はじく機能つけたら誰もカネ出さないだろ
アホみたいにシンプルで圧倒的に需要ある機能なのに
絶対に形にならないとか歪んでるよな
0684名無しさん＠お腹いっぱい。
垢版 |
2015/07/24(金) 17:13:43.34
>>683

お！
0685名無しさん＠お腹いっぱい。
垢版 |
2015/07/24(金) 20:20:00.05
Pipesの代用にはオーバースペックのような気がするけど。
それにこれを自鯖で動かせるなら簡単なPHPなりPythonなり書けると思うし、書いた方がが早い気がする。
0695名無しさん＠お腹いっぱい。
垢版 |
2015/08/13(木) 16:17:50.84
>>694

困るよなあ
0696名無しさん＠お腹いっぱい。
垢版 |
2015/08/13(木) 21:40:04.41
項目
項目
項目 new
項目

みたいなのをkimonoで抽出すると↓みたいなことになる。前は↑の状態のまま抽出できたのに…
項目 new
項目
項目
項目
0697名無しさん＠お腹いっぱい。
垢版 |
2015/08/14(金) 00:35:27.08
あれこれ移行先考えたけど面倒くさくなってPC上で自作アプリ定期起動、
出力結果のrssをgoogle driveに配置で落ち着いた
リアルタイム性はあまり求めてないのでもういいわ
0699名無しさん＠お腹いっぱい。
垢版 |
2015/08/17(月) 16:17:40.85
下がりすぎたのでアゲ
0704名無しさん＠お腹いっぱい。
垢版 |
2015/09/13(日) 18:37:45.11
困ったねえ。
0706名無しさん＠お腹いっぱい。
垢版 |
2015/09/14(月) 07:13:43.18
まとめたRSSを自分で読む為だけにPipes使ってました。
仕方なく、自作のしょぼいRSSリーダープログラムを大幅改修して
複数RSS統合、重複記事排除、不要記事削除、日付順に
ソートなどの機能を追加して使ってます。

いまだに細かいバグはありますが、とりあえず、なんとかなりました。

2chMate 0.8.7.11/Borqs/Si01BB/4.2.2/LR
0707名無しさん＠お腹いっぱい。
垢版 |
2015/09/14(月) 14:09:44.00
実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック
読んでみたけどamazonのレビュー通り

内容は初歩の初歩で終わりこんなツールがあるよって感じで
その先が情報が知りたいのにさわりだけで全然内容がない
pythonのコードが最初の頃と後ろの方にもあるけどまったく同じコード

目次見てツールの名前調べたんでいいレベル
0712名無しさん＠お腹いっぱい。
垢版 |
2015/09/28(月) 13:28:52.68
いくつか立ち上がってたクローン系のプロジェクトはどうなったんだろ・・
ここまで代替が来ないなんて思ってなかった
0713名無しさん＠お腹いっぱい。
垢版 |
2015/09/28(月) 14:45:47.85
代替サービスがあってもPipesからそのまま引き継ぐのは期待できなかったし、
新しいサービスで同じ内容を組み直すくらいなら、その苦労の時間を使って
なにか言語を習得して自分でコード書いたほうがいいのは明らか。
かなり時間はあったのに何やってたんだよ。
0716名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 21:40:18.43
あとわずかで使えなくなるんだ
代替なくて困ったままだけど世話になったな
0718名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:43:08.23
時間なくてjavascriptの習得も、GASで自分のやりたいことを動かすレベルまでに達っせてないが、コツコツ続けるしかない…
0719名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:44:43.68
あっちの時間の9/30だろうから、まだ明日のお昼くらいまで使えるかな。
なくなるのは本当に残念だが、仕方ない。ありがとう、Yahoo!pipes！
0720名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:53:11.25
自作RSSはphpで代替した。案外簡単だったよ。
0721名無しさん＠お腹いっぱい。
垢版 |
2015/10/01(木) 14:12:29.48
phpできる人は羨ましい。
pipes確認したらまだ動いてるね
0722名無しさん＠お腹いっぱい。
垢版 |
2015/10/01(木) 21:54:07.67
既存のRSSを正規表現とかでフィルタリングして別のRSSとして吐き出す(そしてFeedlyあたりで読む)
みたいなのをやるにはGASが手頃っぽいんだけどなかなか難しい…
ネットで断片的な情報はいくつか見つかるから再利用させてもらおうとは思っているのだが
0726名無しさん＠お腹いっぱい。
垢版 |
2015/10/04(日) 18:37:58.09
使おうと思ったら繋がらない
終わったか
0728名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 17:06:50.15
>>724

困ったなあ
0729名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 19:50:01.37
>>727
スクレイピングもyqlとかPage2Feed併用すりゃxmlに(無理やり)変換してくれるので楽々。

function fetchXPathPage (url, xpath, html5, charset) {
const yqlapi = 'https://query.yahooapis.com/v1/public/yql?';
const Q = "'";
var query = 'select * from html where url=' + Q + url + Q;
if (!(html5 === false))
query += ' and compat=' + Q + 'html5' + Q;
if (charset)
query += ' and charset=' + Q + charset + Q;
if (xpath)
query += ' and xpath=' + Q + xpath.replace(/\'/g,'"') + Q;
var yql = yqlapi + 'format=xml&amp;q=' + encodeURIComponent(query);
var contents = UrlFetchApp.fetch(yql).getContentText();
var document = null, xml = null;
try {
document = XmlService.parse(contents);
} catch (e) {
document = null;
}
if (document)
xml = document.getRootElement().getChild('results');
return xml;
}
0730名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 20:39:49.03
こういう状況でまだYQLとかいつ終わってもおかしくないサービスに頼るってのが
ちょっと私には理解できないですね
0733名無しさん＠お腹いっぱい。
垢版 |
2015/10/16(金) 20:06:25.85
リーダーの時みたいに代替が出てくるかとと思って
様子見てたら出遅れたので

単純で更新頻度が高いのはKimonoに
複雑で更新頻度が低いのはFeed43に
複雑かつ更新頻度が高いのは自作perlに

なんとか振替終わった。
PHPが理解できればもうちっと楽できたんだろうけど。
0735名無しさん＠お腹いっぱい。
垢版 |
2015/10/30(金) 22:04:30.92
ttp://run.pipes.yahoo.com/
ミラーがまだ動いている

Yahoo! Pipesのミラーサーバーは未だ稼働中 - K'conf
ttp://kenz0.s201.xrea.com/weblog/2015/10/yahoo_pipes.html
0736名無しさん＠お腹いっぱい。
垢版 |
2015/11/01(日) 11:55:47.86
安いのにコスパ高くてしかもうまいｗ
味噌汁もついてきてこの寒い朝にピッタリだねｗ
http://i.imgur.com/HEONEbG.jpg
※画像は豚汁変更と大盛のオプションを付けております。

あとすき家は国産の米を使っているから他店より味もいいねｗ
詳しい食べ方はこれをみてくれｗ
http://www.riki35.com/tabearuki/yahatahigasiku/3140/

一応他にもチーズ牛丼や鍋やおいしいメニューがいっぱいあるから公式ホームページもはっとくわｗ
http://www.sukiya.jp/sp/

お前らｗお腹が空いたらすき家に行こうｗ
0741名無しさん＠お腹いっぱい。
垢版 |
2015/12/06(日) 22:49:14.98
俺はいつもNHK・新聞勧誘が来たらまず服を脱ぐ（靴下以外）。
そしてドアを大きく開ける。
たいていの勧誘人は1分以内に帰る。
一度だけ、フルチンの俺を無視して勧誘を続ける新聞勧誘がいたが、
俺が勃起してきたのを見て帰っていった。
楽勝。
0742名無しさん＠お腹いっぱい。
垢版 |
2015/12/16(水) 19:41:14.57
pipes終わったけど
お前ら今だから言える
こんなRSS取得してましたっての言っていけよ
それで供養としよう

俺は毎日虹美少女画像が流れてくるDanbooruの
ランキング上位画像だけ吐き出してくれるPipes作って
ﾆﾀﾆﾀしてました、お世話になったよありがとうYahoo Pipes
0743名無しさん＠お腹いっぱい。
垢版 |
2015/12/17(木) 15:09:05.87
ラノベ天狗っつうインターネット妖怪がいるんだが
それの真似事するのにtwitterの検索結果からbotを取り除くので使ってた
バイバイYahoo Pipes
0744名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 02:23:39.26
Ceron.jpのRSSのうち、コメント数が特に多いもの(3桁以上)を抽出するのに使ってた

あとアメブロの全文取得＆画像表示RSS
0745名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 16:21:02.92
結局代替はどうしたんだよお前ら
統合とフィルターと全文表示くらいしか使ってなかったが
pipesほど簡単に出来るのないんか
0746名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 20:12:04.88
Twitterで好きなテレビ番組情報呟くbot作ってたよ。
番組HPから次回告知の情報抜いて、次回放送までの時間計算させて定期的にRSS作って外部サービスと連携させてた。
0748名無しさん＠お腹いっぱい。
垢版 |
2016/01/02(土) 10:28:04.55
くまブ
0749名無しさん＠お腹いっぱい。
垢版 |
2016/01/12(火) 08:18:57.30
RSS吐かせるのが恋しくなってFEED43試してみたら
pipesのときと同じ感覚で正規表現で抜き出せて安心した

有料プランも魅力的だけど高くて悩む
0759757
垢版 |
2016/02/18(木) 10:09:45.07
今見たらコメントにマッチの仕方書いてた
とりあえず結合・フィルタできた

>>758
そこのページのコメント欄に書いてるけど
マッチの書き方のサンプルが間違ってたんだ
0760名無しさん＠お腹いっぱい。
垢版 |
2016/02/19(金) 11:59:40.63
kimonolabsのツイッターアカウントをフォローしてるユーザを usespiranca というアカウントがフォローしだした。関係者なのかどうかは不明だけど、類似サービスを出すって言ってる。
https://twitter.com/usespiranca
メールアドレス収集目的かもしれないから、実際にローンチするまでは眉唾だけど。
0763名無しさん＠お腹いっぱい。
垢版 |
2016/02/28(日) 05:21:49.80
https://paiza.io/help
WEBサイトのスクレイピングなどもpaiza.IOで実行可能です。
どこかサンプル知りませんか？
PythonとかでBeautifulsoup使えるといいのですが
0764名無しさん＠お腹いっぱい。
垢版 |
2016/02/28(日) 22:47:27.03
Kimono for Desktop の Windows版、最初は起動時にエラーが出たりしたけど、数回起動し直したら動くようになった。
とりあえずローカルでは動くのを確認できたし、まだ試してないけど Firebase で動かせるみたいだから一安心。
それと、pipes/kimono の代替としては https://www.apifier.com/ ←これも良さそう。
0770名無しさん＠お腹いっぱい。
垢版 |
2016/05/01(日) 03:19:11.69
簡易的に使ってたPage2RSSが止まったとかでもう泣きそう
0771名無しさん＠お腹いっぱい。
垢版 |
2016/05/05(木) 11:09:15.67
通話料が激安になるブラステル（050 Free）で、かなり遅延や音声途切れが発生する方は、以下の設定を試してください
○ Wifiと３Ｇのコーデックは２つ（GSM、G.711u-Law）とも有効にしておく
○ エコーキャンセルをOFF（チェックを外す）にする
○ あとの設定はデフォルトのまま
http://blog.livedoor.jp/gnunobian/archives/52013458.html
上記の設定でも音質が悪い方は、wolfsonの高音質チップを搭載した機種（Galaxy 初代S、S3、S6、 SH-06E、SH-07E、206SH、 Galaxy Note II）に買い換えて下さい
なお、発信だけ改善すれば良い方は、MizuDroidをデフォルト設定のまま使用すれば、かなり改善しますが一時間で着信できなくなり電池使用量も多くなるので、通話終了後はMizuDroidも終了させて下さい

500円以下の格安SIMで使えて登録・月額無料、IPベース発信なら携帯へは5.5円／30秒、固定へは8円／3分
http://blog.jikoman.jp/2015/11/brastel-050-free.html
あと、050Freeの起動もしくは発着信が２週間以上ないとプッシュサーバー期限切れでプッシュ着信が出来なくなるので、Llama Location Profilesで１週間に一度050Freeを自動起動するように設定すればプッシュ着信できます


ファイル共有ソフトの世界が変わる。匿名通信（Tor、i2p等）ができる Perfect Dark ・ Share ・ Winny みたいな、
BitTorrent（Covenant）が活発な情報交換・交流コミュニティでオープンソース開発されています（プロジェクト支援者募集中）

PayPalからの寄付はいくらでも大丈夫だそうなので、Covenant開発プロジェクトを支援したい！って人居ませんか？
https://pledgie.com/campaigns/26321

Covenantの作者（Lyrise氏）がそういう人と話したいそうなので、よろしければツイートお願いします<(_ _)>
https://twitter.com/Lyrise_al

ちなみにオイラはCovenantの完成が待ち遠しいプログラミングできない情報発信好きアスペルガーｗ


最後にロケットストーブの焚き口へ超省電力なDC扇風機で風を送ると、横引き煙突が12ｍ以上あっても煙が逆流してきません。
よって、横引き煙突で超高効率な熱回収ができるので薪が少量で済みます
あと、燃焼室の大きさは『無煙竹ボイラMBG150』で検索して参考にして下さい
え
0772名無しさん＠お腹いっぱい。
垢版 |
2016/06/07(火) 06:43:41.60
むむむ
0773名無しさん＠お腹いっぱい。
垢版 |
2016/07/02(土) 19:28:38.69
みんな今何使ってるん？
0775名無しさん＠お腹いっぱい。
垢版 |
2016/07/03(日) 18:21:26.27
マ イ ン ド コ ン ト ロ ー ル の手法

・沢山の人が、偏った意見を一貫して支持する
　偏った意見でも、集団の中でその意見が信じられていれば、自分の考え方は間違っているのか、等と思わせる手法

・不利な質問をさせなくしたり、不利な質問には答えない、スルーする
　誰にも質問や反論をさせないことにより、誰もが皆、疑いなど無いんだと信じ込ませる手法

偏った思想や考え方に染まっていたり、常識が通じない人間は、頭が悪いフリをしているカルト工作員の可能性が高い

靖 国 参 拝、皇 族、国 旗 国 歌、神 社 神 道を嫌う カ ル ト

10人に一人は カ ル ト か 外 国 人

「ガ ス ラ イ テ ィ ン グ」 で 検 索 を ！
0776名無しさん＠お腹いっぱい。
垢版 |
2016/07/03(日) 21:01:17.49
>>735ってまだ生きてるの？さすがにもう死んでる？

自分で試したいけどもうパイプのURLとか記録に残ってないｗ
0777名無しさん＠お腹いっぱい。
垢版 |
2016/07/03(日) 21:43:06.16
>>776
検証の意味でまだ残してるけど、何ヶ月かおきに流れてくるぐらいの間隔
完全に死んではいないようだが、実用性は皆無
0778名無しさん＠お腹いっぱい。
垢版 |
2016/07/03(日) 21:53:19.29
>>777
ありがとう。
その状態でなお完全に死んでないのがすごいなｗ
0783名無しさん＠お腹いっぱい。
垢版 |
2016/07/14(木) 23:30:59.30
なんか ScraperWiki にユーザ登録したメールに新しいサイトの連絡が来たよ。
quickcode.io
とかいうサイト、ScraperWikiと同じユーザIDとパスワードでログインできたし、データも引き継がれてた。
0784名無しさん＠お腹いっぱい。
垢版 |
2016/11/04(金) 17:11:44.54
>>782の下って日本語通る？
0789名無しさん＠お腹いっぱい。
垢版 |
2017/04/27(木) 01:39:12.17
どうして死んでしまったんや
0798名無しさん＠お腹いっぱい。
垢版 |
2017/10/04(水) 22:09:05.01
みんな今何使ってるの？自前？
0799名無しさん＠お腹いっぱい。
垢版 |
2017/10/26(木) 00:35:53.01
悪いひとたちがやって来て
みんなを殺した

理由なんて簡単さ
そこに弱いひとたちがいたから

女達は犯され
老人と子供は燃やされた

悪いひとたちはその土地に
家を建てて子供を生んだ

そして街ができ
悪いひとたちの子孫は増え続けた


朝鮮進駐軍 関東大震災 日本人大虐殺
https://goo.gl/FTqHJ1
https://goo.gl/1ntWvZ
https://youtu.be/D0vgxFC04JQ
https://goo.gl/h1o4eV
https://www.youtube.com/watch?v=sYsrzIjKJBc
0801名無しさん＠お腹いっぱい。
垢版 |
2017/12/09(土) 10:56:11.42
ボー
0804名無しさん＠お腹いっぱい。
垢版 |
2017/12/16(土) 17:25:44.43
ボー。なるほど。
0805名無しさん＠お腹いっぱい。
垢版 |
2018/07/25(水) 01:34:59.83
あけましておめでとう
0806名無しさん＠お腹いっぱい。
垢版 |
2018/10/17(水) 18:51:19.05
保守
0808名無しさん＠お腹いっぱい。
垢版 |
2018/11/05(月) 17:52:09.22
保守
0809名無しさん＠お腹いっぱい。
垢版 |
2018/11/05(月) 19:20:16.26
国を保てなくなり頼むから併合してやったのに、
恩を仇で返すバカチョン民族。

従軍慰安婦問題？
そんな問題はない！
親が金に困り娘を売った。
娘は知らなかった。
それだけだ。
恨むならチョンなんかに生まれた運命を恨め。
恩を仇で返すバカチョン民族。

世界の三大嫌われ民族
チョン公
ユダ公
露助

東洋のユダ公＝チョン公。

在日、巣へ帰れ、失せろ、消えろ。

在日は、羞恥心がないから、日本人の蔑む仕事をやる。
そういう仕事は、金になる。
アイデンティティがないから、金しか頼るものがない。

白丁←検索のこと。
0811名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 13:23:40.83
保守
0812名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 13:23:51.99
保守
0814名無しさん＠お腹いっぱい。
垢版 |
2018/12/07(金) 18:47:17.48
保守
0816名無しさん＠お腹いっぱい。
垢版 |
2018/12/09(日) 13:03:13.74
保守
0817名無しさん＠お腹いっぱい。
垢版 |
2018/12/14(金) 17:47:10.25
保守
0819名無しさん＠お腹いっぱい。
垢版 |
2018/12/21(金) 17:32:24.46
捕手
0820名無しさん＠お腹いっぱい。
垢版 |
2018/12/21(金) 20:17:09.90
何ここ
0821名無しさん＠お腹いっぱい。
垢版 |
2018/12/24(月) 18:05:42.01
保守
0822名無しさん＠お腹いっぱい。
垢版 |
2018/12/26(水) 18:15:13.58
保守
0824名無しさん＠お腹いっぱい。
垢版 |
2018/12/30(日) 14:40:27.98
保守
0825名無しさん＠お腹いっぱい。
垢版 |
2018/12/30(日) 16:42:01.39
どんだけ保守すんねん
0826名無しさん＠お腹いっぱい。
垢版 |
2019/01/01(火) 02:09:35.30
頌春
0827名無しさん＠お腹いっぱい。
垢版 |
2019/01/02(水) 16:20:48.84
保守
0828名無しさん＠お腹いっぱい。
垢版 |
2019/01/03(木) 01:57:29.26
>>790-796

https://developer.yahoo.com/yql/
Important EOL Notice: As of Thursday, Jan. 3, 2019, the YQL service at query.yahooapis.com will be retired.
This will impact users of datatables.org as well as developers who creates features using this YQL service.

To continue using our free Yahoo Weather APIs, use https://weather-ydn-yql.media.yahoo.com/forecastrss as your new API endpoint.
Contact yahoo-weather-ydn-api@oath.com for credentials to onboard to this free Yahoo Weather API service.

Other YQL based services that use query.yahooapis.com will no longer operate.
0829名無しさん＠お腹いっぱい。
垢版 |
2019/01/13(日) 15:34:07.12
保守
0830名無しさん＠お腹いっぱい。
垢版 |
2019/01/14(月) 15:28:22.37
yqlついに死んだの？
0831名無しさん＠お腹いっぱい。
垢版 |
2019/01/15(火) 10:36:17.41
保守
0832名無しさん＠お腹いっぱい。
垢版 |
2019/01/15(火) 10:53:47.44
このまま保守で1000を目指すのか
0833名無しさん＠お腹いっぱい。
垢版 |
2019/01/18(金) 18:26:26.22
保守
0834名無しさん＠お腹いっぱい。
垢版 |
2019/01/20(日) 16:22:44.96
保守
0836名無しさん＠お腹いっぱい。
垢版 |
2019/01/22(火) 18:05:41.82
保守
0837名無しさん＠お腹いっぱい。
垢版 |
2019/02/01(金) 17:45:14.91
保守
0838名無しさん＠お腹いっぱい。
垢版 |
2019/02/06(水) 17:54:52.24
保守
0839名無しさん＠お腹いっぱい。
垢版 |
2019/02/19(火) 17:57:36.41
保守
0840名無しさん＠お腹いっぱい。
垢版 |
2019/02/22(金) 18:01:14.80
保守
0841名無しさん＠お腹いっぱい。
垢版 |
2019/02/25(月) 15:18:09.24
IT問屋名古屋店に注意

いい加減な店
嘘を吐かれた上に長々と待たされ応対も不誠実！
0842名無しさん＠お腹いっぱい。
垢版 |
2019/03/01(金) 13:30:50.36
保守
0844名無しさん＠お腹いっぱい。
垢版 |
2019/03/04(月) 17:56:07.94
保守
0845名無しさん＠お腹いっぱい。
垢版 |
2019/03/08(金) 10:19:14.78
保守
0846名無しさん＠お腹いっぱい。
垢版 |
2019/03/12(火) 18:11:43.37
保守
0847名無しさん＠お腹いっぱい。
垢版 |
2019/03/14(木) 18:15:16.26
保守
0848名無しさん＠お腹いっぱい。
垢版 |
2019/03/14(木) 18:16:02.72
保守
0849名無しさん＠お腹いっぱい。
垢版 |
2019/03/17(日) 14:31:32.52
保守
0850名無しさん＠お腹いっぱい。
垢版 |
2019/03/21(木) 14:58:45.13
保守
0851名無しさん＠お腹いっぱい。
垢版 |
2019/03/23(土) 17:44:32.22
保守
0852名無しさん＠お腹いっぱい。
垢版 |
2019/03/24(日) 16:46:39.15
保守
0853名無しさん＠お腹いっぱい。
垢版 |
2019/03/25(月) 18:11:35.07
保守
0854名無しさん＠お腹いっぱい。
垢版 |
2019/03/26(火) 18:34:20.77
保守
0855名無しさん＠お腹いっぱい。
垢版 |
2019/03/30(土) 06:16:33.19
Yahoo!mobage、馬鹿サイト、糞サイト、

芥！屑！滓！使い物にならない！

潰れろ！死ね！地獄へ堕ちろ！
0862名無しさん＠お腹いっぱい。
垢版 |
2019/07/06(土) 11:52:17.88
保守
0864名無しさん＠お腹いっぱい。
垢版 |
2019/08/24(土) 19:24:45.75
保守
0865名無しさん＠お腹いっぱい。
垢版 |
2019/08/25(日) 22:01:23.54
これ何？
0869名無しさん＠お腹いっぱい。
垢版 |
2019/09/07(土) 17:03:02.27
ち
0870名無しさん＠お腹いっぱい。
垢版 |
2019/09/07(土) 17:53:01.34
じゃ
0871名無しさん＠お腹いっぱい。
垢版 |
2019/09/07(土) 19:24:55.34
じゅ
0874名無しさん＠お腹いっぱい。
垢版 |
2019/11/01(金) 01:12:14.52
もう4年も経ったのか
0876名無しさん＠お腹いっぱい。
垢版 |
2020/02/02(日) 01:02:46.24
保守
0877名無しさん＠お腹いっぱい。
垢版 |
2020/07/25(土) 03:32:27.78
保守
0879名無しさん＠お腹いっぱい。
垢版 |
2021/01/09(土) 16:50:44.81
？
0880名無しさん＠お腹いっぱい。
垢版 |
2021/07/31(土) 18:37:24.05
保守乙
0881名無しさん＠お腹いっぱい。
垢版 |
2021/08/15(日) 00:23:12.51
お盆だよ
0882名無しさん＠お腹いっぱい。
垢版 |
2022/01/01(土) 01:33:54.12
あけましておめでとうございます
0885名無しさん＠お腹いっぱい。
垢版 |
2022/04/29(金) 23:09:52.72
昭和
0889名無しさん＠お腹いっぱい。
垢版 |
2022/08/30(火) 17:44:46.14
８８８
0890名無しさん＠お腹いっぱい。
垢版 |
2022/12/11(日) 18:14:58.64
890
0891名無しさん＠お腹いっぱい。
垢版 |
2023/01/04(水) 21:26:36.47
あけましておめでとうございます
0892名無しさん＠お腹いっぱい。
垢版 |
2023/01/16(月) 20:23:02.09
ことよろ
0893名無しさん＠お腹いっぱい。
垢版 |
2023/08/28(月) 19:52:34.20
893ゲット!
0895名無しさん＠お腹いっぱい。
垢版 |
2023/09/20(水) 15:10:03.54
何を？
0898名無しさん＠お腹いっぱい。
垢版 |
2023/10/02(月) 21:08:45.27
適当なスレでtest
0899名無しさん＠お腹いっぱい。
垢版 |
2023/10/02(月) 21:09:18.31
書けるな
お邪魔した
0900名無しさん＠お腹いっぱい。
垢版 |
2023/10/02(月) 21:22:35.06
900ゲッツ
0901名無しさん＠お腹いっぱい。
垢版 |
2024/01/01(月) 02:41:55.12
あけましておめでとうございます
0902名無しさん＠お腹いっぱい。
垢版 |
2024/01/01(月) 04:00:14.35
？ことよろ
新着レスの表示
レスを投稿する

レス数が900を超えています。1000を超えると表示できなくなるよ。
ニューススポーツなんでも実況