X

【RSS】　　Yahoo! Pipes 2　　【XPath】

0551名無しさん＠お腹いっぱい。
垢版 |
2015/03/07(土) 14:00:32.11
YQLで日本amazonから新着書籍を検索しようとしているのですが、文字化けしてしまいます。どうしたらよいでしょうか。

use "store://B10k4SmlCX77LTK6yvA5Ky" as amazon.awsjp;select *
from amazon.awsjp where Keywords="京都" and AWSAccessKeyId="*********"
and secret="********" and SearchIndex="Books" and ResponseGroup="Medium"
and AssociateTag="********" and Sort="daterank"

文字化け以外は動いているんですが。
0554名無しさん＠お腹いっぱい。
垢版 |
2015/03/09(月) 22:40:57.94
amazonから新着書籍を検索するパイプを公開してみました。
AWSAccessKeyIdとsecret鍵を入力すれば使えるのですが、文字化けしてしまっています。
http://pipes.yahoo.com/pipes/pipe.info?_id=0fea42d60b57385fe777b4bf71dcdf81

設定のxmlファイルは
http://khamada2002.web.fc2.com/amazon.aws.jp.xml
に置きました。

文字化けがなくなりますよう、ぜひお力添えください。
0555名無しさん＠お腹いっぱい。
垢版 |
2015/03/10(火) 15:07:00.48
Amazon Webサービスのスレがあればそこで聞いたほうがいいんじゃない？
ここだとAccessKey取得してる人いるかもわかんないし
0557554
垢版 |
2015/03/10(火) 20:05:27.81
文字化けが解消しました。
何週間も前から文字化けしていたのに、突然解消したとはこれはいかに。

いずれにせよ良かったです。　たいへんありがとうございました。
0559名無しさん＠お腹いっぱい。
垢版 |
2015/03/17(火) 08:48:53.01
twitterで時々「yahoo pipesってまだ生きてたのか」
みたいなのが流れてきて悲しい
まだβみたいなもので生まれてもいないというのに・・・
0560名無しさん＠お腹いっぱい。
垢版 |
2015/03/22(日) 00:27:17.23
kimono(ttps://www.kimonolabs.com/)で取得した、複数のjsonのデータをpipesで組み合わせられるでしょうか

・jsonのデータA
"results":{"A":[{
"Aの項目1":"文字列","Aの項目2":"文字列","Aの項目3":"文字列","Aの項目4":"文字列"
}},
以下続く

・jsonのデータB
"results":{"B":[{
"Bの項目1": "文字列","Bの項目2": "文字列"
}},
以下続く

・整形したい形
"results":{"A":[{
"Aの項目1": "文字列","Aの項目2": "文字列","Aの項目3": "文字列","Aの項目4": "文字列",
"Bの項目1": "文字列","Bの項目2": "文字列"
}},
以下続く
0561名無しさん＠お腹いっぱい。
垢版 |
2015/03/28(土) 23:45:55.39
>>559
まだ生まれてないワロタ
だが死なれては、難しいことができない身としては本当に困る
収益厳しいなら月額で数百円程度のプラン用意してくれるなら全然出すよ…
0562名無しさん＠お腹いっぱい。
垢版 |
2015/04/01(水) 10:42:41.53
>>465

> kimonoがいい感じ。
> ttps://www.kimonolabs.com


これ使うとツイッターをRSSリーダーでまとめ読みできるだろうか？
0566名無しさん＠お腹いっぱい。
垢版 |
2015/04/13(月) 18:40:25.55
>>565

その後どうなった？
0567名無しさん＠お腹いっぱい。
垢版 |
2015/04/13(月) 21:35:24.78
自分は、google翻訳をfetchしするモジュール（たぶん）を転用して
多国語のtitleやdescriptionを英語に直してたんだけど、もうダメですね
yahoo pipesからのフェッチング自体が蹴られてるみたい
0568名無しさん＠お腹いっぱい。
垢版 |
2015/04/26(日) 19:19:20.87
textinputなどを使用している場合feedのURLに
pipes.yahoo.com/pipes/pipe.run?_id=xxx&_render=rss&textinput1=○○○
のように末尾にtextinputなどに入力した文字列が付与される
この時feedのURLが6689文字？を超える場合「The Pipes engine request failed (400)」
となりGetasRSSなどが出来ない

っていう気をつける必要のほぼない仕様を発見した
0569名無しさん＠お腹いっぱい。
垢版 |
2015/05/10(日) 23:31:53.36
pipesで取ってこれないサイトはkimonoでって感じで連携して使ってるんだけどkimonoの仕様が変わったらしく、
保存できなくなったり編集中に取得したデータと実際に書き出されたデータが違ったりして困った

もう自分でプログラミング勉強するしかないのか
0570名無しさん＠お腹いっぱい。
垢版 |
2015/05/12(火) 15:14:12.23
Pipesで1つのRSSからitem.descriptionに複数のURLが抽出されました。
複数のURLを各々item.linkにしてitem.titleを各々のURLから引っ張ってきて
別のRSSを作ることはできますか？
0571名無しさん＠お腹いっぱい。
垢版 |
2015/05/15(金) 18:29:58.98
>>570
加工元rssのitem.descriptionに含まれている複数のurlを、
それぞれ独立したitem内にlinkとして振り分けて、かつリンク先のタイトルをitem.titleにしたいって事？

合ってるなら、思い付くのは
・各URLをString Tokenizerで抽出
・loopにXpath fetch page入れてリンク先の<title></title>部分をitem.titleに書き出す
0572名無しさん＠お腹いっぱい。
垢版 |
2015/05/30(土) 14:43:32.75
pipesから直接取ってこれないページ対策に、string bilderで下記みたいにYQL内のurl部分をitem.linkにして、
出来上がったurl(json)でfetch dataする流れを組み込んだpipesのrssを
他のpipesとマッシュアップしたらYQL入りの方がタイムアウトでーすwwwなんて言われるようになっただす…

http://query.yahooapis.com/v1/〜
item.link
%22%20and%20xpath〜

何か解決策はありますか？
0579名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 12:35:05.79
自分のpipes数確認したら70個くらいあった
これ全部他で作りなおすのかよ・・
有料でいいから続けてくれ
0582名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 12:54:50.64
他所のサービス使ってる限りはこうなるのは仕方ないよねー
とgoogle readerの時も思った
簡単に作れる(移行も簡単)なのだけサービスで作って、
複雑なのは自前で動かしたほうがいいね
0583名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 13:01:40.60
　　　　　　　　　　　　　　　　　　　　　＿＿＿＿　　　　　　　　　
　　　　　　　　　　　　　　　　　　　／ ＿＿＿　 ＼　　　　　　
　　　　　　　　　　　　　　　　(￣二　 |´・ω・`|　　 ＼　　
　　　　　　　　　　　　　　　　 ＼ヽ　　￣￣￣　　　　)　　
　　　　　　　　　　　　　　　　∠／　　　　　　　／|　|　　　
　　　　　　　　　　　　　　　　(　　　　　　　　／／／　　
　　　　　　　　　　　　　　　　 |　　 ,､______,ノ￣￣)　　　　　
　　　　　　　　　　　　　　　　 |　 /　　　￣/　／　　　　　
　　　　　　　　　　　　　　　 ＿|_|＿＿＿_/／＿　　
.　　 　 　　　　　　　| ￣￣￣￣￣￣￣￣￣￣￣￣ |￣￣￣￣￣|
────── 　　|　　　 ここですCAR　　　　　 　 | 　 　 　 　 　|
　＿＿＿＿＿　 　 |　 　,-─-、 　 　 　 　. ,-─-、　| 　 　 　 　 　|
.　　　　　　　　　　　|＿/ 　,-、ヽ＿＿＿＿/　,-、 ヽ_|＿＿＿＿＿|
　　　　　　　　　　　　　', 　 -'　ﾉ　　 ヽ:::::::::',　 -'　 ﾉ　 ヽ::::::::::丿
0585名無しさん＠お腹いっぱい。
垢版 |
2015/06/05(金) 20:39:46.70
終了なのか、、全文rss作るのに重宝してたんだが

自分の用途だとGoogle App Scriptサービスでいけそうなので、週末見て見る予定
0587名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 04:40:48.65
無知な俺を助けてくれ
google+なんだけど
https://www.googleapis.com/plus/v1/people/*********************/activities/public?key=APIキー&maxResults=10
こういうので
{
"kind": "plus#activity",
"etag": "",
"title": "",
"published": "",
"updated": "",
"id": "",
"url": "",
"actor": {
"id": "",
"displayName": "",
"url": "",
"image": {
"url": ""
}
こういうのを取得して形整えてRSSにしてたんだけど
これはどういう事をしていたんだろうか
色んなとこの見よう見まねでやってたから専門的な知識皆無だしどういう移行をすればいいのか分からないんだ
0588名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 13:30:34.56
プログラミングの知識がないのでpipes終了対策として勉強しようと思うのですが、
スクレイピングした内容を整形してrss化するなら、javascriptを勉強すれば使えると聞く
google app scriptが現状一番手軽でしょうか？
0590名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:00:45.85
>>589
kimonoも使ってはいるんですが、kimonoの出力結果をjavascriptで整形できても、
yahoo pipesの様にlink先の内容をスクレイピングして一緒やな書き出すとなると
他のツールも使わないと駄目だよなあと悩んでまして…。
0592名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:11:15.31
朝からGoogle Apps Scriptいじってみて、ようやく全文配信をFeedlyに登録ができた。
Yahoo Pipesみたいに相対パスを絶対パスに書き換えるとかはやってくれないが、Javascriptなのでがんばればいろいろやれそうな感じ
0594名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 15:26:02.84
ミドルウェアやらウェブサービスの使い捨ての知識を学ぶより、最初っからサーバ上で汎
用性の高いプログラミング言語使った方が結局は得なんだよな、と毎回思ってるのにこの
ザマだよ
0595名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 16:40:14.54
俺はPHPなら少しはいけるんで、Goutte,SimplePie,FeedWriterあたりを組み合わせて
昨日からいじってて、Pipesでできることはほぼできるようになった。
書き慣れていけば断然早いし自由度も高くなるしいいことずくめ。
0596名無しさん＠お腹いっぱい。
垢版 |
2015/06/06(土) 21:12:41.18
>>595
プログラミングとかさっぱりですがなんだか面白そうなツールですね
ちょっといじってみたくなりました。すぐ断念しちゃいそうだが・・
0597名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 03:29:30.64
プログラミングのプの字も分からないけど
google apps scriptでのスクレイピングについて調べてたら、かえって面倒そうな印象を受ける…

pipesと同じことしたいって決まってるなら、php勉強してスクレイピング用のライブラリ使った方が良いのかな

実際のところどうなんですかぬ
0598名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 08:11:04.09
自分は、サーバーの運用方法とか調べるほうが面倒そうだったので、Google Apps Scriptにした。
GASは結構情報は多いし、プログラムに慣れてたらサーバー立てるより簡単なだと思うが・・・
あと、Googleドライブなどをキャッシュがわりに使えたり、結構高度なこともできそう。

もちろん、PHPなどの汎用プログラムのほうが高度なことができて、サービスの停止は心配しなくていいのだろうけど。
0599名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 15:36:52.96
移行先をどうするか、GASが良さそうに感じるけど、
Readerでひどい目にあっているので、サービス継続性が不安……。

いっそ、安いレンタルサーバを借りて構築してしまう方が良いのかも。
0600名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 17:47:35.93
互換性のある適当な代替サービスがあるもんだと思ってたら全く無くて詰んだわー
0602名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 20:28:11.61
自鯖で動くように色々書いてるけど、キャッシュ管理が大事だな
PipesはLoop->fetchぶんまわしてもうまいことやってくれるし、
たとえ怒られてもYahooが被ってくれるけど、自鯖だと自分に直接くる
0604名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 21:33:45.72
確かにキャッシュは大事だね
Google Appsで一日のUrlFetchが多すぎますって怒られたw
テストしてたら合計1万回ぐらいFetchしてしまったのが悪いんだが・・

今はドライブに保存してなるべくFetchしないようなコードに変えた
0605名無しさん＠お腹いっぱい。
垢版 |
2015/06/07(日) 21:34:21.48
ツイッターをRSSリーダーでまとめて読んでいるんだが。

困ったなあ。

代替サービスあるだろうか？
0607名無しさん＠お腹いっぱい。
垢版 |
2015/06/08(月) 02:05:16.47
kimonoもちょいちょいクロール止まるんだよね
クロール頻度を毎時、毎日に設定してても最後にクロールしたの数日前とか

登録してるURLの量たいして無いのに
0613名無しさん＠お腹いっぱい。
垢版 |
2015/06/08(月) 10:14:46.40
>>612

Show images as attachments　にはチェック入れないほうがいいんでしょうか？
0614名無しさん＠お腹いっぱい。
垢版 |
2015/06/09(火) 03:17:55.91
filterで対象をpubDateにした時に、条件がDateBuilderみたいに文字列(todayとか)でも効く事に今更気付いた
もう終わり間近で気付いても虚しい…
0618名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 05:48:44.64
google apps scriptでやってるんだが
fetchして出てきた日付がGMTで yyyy-MM-ddTHH:mm:ss.SSSZ (TとZはそのままTとZが書かれてる）で
これをJSTにフォーマット出来ないだろうか
formatDateでは無理みたいで
0619名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 07:35:54.34
>>618
自分が作ったやつだけど、どうだろうか？

function getDate(dateString) {
dateString = dateString.replace(/(\d\d\d\d)-(\d\d)-(\d\d)/, '$1/$2/$3').replace(/T/, ' ').replace(/Z/, ' +00:00').replace(/([\+\-])/, ' $1');
return new Date(dateString);
}
0620名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 07:42:00.00
ミリ秒まであるのか
ちょっと修正

dateString = dateString.replace(/(\d\d\d\d)-(\d\d)-(\d\d)/, '$1/$2/$3').replace(/T/, ' ').replace(/Z/, ' +00:00').replace(/([\+\-])/, ' $1').replace(/\.(\d\d\d)/, '');
0621名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 08:20:24.06
pipesから乗り換えなくちゃいけなくなって始めたばっかだから無知すぎでどう使えばいいかよく分かんないけど
そのままコピペして実行したら
TypeError: undefined のメソッド「replace」を呼び出せません。
って出たよ
0622名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 08:44:30.04
いや、関数をそのまま呼び出すんじゃなくて、例の文字列を引数に渡してくれ

そしたらDateオブジェクトが返るから
0623名無しさん＠お腹いっぱい。
垢版 |
2015/06/10(水) 09:12:35.66
>>617
> >>615


俺としてはツイッターをRSSリーダーでまとめ読みできれば
それでOKなのだが。

たくさんありすぎてどれがベストなのかわからん。
0626名無しさん＠お腹いっぱい。
垢版 |
2015/06/12(金) 07:59:58.04
代替使ってみようと調べると
〇〇を使えることが前提だ。〇〇を調べると××を使えることが前提だ
ってなるの辛い
0628名無しさん＠お腹いっぱい。
垢版 |
2015/06/13(土) 06:55:19.97
apps scriptでUrlFetchApp.fetchで読み込んだhtmlの中に決まった文字列が何回出てくるかを数えるにはどうすればいいでしょうか？
0631名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 10:51:07.53
必要なものは全部PHPに移植完了した
しばらくは別でテストしながら様子見てちょこちょこコード修正して、
問題なければpipes終了までに置き換えていく
代替サービス使うのもいいけど、何でもいいから言語覚えて自分で書くのも勉強になるしいいよ
0633名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 12:43:34.04
これだけで鯖たてるのは面倒かもしれないけど、
俺は2chブラウザのrep2と、RSSリーダーのTiny Tiny RSSも
動かしてるから敷居は低かったな
0635名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 23:25:04.52
Yahoo!ウォレットのカスタマーサービスからぶん投げられた、催促メールが下記の通りつじつまが合わなくてヤバイ件。
内部犯罪のニオイがしてるが、消費者としてこんな気味が悪いことはないのだが。

＊Yahoo!ウォレットのサポートから”未払い料金の催促、通知メール”＊
==============================================================
1.ご登録お支払い方法にて請求が行えなかった件について
今月請求分のご利用料金のお支払いが完了いたしませんでした。
Yahoo!ウォレットのお支払い方法が無効、または登録情報に不備があるなどの理由でお支払いが完了しなかったご利用料金は、
別途コンビニエンスストア払込票でのお支払いをお願いしております。
==============================================================

ちなみにYahoo!プレミアム。
俺はデビットカードの口座でウォレットを引き落としてて、確認したところ口座残高を切らしたタイミングはなし。

つまり、口座から引き落とされませんでしたというサポートの言い分は”事実”ではなく、明らかに”作り話”ということ。
原因がデビットカード決済のシステムトラブルならば、消費者の管理外の問題なので。Yahoo!側はどこの業者と連絡を取ればいいかわかるはず。

では、デビットカードでのシステムトラブル”決済ミス”の問題が解決されておらず、Yahoo!サポートでの規定の手続き(コンビニ払込と、追加の手数料つき)へ”ずーっとぶん投げていた”のならそれは”消費者への不利益案件”であって、深刻な信用問題だ。
この疑いが、まずはひとつ。
0636名無しさん＠お腹いっぱい。
垢版 |
2015/06/16(火) 23:25:48.00
そういえば、以前もYahoo!のサポートは”いかにもインチキな誓約書”まがいを提示したことがあって、これに同意しろと言ってきていたことがあった。
やられた側はこういう気味の悪いことを忘れないものだが、ふたつ目の可能性として考えられるのは、
もしかしたらYahoo!側かデータを取り扱う関係者が”引き落としなし”というデータのねつ造をして、わざわざ”決済ミスを人為的に装ってきた”可能性も疑ってみる必要があるかも。

いずれにしても消費者にとっては不可解なもので、気味が悪いことこのうえない。
不利益はすでに小さくないよ。

しかし思うのは、こんな不快極まりないことを消費者がずっと抱え込むとでも思っているとしたら、コンプライアンスとしてヤバい企業ということ。
こんなの消費者は抱え込ないので、ネットで簡単にバラされてしまうことくらいは想定してくてはいけないはず。

ラーメン屋のようなコンプライアンス軽視できる業界でもないし、社員たちが対応できないだろうなどとは誰も擁護しないと思うのだが。
上にあげたように、Yahoo!がコンプライアンスがダメな企業であるのは間違いないし、世論にさらされるべき案件だ。
0640名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 19:42:08.09
pipesって言っても使い方は人それぞれだよね。
自分はRSSを作ってるんだけど、代替サービス使うよりPHPとかで
自分でスクリプト組んだほうがいいのかなって思ってる。
0641名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 20:15:14.05
脱Pipesしてよかったことのひとつは、フィード自体のURLを自由にできるから
リーダーがそれをもとにFaviconを取得する場合、Yahooのアイコンじゃなくなったこと
0642名無しさん＠お腹いっぱい。
垢版 |
2015/06/24(水) 20:24:25.88
Faviconの件は自分もよかったと思った
GASでRSS作ってるけど、Feedlyがリンク先のFaviconを使ってくれる

あと、pipesは更新間隔がおまかせで遅くなることもあったが、そこらへんも自由にできるのもいいと思った。
0643名無しさん＠お腹いっぱい。
垢版 |
2015/06/25(木) 10:50:52.82
RSSリーダーとかTwitterBotとかならGASで公開している人がいるのですぐ作れるよ。
「google apps script ????」で1週間ぐらいの日本語のみにしておくとひっかかる。
0646644
垢版 |
2015/06/25(木) 16:45:46.22
>>644
FacebookのRSSは6/23で廃止になったようです。
ttp://webgoto.net/351/
0649名無しさん＠お腹いっぱい。
垢版 |
2015/06/29(月) 22:10:11.58
>>643

技術弱者なので、それだけの説明では理解できない。

もうちょっと詳しい説明おねがい。
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況