X
【RSS】　　Yahoo! Pipes 2　　【XPath】
0651643
垢版 |
2015/06/30(火) 10:43:37.06
>>649
何がしたいのかによるから
RSSがないのをRSS化するならkimono
ttp://imabari.hateblo.jp/entry/2015/06/23/145853
kimonoでフィルタ
ttp://imabari.hateblo.jp/entry/2015/05/07/231225

RSSを結合・フィルタならGoogle Apps Script
ttp://imabari.hateblo.jp/entry/2015/06/18/114843

TwitterでBOTするならGoogle Apps Script
ttp://imabari.hateblo.jp/entry/2015/06/12/143021
0654名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 13:58:46.74
>>653
XMLやJSONやRSSを加工するならGoogle Apps Scriptはベストだと思う。
あとはBOTぐらい反対にそれ以外の用途に使うのは難しい。

スクレイピングには向いてない。
0655名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 17:09:11.91
>>651

> RSSがないのをRSS化するならkimono
> ttp://imabari.hateblo.jp/entry/2015/06/23/145853


ありがとう。

ツイッターをRSSリーダーで、まとめ読みしたいから試してみるよ。
0658名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 18:07:34.88
>>657

Omit direct messages (started with @someuser)

Omit retweets (started with RT)

Show images as attachments


この３つのどれにチェックを入れればいいのかがわからない。
0660名無しさん＠お腹いっぱい。
垢版 |
2015/06/30(火) 18:51:39.43
omitほにゃららにチェックを入れたら、該当するツイートを除外するんだと思うよ。
特定のユーザのツイートを全部取得したいなら、from:dave_spector みたいに指定してあげるだけで良いと思う。
もちろん、ダイレクトメッセージやリツイートは除外したいなら、それぞれにチェック入れれば良いよ。
0662名無しさん＠お腹いっぱい。
垢版 |
2015/07/05(日) 12:34:49.24
RSSの無いサイトをRSS化したくてkimono使ってみたけどなんかうまくいかなくてGASで挑戦してみた
HTML読むの確かに弱いみたいで、仕方ないから文字列として読んで正規表現だけでどうにか整形した
最初単一のスクリプトでRSS吐くようにしたらどうしようもなく遅かったけど
スプレッドシートに書き込むのと、スプレッドシートを読んでRSSとして出力するのに分けたらすごく速くなった
スプレッドシートのRSS化はググったらすぐ出てきたやつほぼそのまま使ったよ
0664名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 03:08:04.67
>>663
そりゃまぁ自分のプログラミング能力に自信のある人ならなんでもできるのだろうけどさ
単なるサーバサイドで動くJS感覚で

スクレイピング特化のIDEからの移行という事を考えてもらわないと
0665名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 03:34:05.00
kimono登録して弄ったけどよく分からんかった
jsonとcsvは正常っぽいのにRSSだけおかしい
RSSの作成だけならfeed43でいいかなぁ

しかしフィルタリングも必要だからなんとかしなきゃ…
0666名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 13:13:53.88
単なるフィルタルングはフィードリーダー側に付くべきだと思ってるけど
googleもldrも結局付かなかったな
0667名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 13:59:18.15
>>663
やってみたらわかるけどxmlだとスクレイピングできないので結局正規表現しかない
いろいろ探してみたけどどれもタイトル引っ張ってくるだけのサンプルしか見つからなかった
0668名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 14:21:34.93
>>665
名前を以下の名前にしてないとRSSにならないよ
Aは必須、Bはあってもなくても、Cはなくても
A
title　タイトル（リンク含）

B
description　内容
pubDate　日付

C
author
category
comments(LINK)

あとコレクションがひとつで抽出している数が全部同じじゃないとRSS化できなかった。

フィルタはこのサンプルでできた。
ttp://imabari.hateblo.jp/entry/2015/05/07/231225
0669名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 18:43:17.73
>>668
titleはtitle(LINK)じゃなくてもいいのか
良かったらHatenaBlogの人が書いてる"それぞれのAPIを作成"ってどういうことか詳しく教えて欲しい
0672名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 20:29:40.55
>>669
>>668じゃないけど、そのブログで説明されているのは、リンクを取得する API(1)の作成と、1のAPIをソース(URLs from source API)にして title や description を取得するAPI(2)の作成、という2段構えでRSSを作成する手順だよ。
1個目のAPIでページからリンク抽出→1個目のAPIの結果をインプットにして2個目のAPIで詳細情報の抽出
なので、「1・2それぞれのAPIを作成する。」ってこと。
pipesでも複数のpipesをつなげるやり方があるでしょ。あんな感じ。
0674名無しさん＠お腹いっぱい。
垢版 |
2015/07/06(月) 23:26:51.80
xpath系は672の方法で大体kimonoで代用できそう。
0682名無しさん＠お腹いっぱい。
垢版 |
2015/07/23(木) 12:38:15.73
>>666
広告載せてるから無料でサービス提供出来てるRSSリーダーが
[PR]の文字はじく機能つけたら誰もカネ出さないだろ
アホみたいにシンプルで圧倒的に需要ある機能なのに
絶対に形にならないとか歪んでるよな
0684名無しさん＠お腹いっぱい。
垢版 |
2015/07/24(金) 17:13:43.34
>>683

お！
0685名無しさん＠お腹いっぱい。
垢版 |
2015/07/24(金) 20:20:00.05
Pipesの代用にはオーバースペックのような気がするけど。
それにこれを自鯖で動かせるなら簡単なPHPなりPythonなり書けると思うし、書いた方がが早い気がする。
0695名無しさん＠お腹いっぱい。
垢版 |
2015/08/13(木) 16:17:50.84
>>694

困るよなあ
0696名無しさん＠お腹いっぱい。
垢版 |
2015/08/13(木) 21:40:04.41
項目
項目
項目 new
項目

みたいなのをkimonoで抽出すると↓みたいなことになる。前は↑の状態のまま抽出できたのに…
項目 new
項目
項目
項目
0697名無しさん＠お腹いっぱい。
垢版 |
2015/08/14(金) 00:35:27.08
あれこれ移行先考えたけど面倒くさくなってPC上で自作アプリ定期起動、
出力結果のrssをgoogle driveに配置で落ち着いた
リアルタイム性はあまり求めてないのでもういいわ
0699名無しさん＠お腹いっぱい。
垢版 |
2015/08/17(月) 16:17:40.85
下がりすぎたのでアゲ
0704名無しさん＠お腹いっぱい。
垢版 |
2015/09/13(日) 18:37:45.11
困ったねえ。
0706名無しさん＠お腹いっぱい。
垢版 |
2015/09/14(月) 07:13:43.18
まとめたRSSを自分で読む為だけにPipes使ってました。
仕方なく、自作のしょぼいRSSリーダープログラムを大幅改修して
複数RSS統合、重複記事排除、不要記事削除、日付順に
ソートなどの機能を追加して使ってます。

いまだに細かいバグはありますが、とりあえず、なんとかなりました。

2chMate 0.8.7.11/Borqs/Si01BB/4.2.2/LR
0707名無しさん＠お腹いっぱい。
垢版 |
2015/09/14(月) 14:09:44.00
実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック
読んでみたけどamazonのレビュー通り

内容は初歩の初歩で終わりこんなツールがあるよって感じで
その先が情報が知りたいのにさわりだけで全然内容がない
pythonのコードが最初の頃と後ろの方にもあるけどまったく同じコード

目次見てツールの名前調べたんでいいレベル
0712名無しさん＠お腹いっぱい。
垢版 |
2015/09/28(月) 13:28:52.68
いくつか立ち上がってたクローン系のプロジェクトはどうなったんだろ・・
ここまで代替が来ないなんて思ってなかった
0713名無しさん＠お腹いっぱい。
垢版 |
2015/09/28(月) 14:45:47.85
代替サービスがあってもPipesからそのまま引き継ぐのは期待できなかったし、
新しいサービスで同じ内容を組み直すくらいなら、その苦労の時間を使って
なにか言語を習得して自分でコード書いたほうがいいのは明らか。
かなり時間はあったのに何やってたんだよ。
0716名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 21:40:18.43
あとわずかで使えなくなるんだ
代替なくて困ったままだけど世話になったな
0718名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:43:08.23
時間なくてjavascriptの習得も、GASで自分のやりたいことを動かすレベルまでに達っせてないが、コツコツ続けるしかない…
0719名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:44:43.68
あっちの時間の9/30だろうから、まだ明日のお昼くらいまで使えるかな。
なくなるのは本当に残念だが、仕方ない。ありがとう、Yahoo!pipes！
0720名無しさん＠お腹いっぱい。
垢版 |
2015/09/30(水) 23:53:11.25
自作RSSはphpで代替した。案外簡単だったよ。
0721名無しさん＠お腹いっぱい。
垢版 |
2015/10/01(木) 14:12:29.48
phpできる人は羨ましい。
pipes確認したらまだ動いてるね
0722名無しさん＠お腹いっぱい。
垢版 |
2015/10/01(木) 21:54:07.67
既存のRSSを正規表現とかでフィルタリングして別のRSSとして吐き出す(そしてFeedlyあたりで読む)
みたいなのをやるにはGASが手頃っぽいんだけどなかなか難しい…
ネットで断片的な情報はいくつか見つかるから再利用させてもらおうとは思っているのだが
0726名無しさん＠お腹いっぱい。
垢版 |
2015/10/04(日) 18:37:58.09
使おうと思ったら繋がらない
終わったか
0728名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 17:06:50.15
>>724

困ったなあ
0729名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 19:50:01.37
>>727
スクレイピングもyqlとかPage2Feed併用すりゃxmlに(無理やり)変換してくれるので楽々。

function fetchXPathPage (url, xpath, html5, charset) {
const yqlapi = 'https://query.yahooapis.com/v1/public/yql?';
const Q = "'";
var query = 'select * from html where url=' + Q + url + Q;
if (!(html5 === false))
query += ' and compat=' + Q + 'html5' + Q;
if (charset)
query += ' and charset=' + Q + charset + Q;
if (xpath)
query += ' and xpath=' + Q + xpath.replace(/\'/g,'"') + Q;
var yql = yqlapi + 'format=xml&q=' + encodeURIComponent(query);
var contents = UrlFetchApp.fetch(yql).getContentText();
var document = null, xml = null;
try {
document = XmlService.parse(contents);
} catch (e) {
document = null;
}
if (document)
xml = document.getRootElement().getChild('results');
return xml;
}
0730名無しさん＠お腹いっぱい。
垢版 |
2015/10/07(水) 20:39:49.03
こういう状況でまだYQLとかいつ終わってもおかしくないサービスに頼るってのが
ちょっと私には理解できないですね
0733名無しさん＠お腹いっぱい。
垢版 |
2015/10/16(金) 20:06:25.85
リーダーの時みたいに代替が出てくるかとと思って
様子見てたら出遅れたので

単純で更新頻度が高いのはKimonoに
複雑で更新頻度が低いのはFeed43に
複雑かつ更新頻度が高いのは自作perlに

なんとか振替終わった。
PHPが理解できればもうちっと楽できたんだろうけど。
0735名無しさん＠お腹いっぱい。
垢版 |
2015/10/30(金) 22:04:30.92
ttp://run.pipes.yahoo.com/
ミラーがまだ動いている

Yahoo! Pipesのミラーサーバーは未だ稼働中 - K'conf
ttp://kenz0.s201.xrea.com/weblog/2015/10/yahoo_pipes.html
0736名無しさん＠お腹いっぱい。
垢版 |
2015/11/01(日) 11:55:47.86
安いのにコスパ高くてしかもうまいｗ
味噌汁もついてきてこの寒い朝にピッタリだねｗ
http://i.imgur.com/HEONEbG.jpg
※画像は豚汁変更と大盛のオプションを付けております。

あとすき家は国産の米を使っているから他店より味もいいねｗ
詳しい食べ方はこれをみてくれｗ
http://www.riki35.com/tabearuki/yahatahigasiku/3140/

一応他にもチーズ牛丼や鍋やおいしいメニューがいっぱいあるから公式ホームページもはっとくわｗ
http://www.sukiya.jp/sp/

お前らｗお腹が空いたらすき家に行こうｗ
0741名無しさん＠お腹いっぱい。
垢版 |
2015/12/06(日) 22:49:14.98
俺はいつもNHK・新聞勧誘が来たらまず服を脱ぐ（靴下以外）。
そしてドアを大きく開ける。
たいていの勧誘人は1分以内に帰る。
一度だけ、フルチンの俺を無視して勧誘を続ける新聞勧誘がいたが、
俺が勃起してきたのを見て帰っていった。
楽勝。
0742名無しさん＠お腹いっぱい。
垢版 |
2015/12/16(水) 19:41:14.57
pipes終わったけど
お前ら今だから言える
こんなRSS取得してましたっての言っていけよ
それで供養としよう

俺は毎日虹美少女画像が流れてくるDanbooruの
ランキング上位画像だけ吐き出してくれるPipes作って
ﾆﾀﾆﾀしてました、お世話になったよありがとうYahoo Pipes
0743名無しさん＠お腹いっぱい。
垢版 |
2015/12/17(木) 15:09:05.87
ラノベ天狗っつうインターネット妖怪がいるんだが
それの真似事するのにtwitterの検索結果からbotを取り除くので使ってた
バイバイYahoo Pipes
0744名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 02:23:39.26
Ceron.jpのRSSのうち、コメント数が特に多いもの(3桁以上)を抽出するのに使ってた

あとアメブロの全文取得＆画像表示RSS
0745名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 16:21:02.92
結局代替はどうしたんだよお前ら
統合とフィルターと全文表示くらいしか使ってなかったが
pipesほど簡単に出来るのないんか
0746名無しさん＠お腹いっぱい。
垢版 |
2015/12/18(金) 20:12:04.88
Twitterで好きなテレビ番組情報呟くbot作ってたよ。
番組HPから次回告知の情報抜いて、次回放送までの時間計算させて定期的にRSS作って外部サービスと連携させてた。
0748名無しさん＠お腹いっぱい。
垢版 |
2016/01/02(土) 10:28:04.55
くまブ
0749名無しさん＠お腹いっぱい。
垢版 |
2016/01/12(火) 08:18:57.30
RSS吐かせるのが恋しくなってFEED43試してみたら
pipesのときと同じ感覚で正規表現で抜き出せて安心した

有料プランも魅力的だけど高くて悩む
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況