トップ «前の日記(2007-06-06) 最新 次の日記(2007-06-18)» 編集

2002|01|02|03|04|05|06|07|08|11|12|
2003|01|02|03|04|05|06|07|08|09|10|11|12|
2004|01|02|03|04|05|06|07|08|09|10|11|12|
2005|01|02|03|04|05|06|07|08|09|10|11|12|
2006|01|02|03|04|05|06|07|08|09|10|11|12|
2007|01|02|03|04|05|06|07|08|09|10|11|12|
2008|02|03|04|07|

2007-06-12 [長年日記]

_ 「TrackBackはもうなかったことにしてはどうか？」とは？ - Ogawa::Memoranda

URL間のlinkageを提供する外部サービスを実現して、ブログからは適当なAPIを用いてそのlinkage情報を利用するようにする

ってのは、blogmapの頃からトライしているネタなんだよなー。ちなみに今は亡きblogmapとは、RSSフィードからエントリーごとに含まれるリンク（URL/Amazon商品）情報を解析し、サイトやエントリーごとのリンク/被リンク情報を提供するサービスだった。海外には地図系のblogmapサービスがあるけど、それとは別（それより古かった）。

ただ、blog黎明期（もともとはWeb日記リンク集時代からHTML解析ベースでやっていた）のデータ量が少ない頃はよかったけど、blog時代になってデータ量が爆発的に増えると、どんどん必要なサーバーリソースが増え続けてしまい、さらには大量のspam blogによって耐spam機能を持っていなかったblogmapのシステムは破綻してしまった。

そこで、MM/Memo（ソーシャルブックマーク）を使って、自動的に収集されたデータ（URL）に対して、人力の重み付けを行ったりすることで、耐spam用の情報を得ようと思ったりもしたんだけど、自動収集されたデータとソーシャルブックマークに登録されるデータではその量が圧倒的に違いすぎて、そういう用途では使えなかった。

しょうがないんで、blogmapのシステムを捨て去り、新しく1470.netリニューアル版を作った。blogmapではupdate pingで更新情報が送られてくるサイトのデータを収集していたんだけど、そういうやり方だとspam系データがあまりにも多くなりすぎるんで、1470.netでは情報収集先に人力フィルターを通すようにした。

具体的には、ユーザーは自分がチェックしたいサイトのフィード群を登録し、そのサイト群内での情報の解析（ランキング/新着) をみられるようにした。

たとえば俺の場合は、 これらのサイトのフィード を解析対象として登録しておき、それによって、

という解析情報を得られるようにしている。

この登録フィードは基本的にはRSSリーダーに登録しているものほぼそのまま（OPMLでインポートした）んだけど、RSSリーダーでいちいち全部見ている暇がない場合は、ひとまずこういう解析情報をチェックしておくと、流行りものの状況がなんとなくわかるようになる。

で、こういう風に自分が情報をチェックしたいサイトのフィードを登録してもらうことで、spamサイトではないサイトのフィードを選別し、それによってspamの少ない優良なサイトのフィード群から収集したデータを元にした解析を行おうというアプローチ。

ただ、このアプローチだと基本的に収集するデータ量が少なくなりすぎる。spamが少ないのはいいんだけど、spamじゃないデータも少なくて、元々の目的だったリンク/被リンク情報の解析情報としては、あまりにも物足りないものになってしまう。

たとえばここの場合、 http://1470.net/site/tdiary.ishinao.net なんてURLで、サイト単位の被リンク情報が閲覧できるけど、ここで被リンク情報を見ても、ほとんど有用な情報がとれていない。複数の被リンク情報があるかと思ったら、ソーシャルブックマークサービスとかの新着情報経由だったりするのがほとんど。

ちなみに1470.netの場合は、ドメインのみではなく、 http://1470.net/site/tdiary.ishinao.net/2007 みたいに、パスの前方一致で絞り込むこともできるんで、ディレクトリ単位での言及チェックにも対応できる。エントリー（URL）単位での言及チェックは、http://1470.net/uri/http://tdiary.ishinao.net/20070606.html%23p01 みたいな感じね。というのはここでは本題ではないんだけど。

で、何が言いたいかというと、たくさんのnot spamなフィード情報を1470.netに登録していただけると、データ収集先が増えてもっと有用な情報が得られるようになるかもしれないんで、よろしくお願いします。1470.netにユーザー登録（はてなかTypeKeyのアカウントが使えます）してから、RSSリーダーとかからエクスポートしたOPMLをインポートをするだけで登録できますんで。ちなみにBloglinesはよく壊れたOPMLファイルをエクスポートするので注意してください。

このセクションに対するはてなブックマーク

  • 2007年11月05日 Inui
  • 2007年06月29日 wushi blogmap〜MM/Memoの変遷。blogmapにはお世話になりました
  • 2007年06月16日 toshi19650104
  • 2007年06月16日 wartanenemon
  • 2007年06月16日 otsune
  • 2007年06月14日 h-sbt
  • 2007年06月14日 HISAMATSU 同実は古いネタだったのか。同じようなことを考えてる人は多い。卒論のネタとして使えるのは、今年限りかな。
  • 2007年06月12日 tigertissue

今日のメモ powered by 1470.net

本日のツッコミ(全2件) [ツッコミを入れる]
_ (o) (2007-06-13 03:18)

元記事はエントリー間の参照関係の通知をend-to-endのメッセージングに依らない方法で実現することが趣旨なのでblogmapや1470.netとは直接関係ないんですが、歴史と仕組みがよく分かりました。ついでで聞きたいのですが、フィードセットを充実させるためにGoogleやYahoo!のブログ検索を利用する方法もあると思いますが、ダメでしょうか? 実質的に参照関係があり、ノイズの少ないフィード候補が得られると思うのですが。

_ ishinao (2007-06-14 13:24)

元記事の話は、

http://1470.net/uri/http://as-is.net/blog/archives/001257.html

にある、「このURIを話題にしたエントリー」みたいな情報を、外部から利用しやすくすることで実現できそうだなーと思っていたんですが、ちょっと違うんでしょうか？　ちなみにblogmapの頃には、この情報に外部からtrackbackで参照情報を追加することも可能にしていました。最終的には洋物trackback spamに埋もれてしまいましたが。

検索サービスが提供しているblog検索系機能は、あまり使ったことがなかったのですが、確かにそういうものに乗っかることで、大手の検索サービスのspamフィルターを通った後のフィード情報を得ることはある程度できそうですね。どのくらいちゃんとspamをはじいているのか、調査する必要がありそうですが。

ツッコミ・コメントがあればどうぞ! E-mailアドレスは公開されません。
お名前:
E-mail:
コメント:
[TrackBack URL: http://tdiary.ishinao.net/tb.rb/20070612]

home | RSS | 1470.net

前 2007年
6月		 次
日 月 火 水 木 金 土
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30

powered by Estraier

テニスでどのくらい走る？

広告

最近のコメント

  1. ｗ (07-09)
  2. ishinao (07-09)
  3. ｗ (07-09)
  4. takano32 (04-30)
  5. まあ (02-22)

最近のtrackback

  1. 1.Kwappa開発室:PDO::bindParamの.. (2008-05-29 17:18)
  2. 2.MOVION.net:Zend_MailのsetSubject.. (2008-03-05 02:31)
  3. 3.ふらっと:Zend_Mailの日本語(の.. (2008-02-07 22:12)
  4. 4.yuum3のお仕事日記:[ソフト][メ.. (2007-10-14 15:04)
  5. 5.プログラマーが困った時に読むメ.. (2007-08-25 13:55)

題字フォント: Third Entertainment

Amazon.co.jp アソシエイト

Generated by tDiary version 2.1.4
Powered by Ruby version 1.8.2