2004-12-31 [長年日記]
_ 自前の更新チェックを追加 (15:37)
blogmapは基本的に、他のアンテナ・pingサイトから取得した更新時刻情報を使って、各blogサイトが更新されたかどうかを確認し、更新が確認できたサイトに対してのみ巡回を行っているわけだけど、それだと他のアンテナ・pingサイトから更新情報を取得できなくなってしまった場合に、クローリングできないことになってしまう。それはそれでいいかと思っていたんだけど、やっぱりそういう場合でも更新されているところには巡回した方がいいような気もしてきたんで、自力で更新チェックをしつつ巡回する機能を追加。48時間以上更新が確認できなかったサイトには、自動的に更新チェックを兼ねた巡回を行う。ただ、毎回48時間おきというわけではなく、巡回時に最終更新日をチェックして、最終更新から現在までの更新されていない期間に応じて、更新頻度を調整する。要は、長く更新されていないサイトには、滅多に更新チェックには行かなくなる。ただし、アンテナやpingを通して新しく更新を確認できた場合は、通常の巡回処理対象に戻る。というわけで、なにやらそういう処理が追加されたという報告兼メモでした。
_ 自前更新チェックを始めた関係で (15:45)
古いRSSをばしばし食いまくっているんで、ランキング上位にちょっと古いRSSの内容を反映したデータが出てきちゃっています。自前更新チェックの最初の1周が終わったら、ちゃんと新しい情報のみを使ったランキングに戻ると思いますので。
[ツッコミを入れる]
[TrackBack URL: http://tdiary.ishinao.net/tb.rb/20041231]
