ウェブページの収集 †
京都大学 黒橋・河原研究室では、ウェブ上を自動的に巡回し、ウェブページを収集しています。収集したウェブページは、知識獲得および情報分析の研究用データとして使用します。ウェブページの収集にはクローラーと呼ばれるソフトウェアを用いています。
クローラーの詳細 †
「Kyoto-Crawler」というUser-Agentのクローラーを運用しています。Kyoto-Crawlerは、収集先ホストに迷惑をかけないよう細心の注意を払って運用をしています。万が一、Kyoto-Crawlerの動作に問題がありました場合には、下記の連絡先にご連絡いただければ直ちに収集を停止するなどの対処をいたします。
Kyoto-Crawlerは以下のIPアドレスからアクセスします。
130.54.130.64/27
130.54.130.224/27
130.54.131.176/29
133.3.240.0/24
robots.txtについて †
robots.txtにて， "*", "ICC-Crawler", "Kyoto-Crawler", "Kyoto-Tohoku-Crawler"のいずれかのUser-agentをDisallowしている場合は，クロール対象外としております．
各サイトのrobots.txtは2015年10月に確認しており，それ以後に変更された場合は，クロール対象外となっていない可能性があります．
お手数ですが，下記の連絡先にご連絡いただければ直ちに収集を停止するなどの対処をいたします。
連絡先 †
kyoto-crawler-contact あっと nlp.ist.i.kyoto-u.ac.jp
