京都大学 黒橋・河原研究室と東北大学 乾・岡崎研究室 では、合同でウェブ上を自動的に巡回し、ウェブページを収集しています。
収集したウェブページは、 言語表現の分析等の研究用データとして使用します。ウェブページの収集にはクローラーと呼ばれるソフトウェアを用いています。
「Kyoto-Tohoku-Crawler」というUser-Agentのクローラーを運用しています。 Kyoto-Tohoku-Crawlerは以下のIPアドレスからアクセスします。
130.54.130.64/27 130.54.130.224/27 130.54.131.176/29 133.3.240.0/24 130.34.192.82/28 130.34.192.91/28
Kyoto-Tohoku-Crawlerは、収集先ホストに迷惑をかけないよう細心の注意を払って運用をしていますが, 万が一、Kyoto-Tohoku-Crawlerの動作に問題がありました場合には、下記の連絡先にご連絡いただければ直ちに収集を停止するなどの対処をいたします。
kyoto-crawler-contact あっと nlp.ist.i.kyoto-u.ac.jp