COLLECTED BY

Organization: Internet Archive

The Internet Archive discovers and captures web pages through many different web crawls. At any given time several distinct crawls are running, some for months, and some every day or longer. View the web archive through the Wayback Machine.

Collection: Wide Crawl started March 2011

Web wide crawl with initial seedlist and crawler configuration from March 2011. This uses the new HQ software for distributed crawling by Kenji Nagahashi.

What’s in the data set:

Crawl start date: 09 March, 2011
Crawl end date: 23 December, 2011
Number of captures: 2,713,676,341
Number of unique URLs: 2,273,840,159
Number of hosts: 29,032,069

The seed list for this crawl was a list of Alexa’s top 1 million web sites, retrieved close to the crawl start date. We used Heritrix (3.1.1-SNAPSHOT) crawler software and respected robots.txt directives. The scope of the crawl was not limited except for a few manually excluded sites.

However this was a somewhat experimental crawl for us, as we were using newly minted software to feed URLs to the crawlers, and we know there were some operational issues with it. For example, in many cases we may not have crawled all of the embedded and linked objects in a page since the URLs for these resources were added into queues that quickly grew bigger than the intended size of the crawl (and therefore we never got to them). We also included repeated crawls of some Argentinian government sites, so looking at results by country will be somewhat skewed.

We have made many changes to how we do these wide crawls since this particular example, but we wanted to make the data available “warts and all” for people to experiment with. We have also done some further analysis of the content.

If you would like access to this set of crawl data, please contact us at info at archive dot org and let us know who you are and what you’re hoping to do with it. We may not be able to say “yes” to all requests, since we’re just figuring out whether this is a good idea, but everyone will be considered.

TIMESTAMPS

機能きのう書体しょたい変更へんこう

数字すうじで見みる読売新聞よみうりしんぶん

イベント (展覧てんらん会かい、スポーツ、舞台ぶたい、表彰ひょうしょう事業じぎょうなど)

文化ぶんか関連かんれん事業じぎょう

読売よみうり演劇えんげき大賞たいしょう

読売よみうり文学ぶんがく賞しょう

読売よみうり教育きょういく賞しょう

教育きょういく関連かんれん事業じぎょう

[お問とい合あわせ] ＦＡＱえふえーきゅーと個別こべつの問とい合あわせ先さき一覧いちらんです

問とい合あわせ先さき一覧いちらん

読売新聞よみうりしんぶんへのご意見いけん、ご要望ようぼう、ご質問しつもんは、ＦＡＱえふえーきゅー（よくある質問しつもんのコーナー）をご参照さんしょうください。

お寄よせいただいた内容ないようは、個人こじん情報じょうほうに留意りゅういしつつ、紙面しめん等とうに活用かつようさせていただくことがあります。また、販売はんばい・配達はいたつに関かんするお問とい合あわせは、必要ひつように応おうじて、お客様きゃくさまの情報じょうほうをＹＣ（読売新聞よみうりしんぶん販売はんばい店てん）に伝つたえることがあります。

読売新聞よみうりしんぶん、ヨミウリ・オンラインへのご意見いけん（販売はんばい、広告こうこくは後段こうだんに）

＜東京とうきょう本社ほんしゃ＞

「読者どくしゃセンター」

お問とい合あわせ　電話でんわ：03-3246-2323

ご意見いけん　　　　　電話でんわ：03-3246-5858

・午前ごぜん９時じから午後ごご１０時じまで

・こちらの入力にゅうりょくフォームでも受うけ付つけています。

＜大阪おおさか本社ほんしゃ＞

「読者どくしゃセンター」電話でんわ：06-6881-7000

平日へいじつ（月つき―金きむ）　午前ごぜん９時じから午後ごご９時じまで
土曜どよう、日曜にちよう、祝日しゅくじつ　午前ごぜん９時半じはんから午後ごご５時半じはんまで
こちらの入力にゅうりょくフォームでも受うけ付つけています。

＜西部せいぶ本社ほんしゃ＞

「読者どくしゃ相談そうだん室しつ」電話でんわ：092-715-4462

・日曜にちよう、祝日しゅくじつを除のぞく午前ごぜん９時半じはんから午後ごご６時じまで

著作ちょさく権けん、リンク、新聞しんぶん記事きじ等とうの使用しよう

「著作ちょさく権けんについて」、「リンクポリシー」をお読よみ下ください。

「知的ちてき財産ざいさん担当たんとう」電話でんわ：03-6739-6961

・午前ごぜん９時じ３０分ふんから午後ごご５時じ３０分ふんまで

こちらの入力にゅうりょくフォームでも受うけ付つけています。

個人こじん情報じょうほうに関かんするお問とい合あわせ

＜東京とうきょう本社ほんしゃ＞

「読者どくしゃセンター」電話でんわ：03-3246-2330

・土曜どよう、日曜にちよう、祝日しゅくじつを除のぞく午前ごぜん9時半じはんから午後ごご5時半じはんまで

＜大阪おおさか本社ほんしゃ＞

「読者どくしゃセンター」電話でんわ：06-6881-7000

・土曜どよう、日曜にちよう、祝日しゅくじつを除のぞく午前ごぜん9時半じはんから午後ごご5時半じはんまで

＜西部せいぶ本社ほんしゃ＞

「読者どくしゃ相談そうだん室しつ」電話でんわ：092-715-4462

・土曜どよう、日曜にちよう、祝日しゅくじつを除のぞく午前ごぜん9時半じはんから午後ごご5時半じはんまで

社会しゃかい面めんへのご意見いけん、情報じょうほう

ご意見いけん、情報じょうほうは以下いかのいずれかへお送おくり下ください。

shakai@yomiuri.com
FAX：03-3245-1277
〒104-8243（住所じゅうしょ不要ふよう）読売新聞よみうりしんぶん東京とうきょう本社ほんしゃ社会しゃかい部ぶ

気流きりゅう欄らんへの投稿とうこうについて

詳くわしくは、よくある質問しつもん「読売新聞よみうりしんぶんに投稿とうこうしたいのですが」をご覧らんください。

ニュース写真しゃしんの投稿とうこうについて

デジタルカメラの写真しゃしんをパソコンで、またはカメラ付つき携帯けいたい電話でんわから送おくる場合ばあいはdokusyap@yomiuri.comへ。
フィルムで撮影さつえいした場合ばあい、またはお問とい合あわせ等とうは「東京とうきょう本社ほんしゃ写真しゃしん部ぶ」03-3217-8133まで電話でんわしてください。
詳くわしくは、ヨミウリ・オンライン「写真しゃしんのご提供ていきょうと購入こうにゅう」をご覧らんください。