急上昇ワード

検索履歴

"robots.txt" に関するウィキペディアの検索結果
Robots Exclusion Standard
'(RES) または 'Robots Exclusion Protocol' は、クローラやインターネットボット|ボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。'ロボット排除規約'、'robots.txt プロトコル'とも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 == 歴史 == "robots.txt" は、1994年ごろWebCrawlerという検索エンジンで働いていた Martijn Koster が考案したとされている。1994年6月に robots-request@nexor.co.uk というメーリングリストのメンバーが合意して生まれた[http://www.robotstxt.org/wc/norobots.html A Standard for Robot Exclusion]。"robots.txt" はその翌年AltaVistaなどの検索エンジンが登場す...

"robots.txt" のレビュー・口コミ・情報 検索結果
"robots.txt" に関連する情報はありません。