網路爬蟲和统一资源定位符

快捷方式: 差异，相似，杰卡德相似系数，参考。

網路爬蟲和统一资源定位符之间的区别

網路爬蟲 vs. 统一资源定位符

网络爬虫（web crawler），也叫網路蜘蛛（spider），是一种用来自动浏览万维网的。其目的一般为编纂。 網路搜索引擎等站点通过爬蟲軟體更新自身的或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面保存下來，以便搜索引擎事後生成供用戶搜索。 爬蟲访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求只对网站的一部分进行索引，或完全不作处理。 互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。 爬虫还可以验证超連結和HTML代码，用于（参见）。. 统一资源定位符（或称统一資源定位器/定位地址、URL地址等，Uniform Resource Locator，常缩写为URL），有时也被俗称为网页地址（網址）。如同在網路上的門牌，是因特网上标准的资源的地址（Address）。它最初是由蒂姆·伯纳斯-李发明用来作为万维网的地址。现在它已经被万维网联盟编制为因特网标准RFC 1738。 在網際網路的歷史上，統一資源定位符的發明是一個非常基礎的步驟。统一资源定位符的语法是一般的，可扩展的，它使用ASCII代码的一部分来表示因特网的地址。统一资源定位符的开始，一般會标志着一个计算机网络所使用的网络协议。 统一资源定位符的标准格式如下： 统一资源定位符的完整格式如下： 其中【访问凭证信息@；:端口号；?查询；#片段ID】都属于选填项。.

万维网

万维网（World Wide Web），亦作「WWW」、「Web」，是一个由许多互相链接的超文本组成的系统，通过互联网访问。英國科學家蒂姆·伯纳斯-李於1989年發明了萬維網。1990年他在瑞士CERN的工作期間編寫了第一個網頁瀏覽器。網頁瀏覽器於1991年在CERN向外界發表，1991年1月開始發展到其他研究機構，1991年8月在互聯網上向公眾開放。 萬維網是資訊時代發展的核心，也是數十億人在網際網路上進行互動的主要工具。網頁主要是文本文件格式化和超文件標示語言（HTML）。除了格式化文字之外，網頁還可能包含圖片、影片、聲音和軟體元件，這些元件會在使用者的網頁瀏覽器中呈現為多媒體內容的連貫頁面。 萬維網並不等同網際網路，萬維網只是網際網路所能提供的服務其中之一，是靠着網際網路運行的一項服務。.

万维网和網路爬蟲 · 万维网和统一资源定位符 · 查看更多 »

互联网

互联网（Internet），是網路與網路之間所串連成的龐大網路，這些網路以一組標準的網路TCP/IP协议族相連，連接全世界幾十億個設備，形成邏輯上的單一巨大國際網络。，它是由從地方到全球範圍內幾百萬個私人的、學術界的、企業的和政府的網络所構成，通過電子，無線和光纖網絡技術等等一系列廣泛的技術聯繫在一起。这种将计算机网络互相联接在一起的方法可称作「网络互联」，在這基础上发展出覆蓋全世界的全球性互联網絡稱互聯網，即是互相連接一起的网络。互聯網並不等同万维网（WWW），万维网只是一個基於超文本相互鏈接而成的全球性系統，且是互聯網所能提供的服務其中之一。互聯網帶有範圍廣泛的信息資源和服務，例如相互關聯的超文本文件，还有萬維網的應用，支持電子郵件的基礎設施，對等網絡，文件共享，以及IP電話服務。.

互联网和網路爬蟲 · 互联网和统一资源定位符 · 查看更多 »

網頁

网页（web page）是一个適用於全球資訊網和網頁瀏覽器的文件，它存放在世界某个角落的某一部或一組计算机中，而这部计算机必须是与互联网相连。网页经由网址（URL）来识别与存取，当我们在网页浏览器输入网址后，经过一段复杂而又快速的程序，网页文件会被传送到用户家的计算机，然后再通过浏览器解释网页的内容，再展示给用户。是網路中的一「頁」，通常是HTML格式，但現今已經有愈來愈多、各色各樣的網頁格式和標準出現。網頁通常用圖像檔來提供圖畫。網頁要透過網頁瀏覽器來閱讀。.

網路爬蟲和網頁 · 網頁和统一资源定位符 · 查看更多 »