发布者:川成智库 发布日期:2020-09-30 打印字号:大中小
近来群友提出了一个问题。爬虫突破第三层时,发现被抓取的网站并没有在最后添加/号,始终没有正确响应。打开浏览器的调试模式看下,发现在没有添加/时,地址返回了301 MOVED PERMANENTLY,难怪~ 但也发现有些URL末尾有斜杠,有些后面没有斜杠。这个斜线是做什么的?加不加有什么区别?为什么我们在浏览器地址栏中键入一个URL,按下Enter键后会自动在网址末尾加一个反斜杠/? 很奇怪不是吗?好了,就趁这东风普及一下自己的小知识吧! 传统意义上,网站末尾没有加反斜杠。反斜杠的意思是url是指向文件还是目录。 给我一个栗子 http:/www.cba.com/abc http://www.cba.com/abc/ 网址末尾带斜杠/的是目录/abc/,不带文件/abc,这是两个不同的地址。一般来讲索引页(比如文章列表)作为目录,内容页作为文件。 对于服务器,如果它访问目录,它将根据规则访问目录中的默认文件(如index.html和index.htm)。如果您访问/abc/server,您将找到/abc/index.html文件,而访问/abc server将找到/abc文件。 对于用户来说,在大多数情况下,这两个网站没有区别,他们访问网站abc目录下的默认主页。一般用户也知道最后一个斜杠是可选的。当他们输入网址时,他们通常只输入http://www.abc.com/abc. 当Web服务器接收到一个结尾没有斜杠的url请求时,例如http://www.abc.com/abc,服务器将在网站的根目录下搜索是否有一个名为abc的文件,如果没有,将abc视为一个目录,然后返回到abc目录下的默认主页。 当Web服务器收到一个末尾带斜杠的请求时,它将被直接视为一个目录,并返回到abc目录下的默认主页。 这样,添加反斜杠会加快网站加载速度。对于网站所在的服务器来说,在url上加一个反斜杠,会给服务器增加一个查找是否有同名文件的过程,显然会增加服务器的负担。当然这种影响不会很大,但是如果你的网站有很大的直接流量,在URL末尾加一个反斜杠可以大大减轻服务器的负担。 当然,在网址末尾添加反斜杠还有其他的好处: 考虑到搜索引擎优化,在网站末尾添加反斜杠可以避免重复内容。就像域名中是否有www的问题一样,url末尾是否有反斜杠也会造成内容重复的问题,这对网站的seo是很不利的。你要知道重复内容绝对是搜索引擎优化的禁忌。 由于服务器无法正确解析url,可能会出现404错误,可通过在URL末尾添加反斜杠来避免。 在网站末尾加一个反斜杠对网站建设者来说是很有好处的,可以说是网站建设中应该培养的一个好习惯。当然,在交换友情链接的时候提醒对方,记得在网址末尾加一个反斜杠。 上一篇:专注界面品质设计服务
下一篇:智能物联网应用解决方案