PLC解密网-PLC培训学习-工控自动化人才技术交流

超级管理员

409

帖子

1311

回复

2839

积分

楼主
发表于 2021-04-15 13:20:07 | 查看: 785 | 回复: 1

关于搜索引擎的进化


       在互联网的早期,网站的数量有限,所以人工整理这个方法是可行的,比如就有DMOZ这样的人工编辑的网站数据库,分门别类的去整理好各种类型都网址。

       到了后面全球的网站数量爆炸性增长,假如人工整理的话这就显得非常不现实了,于是就有了网络爬虫(也叫蜘蛛)代替人工去访问抓取网站,这就是最原始的搜索引擎。

       虽然说互联网是一个网状结构,但是抓取整个互联网上的所有网站还是有着一定的难度的,首先要解决的问题就是怎么去发现这些网站。

       为了解决这些问题,搜索引擎都会有一个基础的网站数据库,从这里的网站开始爬取,希望能抓取整个互联网上的信息。而且依靠链接之间的引用关系和使用的链接文本来计算网页的权重,从


而能对搜索结果排序。比如Google的PageRank算法。

       Yahoo算是非常早的搜索引擎,它就使用DMOZ的网站作为爬虫的抓取起点,而且我怀疑Google也使用DMOZ数据,因为10多年前做网站时,大家都希望自己的网站能被DMOZ收录,甚至贿赂DMOZ的


编辑人员。


老域名


 什么叫“没有不良记录”?

        域名没有做过黄、赌、毒、医疗等违法或灰色行业。

        查看域名历史页面,请科学上网访问:http://archive.org/

        多点击一些网页快照,看看年初的月份,再看看近期的快照。还有一点就是,查看快照时候,右键查看下页面源码,看底部的友情链接部分有没有违法网站,避免选择被黑过的网站。

        而且如果一个域名长达一年多没有做过网站,可能也要放弃。

        关于购买老域名,可以上聚名网或其他提供老域名抢注或交易的网站,平均价格大概在100-200之间。

        基础的域名数据,比如百度权重,各个搜索引擎的收录情况,可以使用爱站SEO助手或自己写程序抓取。

        以上技巧很实用,前段时间跟一个朋友学的。


主动提交法


       百度不收录,那我们要主动投怀送抱。百度站长平台提供了四种方式来提交抓取请求。

       1、主动推送:最为快速的提交方式。适用场景:把网站当天新产生的链接通过这种方式推给百度,保证新链接可以及时被百度收录。

       在站长平台后台点击“网页抓取”->“链接提交”可以看到具体的使用说明,百度提供有curl、php和ruby等样例代码。

 

        2、自动推送:最为方便的提交方式。

        使用方法:将自动推送的JS代码加到网站每个页面里,当有用户访问这个页面时,页面链接就会自动推送给百度。可以配合主动推送使用。

       代码自行百度站长工具获取

       3、Sitemap:传统提交方式。

       很多网站CMS都提供生成Sitemap的功能,如果没有的话,需要借助工具或自己写代码生成。通过Sitemap告诉百度蜘蛛哪些网页希望被抓取。

       百度Sitemap支持3种格式:txt文本格式、xml格式、Sitemap索引格式。

       假如是小网站,页面数量小于5万,可以使用txt或xml格式的sitemap文件放到网站根目录下就可以。

       http://www.xxx.com/sitemap.txthttp://www.xxx.com/sitemap.xml

       如果是网页数量超过5万,可以网址拆分成5万为一组的xml文件,然后放到Sitemap索引文件里面,通过站长平台提交给百度。

       具体格式参考百度官方说明:Sitemap提交工具站长资讯百度站长平台

       Sitemap提交方式收录速度慢于主动推送。



普通会员

0

帖子

1

回复

3

积分
沙发
发表于 2021-11-02 07:15:18

就看看接口接收到附近

ww2.mathworks.cn/matlabcentral/profile/authors/24362830?s_tid=gn_comm

ww2.mathworks.cn/matlabcentral/profile/authors/24362863?s_tid=gn_comm

ww2.mathworks.cn/matlabcentral/profile/authors/24362863?s_tid=gn_comm


您需要登录后才可以回帖 登录 | 立即注册

技术支持 KZYPLC V2.1 © 2020-2027

欢迎光临昆山中宇工控PLC论坛!您是第 1901503 位访问者, 日访问量: 7858 总访问量: 6042761,当前 2022-05-28 22:36:57 在线人数:44

ICP备案证书号: 苏ICP备14003016-2号