.Net生成站点site地图供百度抓取的类和使用

2013-09-26

.Net生成站点sitemap供百度抓取的类和使用我对sitemap介绍：百度的sitemap说明地址：http://zhanzhang.baidu

.Net生成站点sitemap供百度抓取的类和使用

我对sitemap介绍：

百度的sitemap说明地址：http://zhanzhang.baidu.com/wiki/93#01

SiteMap作用：利于百度搜索

举例说明：

http://award.kinpan.com/AwardsIntroduce/AwardNews/20130609172732828125097a79b4e4a

http://award.kinpan.com/AwardsIntroduce/AwardNews/20130624102726828125093ba40f210

http://award.kinpan.com/AwardsIntroduce/AwardNews/201306241038078125000d72ba2d9fe

http://award.kinpan.com/AwardsIntroduce/AwardNews/20130624104148890625018d09da3eb

……………………………………………………………………………………………………

像上面这类网址，如果网站某列表页面有出现链接，百度会抓取，但是一般的列表页面只出现最新的几个，百度自动搜索网站上的页面，只能搜索到：http://award.kinpan.com/AwardsIntroduce/AwardNews，大部分带有id的详细页面还是不会出现，所以，我们生成所有详细内容页面的地址去给百度抓取，那么所有这些页面的内容就能被百度收录，自然在搜索时就能搜索出来了。

主要内容官方说明：

1.第一种格式样例：txt文本格式

在一个txt文本列明需要向百度提交的链接地址，将txt文本文件通过站长平台进行提交

          http://www.example.com/repaste/101562698_5230191316.html
          http://www.example.com/repaste/101586283_5230215075.html
          http://www.example.com/repaste/101639435_5230310576.html

此文本文件需要遵循以下指南：

2.第二种格式样例：xml格式

您先了解单个xml数据格式如下：

<?xml version="1.0" encoding="utf-8"?>

XML文件需以utf-8编码

必填，这是整个链接集合的定义入口，以<urlset>作为开始，</urlset>作为结束

<url>

必填，这是具体某一个链接的定义入口，每一条数据都要用<url>和</url>包含在里面。

<loc>http://www.yoursite.com/yoursite.html</loc>

必填，页面链接地址,长度不得超过256字节。

选填，用来指定该链接的最后更新时间

<changefreq>daily</changefreq>

选填，用这个标签告诉此链接可能会出现的更新频率

选填，可以不提交该标签,用来指定此链接相对于其他链接的优先权比值，此值定于0.0-1.0之间

</url>

必填，标签闭合

</urlset>

必填，标签闭合

上述xml sitemap向百度提交了一个url:http://www.yoursite.com/yoursite.html

若有多条url，按照上述格式重复<url></url>之间的片断，列明所有url地址，打包到一个xml文件，向站长平台进行提交。

3.第三种格式样例：Sitemap索引格式

如需提交大量sitemap文件，则可将其列在sitemap索引文件中，然后将该索引文件提交。您无需分别提交每个文件。

<?xml version="1.0" encoding="UTF-8" ?>

XML文件需以utf-8编码

必填，以 <sitemapindex> 开始标记作为开始，以 </sitemapindex> 结束标记作为结束

必填，以<sitemap>标签提交一个子sitemap文件

<loc>http://example.com/ext/xmlsitemap/add/201201/index_20120106.xml</loc>

必填，识别sitemap的位置

选填，识别相对sitemap文件的修改时间

</sitemap>

必填，标签闭合

</sitemapindex>

必填，标签闭合

有多个sitemap，按上述格式重复<sitemap></sitemap>之间的片断，列明所有sitemap地址，向站长平台进行提交。

如果网址超过50000条或文件大小超过10M，就要分隔成KinpanUrl1.xml、KinpanUrl2.xml……

那么KinpanUrl.xml就是存放KinpanUrl1.xml、KinpanUrl2.xml……的路径，这个文件很小。

在百度提交网址就是提交KinpanUrl.xml，百度会根据KinpanUrl.xml里面的地址去获取KinpanUrl1.xml、KinpanUrl2.xml……里面的网址。

    bool isright = false;    string str = "";    if (Request.UrlReferrer != null)    {        string host = Request.UrlReferrer.Host.ToLower();        if (host=="localhost"||host.EndsWith("test.com"))//自己网页上链接过来的才生成，防止恶意生成。        {            isright = true;        }    }    if (isright)    {        string Info = CreateSiteMapTxt.Instance.CreateTxt();        if (Info == "")        {            str = "生成成功" + DateTime.Now.ToString() + "<br/><br/>";            ConfigSiteUrl site = CreateSiteMapTxt.GetSiteByDefaultControl();            str = str + "当前生成的sitemap文件：" + ConfigurationManager.AppSettings[site.ToString()] + "/Upload/SiteMap/" + site.ToString() + ".xml <br/><br/><br/>";        }        else        {            str = "失败:" + Info + DateTime.Now.ToString() + "<br/><br/>";        }    }    else    {        str = "请点击下面的链接生成sitemap文件" + DateTime.Now.ToString() + "<br/><br/>";     }    List<ConfigSiteUrl> list = new List<ConfigSiteUrl>();    list.Add(ConfigSiteUrl.ExhibitionUrl);    list.Add(ConfigSiteUrl.KinpanAwardUrl);    list.Add(ConfigSiteUrl.KinpanUrl);    list.Add(ConfigSiteUrl.LiveUrl);    list.Add(ConfigSiteUrl.TopicUrl);    list.Add(ConfigSiteUrl.MagazineUrl);    str = str + string.Format("<font color='red'>提示：</font><br/>");    foreach (var site in list)    {        string siteurl = ConfigurationManager.AppSettings[site.ToString()];        str = str + string.Format("网址:{0} <br/>sitemap文件地址：{1}   <a href='{0}/index/SiteMap'>点击生成</a><br/><br/>", siteurl, siteurl + "/Upload/SiteMap/" + site.ToString() + ".xml");    }    string thisurl = Request.Url.AbsolutePath;    str = str +string.Format("<a href='{0}'>点击生成当前站点sitemap</a><br/><br/>",thisurl);

热点排行

编程

.Net生成站点site地图供百度抓取的类和使用