搜索引擎对重复内容的识别及漏洞
2008/04/10 21:09
互联网文章的相互复制，造成了互联网上存在大量的重复内容，这些重复内容，给搜索引擎带来了巨大的压力，搜索引擎在工作时，就需要对重复内容进行识别。那么搜索引擎是根据什么原理来进行重复内容的识别的呢?
有的SEO在实践中提出，为了让搜索引擎收录自己的页面，可以修改标题和部分内容的文字，可以让搜索引擎收录页面;也有SEO认为搜索引擎还将页面的格式脚本也进行比较。
事实上，搜索引擎识别重复内容的原理相当简单，并是不是有些SEO想象的那样拿文章的一段文字和另一篇文章去匹配，要是这样的话，搜索引擎的重复内容识别的效率就太低了。
搜索引擎在识别重复内容之前，已经对页面内容进行了消噪和分词，消噪是指将页面的模板、广告等噪音过滤掉，留下文章的信号。在分词时，已经去掉了页面的脚本代码以及停止字。分词结束后，对每个分词出现的次数进行统计，取出现频率最高的三个或五个关键字，假设为A、B、C三个关键字，分别出现了10次、8次和5次，那么就形成A10B8C5这样一串字符，对此进行如MD5或其它形式的编码后形成一串数字，我们称这串数字为这篇文章的信息指纹，然后那这串信息指纹去数据库中检索，如果已经存在的话，则可以认为这个页面是重复内容。
当然，仅仅采用这样一种方式进行重复内容的识别，存在很大的漏洞，比如有人将核心关键字修改一下，或者人为增加或减少核心关键字来进行欺骗。
因此，搜索引擎还需要对这个算法加以修正，如再检索词频为第六到第九的关键字，甚至分段进行多次识别。
任何算法都只是基于统计意义的，这样的算法也存在很大的漏洞。
漏洞1：将文章的关键字进行了批量替换后，如果仅仅取钱三个关键字的信息指纹进行比对的话，就认为是新内容了，而事实上文章的核心思想是一样的;
漏洞2：将多个文章的标题+摘要列出，形成一个文章列表，如果不对文章进行分段识别的话，也会认为这是新内容;
漏洞3：论坛里的文章，由于大量的跟贴者，相当于对原文章进行了补充，随着跟贴者的增加，这个页面也会被认为是新内容;
漏洞4：对文章的标题进行修改，并对文章加入一些评论或其它的文字，使页面跳出重复页面;
漏洞5：以句子为单位制作SPAM，网上随机抽取句子，制造出段落，并合并成页面。
这些漏洞，往往被一些不良SEOer所利用，用来疯狂制造出一些搜索引擎无法识别，人却可以识别的重复页面。
在重复页面越来越多的今天，搜索引擎对消重的重视程度越来越高，百度自不用说，Google之前推出的类似网页功能，就是消重的一个措施。尽管，google目前对重复页面还没有采取很强硬的对策，但要让重复页面出现在google的排名前列要花的精力自然要比原创页面大的多。
一般而言，文章段落的重排对于重复页面的识别影响不大，但对于核心关键字的改变，则往往使搜索引擎认为是新内容。
作者：泥人
有的SEO在实践中提出，为了让搜索引擎收录自己的页面，可以修改标题和部分内容的文字，可以让搜索引擎收录页面;也有SEO认为搜索引擎还将页面的格式脚本也进行比较。
事实上，搜索引擎识别重复内容的原理相当简单，并是不是有些SEO想象的那样拿文章的一段文字和另一篇文章去匹配，要是这样的话，搜索引擎的重复内容识别的效率就太低了。
搜索引擎在识别重复内容之前，已经对页面内容进行了消噪和分词，消噪是指将页面的模板、广告等噪音过滤掉，留下文章的信号。在分词时，已经去掉了页面的脚本代码以及停止字。分词结束后，对每个分词出现的次数进行统计，取出现频率最高的三个或五个关键字，假设为A、B、C三个关键字，分别出现了10次、8次和5次，那么就形成A10B8C5这样一串字符，对此进行如MD5或其它形式的编码后形成一串数字，我们称这串数字为这篇文章的信息指纹，然后那这串信息指纹去数据库中检索，如果已经存在的话，则可以认为这个页面是重复内容。
当然，仅仅采用这样一种方式进行重复内容的识别，存在很大的漏洞，比如有人将核心关键字修改一下，或者人为增加或减少核心关键字来进行欺骗。
因此，搜索引擎还需要对这个算法加以修正，如再检索词频为第六到第九的关键字，甚至分段进行多次识别。
任何算法都只是基于统计意义的，这样的算法也存在很大的漏洞。
漏洞1：将文章的关键字进行了批量替换后，如果仅仅取钱三个关键字的信息指纹进行比对的话，就认为是新内容了，而事实上文章的核心思想是一样的;
漏洞2：将多个文章的标题+摘要列出，形成一个文章列表，如果不对文章进行分段识别的话，也会认为这是新内容;
漏洞3：论坛里的文章，由于大量的跟贴者，相当于对原文章进行了补充，随着跟贴者的增加，这个页面也会被认为是新内容;
漏洞4：对文章的标题进行修改，并对文章加入一些评论或其它的文字，使页面跳出重复页面;
漏洞5：以句子为单位制作SPAM，网上随机抽取句子，制造出段落，并合并成页面。
这些漏洞，往往被一些不良SEOer所利用，用来疯狂制造出一些搜索引擎无法识别，人却可以识别的重复页面。
在重复页面越来越多的今天，搜索引擎对消重的重视程度越来越高，百度自不用说，Google之前推出的类似网页功能，就是消重的一个措施。尽管，google目前对重复页面还没有采取很强硬的对策，但要让重复页面出现在google的排名前列要花的精力自然要比原创页面大的多。
一般而言，文章段落的重排对于重复页面的识别影响不大，但对于核心关键字的改变，则往往使搜索引擎认为是新内容。
作者：泥人
discuz即将推出类sns程序uchome
2008/04/08 23:56
引用
UCHome也将帮助你把“放弃联系”的人连接起来，通过与曾经认识过的人加好友，就时常能通过UCHome知道对方在干什么，到对方的地盘上踩踩，更多的了解对方，此时用户可能会发现：原来这个人和我如此志趣相投，我们应当成为更好的朋友——更多的关注对方；或者是：这个人压根没劲，我不想和这个人来往了——将其从好友列表中删除，以不受打扰。
落伍已经在使用uchome了，其实他就是和校内网（xiaonei.com）很相像的一个SNS网站。目前uchome还在内测阶段，需要先睹
为快或者试用的可以倒discuz论坛或落伍者转转，应该有uchome的下载地址，相信discuz推出的uchome这一产品又将在互联网激起巨浪。uchome，让我们拭目以待吧
《屎眼红红》恶搞Twins《眼红红》(视频)
2008/04/08 23:44
香港流行组合Twins早期的MTV作品《眼红红》近来被网友恶搞成《屎眼红红》，并把歌词被改得十分恶俗，《屎眼红红》讽刺Twins成员阿娇陷入艳照门事件。日前，这则《屎眼红红》恶搞MTV在国内视频网站大量流传。
因Twins成员钟欣桐(阿娇)曾陷入“艳照门”事件，这则恶搞MTV的所有歌词实为讽刺阿娇。
该修改版本《眼红红》MTV的结尾处，附有“LyricsBY高登改词组”
因Twins成员钟欣桐(阿娇)曾陷入“艳照门”事件，这则恶搞MTV的所有歌词实为讽刺阿娇。
该修改版本《眼红红》MTV的结尾处，附有“LyricsBY高登改词组”
中国女人和曰本女人的差别
2008/04/08 11:39
出生
中国：父母和外祖父母多少还是开心的，但祖父母一定是失望的。
曰本：女孩得到全部家族成员的祈福。
4岁
中国：参加各种琴棋书画幼儿班。
曰本：同邻居家的小男孩一起给受伤的小狗包扎伤口。
8岁
中国：知道男女有别，但懂得不多，觉得班上那些毛头小子很烦。
曰本：已经了解男女繁衍的奥秘，很羡慕男孩子有运动天赋。
12岁
中国：打听到喜欢的男生报考的中学和自己的不一样，失落的吃不下睡不着。
曰本：在毕业典礼上向喜欢的男生告白，给出初吻。
14岁
中国：爱上了文学，崇拜徐志摩或朱自清，但鲁迅老舍等不在其中。
曰本：被演艺公司的星探看中并推荐，参加“国民美少女”评选。
16岁
中国：告别了文学，觉得高年级某位学长很阳光，经常去球场偷偷看他打球。
曰本：把第一次献给了心爱的人，周末都一起出去游玩，一定让他吃自己做的便当。
18岁
中国：被高考的重担压得没有空闲去想其他事。
曰本：和同班几个女生第一次打援助交际热线，虽然感觉很讨厌，可是轻松就能有一周的零花。
20岁
中国：如愿进了大学，发现不像期待的那么精彩，枯燥之余想谈恋爱了。
曰本：参加成人仪式，终于可以离开父母，自力更生了。
21岁
中国：被一个各方面都很普通的男生追了一年，终于答应了他。
曰本：从超市服务员到咖啡店侍应到街头广告女郎，认识到赚钱太辛苦，还是先出名吧。
22岁
中国：不慎怀孕，在男朋友陪同下去做了人流，痛，但依然有恍惚的幸福感。
曰本：应聘到一家娱乐公司做艺人，无奈拍了裸体写真，打算赚够一笔就退出。
23岁中国：面临毕业，男朋友执意要去其他城市，分手时终于明白了海誓山盟就是放P。
曰本：AV都拍了几部，发现这事也没什么，追求的男人还是一大堆。
24岁
中国：因为相貌出众，在工作上也诸多方便，上司，同事都对自己不错，追求者络绎不绝。
曰本：事业人气渐低，发现男人接近自己都是为了上床，一直保持单身。
25岁
中国：觉得人事部经理不错，有样子有能力，于是接受了追求，一个月后同居了。
曰本：离开了娱乐公司，在一家公司找了份秘书的工作，虽然自己很笨拙，但董事长很体贴。
26岁
中国：问男友什么时候娶自己回家，答复是“没想过和你结婚，因为你不是处女。”
曰本：被董事长灌醉后强暴了，但在连哄带骗之后，做了情妇。
27岁中国：换了工作，在父母的催促下，思考是嫁个花心的大款还是真心爱自己的普通人。
曰本：董事长换了情妇，于是换了工作，先回到父母身边。
28岁
中国：选了个大企业的老板结了婚，四十多岁的矮胖子，还带两上小学的小孩，唉，好歹人家不在意自己是非处啊。
曰本：由父母介绍，跟熟人的朋友的亲戚的小儿子相亲。公司小职员，人挺老实的，结婚吧。
29岁
中国：夫妻生活一个月一次，一次一分钟。
曰本：一天三次，不过都要电动玩具助兴。
30岁
中国：跟单位小王好上了，小伙子人帅精力旺，花样还挺多。
曰本：一天三次，全是自慰。老公夜夜晚归，对自己已经没欲了。
35岁
中国：小王结婚了，老公彻底不举了，趁着风韵犹存，和闺中好友沉迷于PUB。
曰本：完全的家庭妇女。公车上担忧：怎么今天没痴汉呢？郁闷~~
40岁
中国：去PUB也没人理了，为什么牛郎那么少！
曰本：常要去买电池，烦。
45岁
中国：两个孩子上大学了，提醒儿子泡MM要戴套，教育女儿大学期间绝不能有性行为。
曰本：发现儿子最近老是自慰，还偷看自己洗澡……
50岁
中国：看见老公和儿媳妇说笑几句就上火。
曰本：儿子又要了，好困惑啊~~~
60岁转
中国：回首往事，觉得女人太苦，下辈子要做男人！
曰本：觉得人生就是这样，做女人挺好。
中国：父母和外祖父母多少还是开心的，但祖父母一定是失望的。
曰本：女孩得到全部家族成员的祈福。
4岁
中国：参加各种琴棋书画幼儿班。
曰本：同邻居家的小男孩一起给受伤的小狗包扎伤口。
8岁
中国：知道男女有别，但懂得不多，觉得班上那些毛头小子很烦。
曰本：已经了解男女繁衍的奥秘，很羡慕男孩子有运动天赋。
12岁
中国：打听到喜欢的男生报考的中学和自己的不一样，失落的吃不下睡不着。
曰本：在毕业典礼上向喜欢的男生告白，给出初吻。
14岁
中国：爱上了文学，崇拜徐志摩或朱自清，但鲁迅老舍等不在其中。
曰本：被演艺公司的星探看中并推荐，参加“国民美少女”评选。
16岁
中国：告别了文学，觉得高年级某位学长很阳光，经常去球场偷偷看他打球。
曰本：把第一次献给了心爱的人，周末都一起出去游玩，一定让他吃自己做的便当。
18岁
中国：被高考的重担压得没有空闲去想其他事。
曰本：和同班几个女生第一次打援助交际热线，虽然感觉很讨厌，可是轻松就能有一周的零花。
20岁
中国：如愿进了大学，发现不像期待的那么精彩，枯燥之余想谈恋爱了。
曰本：参加成人仪式，终于可以离开父母，自力更生了。
21岁
中国：被一个各方面都很普通的男生追了一年，终于答应了他。
曰本：从超市服务员到咖啡店侍应到街头广告女郎，认识到赚钱太辛苦，还是先出名吧。
22岁
中国：不慎怀孕，在男朋友陪同下去做了人流，痛，但依然有恍惚的幸福感。
曰本：应聘到一家娱乐公司做艺人，无奈拍了裸体写真，打算赚够一笔就退出。
23岁中国：面临毕业，男朋友执意要去其他城市，分手时终于明白了海誓山盟就是放P。
曰本：AV都拍了几部，发现这事也没什么，追求的男人还是一大堆。
24岁
中国：因为相貌出众，在工作上也诸多方便，上司，同事都对自己不错，追求者络绎不绝。
曰本：事业人气渐低，发现男人接近自己都是为了上床，一直保持单身。
25岁
中国：觉得人事部经理不错，有样子有能力，于是接受了追求，一个月后同居了。
曰本：离开了娱乐公司，在一家公司找了份秘书的工作，虽然自己很笨拙，但董事长很体贴。
26岁
中国：问男友什么时候娶自己回家，答复是“没想过和你结婚，因为你不是处女。”
曰本：被董事长灌醉后强暴了，但在连哄带骗之后，做了情妇。
27岁中国：换了工作，在父母的催促下，思考是嫁个花心的大款还是真心爱自己的普通人。
曰本：董事长换了情妇，于是换了工作，先回到父母身边。
28岁
中国：选了个大企业的老板结了婚，四十多岁的矮胖子，还带两上小学的小孩，唉，好歹人家不在意自己是非处啊。
曰本：由父母介绍，跟熟人的朋友的亲戚的小儿子相亲。公司小职员，人挺老实的，结婚吧。
29岁
中国：夫妻生活一个月一次，一次一分钟。
曰本：一天三次，不过都要电动玩具助兴。
30岁
中国：跟单位小王好上了，小伙子人帅精力旺，花样还挺多。
曰本：一天三次，全是自慰。老公夜夜晚归，对自己已经没欲了。
35岁
中国：小王结婚了，老公彻底不举了，趁着风韵犹存，和闺中好友沉迷于PUB。
曰本：完全的家庭妇女。公车上担忧：怎么今天没痴汉呢？郁闷~~
40岁
中国：去PUB也没人理了，为什么牛郎那么少！
曰本：常要去买电池，烦。
45岁
中国：两个孩子上大学了，提醒儿子泡MM要戴套，教育女儿大学期间绝不能有性行为。
曰本：发现儿子最近老是自慰，还偷看自己洗澡……
50岁
中国：看见老公和儿媳妇说笑几句就上火。
曰本：儿子又要了，好困惑啊~~~
60岁转
中国：回首往事，觉得女人太苦，下辈子要做男人！
曰本：觉得人生就是这样，做女人挺好。
GoDaddy注册.COM域名最大优惠券节省30%
2008/04/08 08:16
恭喜godaddy在中国大陆恢复访问，所以今天发一个godaddy最大优惠券，注册godaddycom域名立即节省30%，
另外注册godaddy域名都赠送免费相册，免费blogcast，免费企业邮局，免费带广告空间等，最多可一次性注册十年。
com节省30%的优惠码:gdp0403t 此优惠码有效期至08年4月30日，需要的朋友赶紧
另外注册godaddy域名都赠送免费相册，免费blogcast，免费企业邮局，免费带广告空间等，最多可一次性注册十年。
com节省30%的优惠码:gdp0403t 此优惠码有效期至08年4月30日，需要的朋友赶紧
北京阜城门乐杰士餐厅中学男女生当众做爱
2008/04/07 22:48
首先声明：这绝不是故意吸引人眼球，这件事情真真实实的发生在半小时前！今天八卦大发了！
我地神啊！（深呼一口气，平静一下说）
今天是几号？哦，4月7日，下午6：00，地点：阜成门华联商场西侧乐杰士餐厅。
我吃完一份咖喱鸡饭，便美美的拿出自己刚买的PSP玩起来，哦我最近正疯狂的迷恋“怪物猎人”，现在的战绩是能成功打败一只白速龙王，我目不转睛的打呀打呀，完全忽视了其他人的存在。
（旁白上场：去过阜成门乐杰士餐厅的人都知道，该餐厅的座位大部分都在点餐台里面，分左右两排，右边的那排靠着墙，前后都是高高的沙发靠背，案发现场就在这里。）
此时，正在PSP上拼命杀白速龙王的某小姐就坐在案发现场的正对面，诸位！是正对面哪，相隔不过一米！好戏就要上场了！
搬小板凳坐好！
我不知怎么回事抬了一下头，发现前面的沙发椅上不知什么时候坐了一对中学生，看样子就15、6岁，穿着校服，蓝白色的那种，男孩子靠着墙，女孩子坐走道边，他俩正盯着我看，我低下头继续玩，小屁孩儿，肯定是看到我手里粉红色的PSP，眼馋了贝！现在的小孩子谁不爱玩游戏啊。可是我错了，我落伍了，我太小看现在的九零后了！！！
第二次抬头，发现那小女孩正趴在小男孩的大腿上，头朝下，一上一下的，我傻了一下，又注意的看了看，小女孩的头还在一上一下的点，我呆了！！不是姐姐我今天看到大希奇了吧？不会不会，咱再看看……妈呀！这不是在KJ做甚？？？？我的脑袋蓦然空白了！
诸位仙家，这！这！这可是在阜成门华联商场啊，整个北京人最多的地方之一，而且现在正是吃饭时间，哦忘了通告，当时，确实里面只有我和他们两组人在吃饭，哦不，他们肯定没把我当人！我不是人！！！没想到啊……
姐姐我快奔三了，这种新鲜事儿也是头一遭！小男孩很镇定的头靠在沙发背上，但小脸儿已经憋得又红又紫了，我还是赶紧滚吧，这不是打扰人家做甚？我一站起身，小男孩装做没看到我，用双手把那女孩的头护住，貌似不想让我看到，而那女孩，头还在一上一下起伏运动着！年轻人精力就上好！
……
……
今天各位跟我一样都见世面了啵？这就是九零后，我们祖国未来的花朵哎！希望大家都来关心关心这些孩子，不要让他们继续脑残了，马上就要奥运了，在大庭广众之下做这个，不好！是啵？
发贴的是我的同事，确切说是对桌，是她今晚（4月7号）亲眼目睹，如有半句假不得好死！90后真得太强大了，我们自愧不如。
我地神啊！（深呼一口气，平静一下说）
今天是几号？哦，4月7日，下午6：00，地点：阜成门华联商场西侧乐杰士餐厅。
我吃完一份咖喱鸡饭，便美美的拿出自己刚买的PSP玩起来，哦我最近正疯狂的迷恋“怪物猎人”，现在的战绩是能成功打败一只白速龙王，我目不转睛的打呀打呀，完全忽视了其他人的存在。
（旁白上场：去过阜成门乐杰士餐厅的人都知道，该餐厅的座位大部分都在点餐台里面，分左右两排，右边的那排靠着墙，前后都是高高的沙发靠背，案发现场就在这里。）
此时，正在PSP上拼命杀白速龙王的某小姐就坐在案发现场的正对面，诸位！是正对面哪，相隔不过一米！好戏就要上场了！
搬小板凳坐好！
我不知怎么回事抬了一下头，发现前面的沙发椅上不知什么时候坐了一对中学生，看样子就15、6岁，穿着校服，蓝白色的那种，男孩子靠着墙，女孩子坐走道边，他俩正盯着我看，我低下头继续玩，小屁孩儿，肯定是看到我手里粉红色的PSP，眼馋了贝！现在的小孩子谁不爱玩游戏啊。可是我错了，我落伍了，我太小看现在的九零后了！！！
第二次抬头，发现那小女孩正趴在小男孩的大腿上，头朝下，一上一下的，我傻了一下，又注意的看了看，小女孩的头还在一上一下的点，我呆了！！不是姐姐我今天看到大希奇了吧？不会不会，咱再看看……妈呀！这不是在KJ做甚？？？？我的脑袋蓦然空白了！
诸位仙家，这！这！这可是在阜成门华联商场啊，整个北京人最多的地方之一，而且现在正是吃饭时间，哦忘了通告，当时，确实里面只有我和他们两组人在吃饭，哦不，他们肯定没把我当人！我不是人！！！没想到啊……
姐姐我快奔三了，这种新鲜事儿也是头一遭！小男孩很镇定的头靠在沙发背上，但小脸儿已经憋得又红又紫了，我还是赶紧滚吧，这不是打扰人家做甚？我一站起身，小男孩装做没看到我，用双手把那女孩的头护住，貌似不想让我看到，而那女孩，头还在一上一下起伏运动着！年轻人精力就上好！
……
……
今天各位跟我一样都见世面了啵？这就是九零后，我们祖国未来的花朵哎！希望大家都来关心关心这些孩子，不要让他们继续脑残了，马上就要奥运了，在大庭广众之下做这个，不好！是啵？
发贴的是我的同事，确切说是对桌，是她今晚（4月7号）亲眼目睹，如有半句假不得好死！90后真得太强大了，我们自愧不如。
@
