7年前，当我仍在Virante，Inc.（现为Hive Digital）工作时，我在Moz上发表了一篇文章，概述了一些简单的方法，可以通过将一个人的反向链接配置文件与基于Wikipedia的理想模型进行比较来检测反向链接操纵。当时，由于我是API的使用者，因此无法进行研究，因为我无法访问更深入的指标，度量和方法来识别反向链接配置文件中的异常。我们使用这些技术来通过诸如Remove'em和Penguin Risk之类的工具发现反向链接的操纵，但是它们始终受到面向消费者的API的限制。而且，它们没有扩展。收集站点，甚至是大型站点的所有反向链接，并判断每个单独的链接的源类型，质量，锚文本等，这是一回事。如果您愿意等待，可以从数十家供应商处访问此类报告。几个小时才能完成报告。但是，如何每天为30万亿个链接执行此操作？

 

自从启动Link Explorer和我在Moz的住所以来，我所拥有的过滤数据少得多，给了我更深刻，更清晰的了解可用于反向链接索引维护者识别和反操纵的工具的图景。尽管我绝不打算说可以检测到所有操作，但我只想概述一些检测垃圾邮件的令人惊奇的方法。

 

通用方法

您无需成为数据科学家或数学书呆子即可了解识别链接垃圾邮件的简单方法。虽然在执行测量，测试和构建实用模型时肯定会使用大量数学，但一般要点是可以理解的。

 

第一步是从网上获得一个很好的随机链接样本，您可以在此处阅读有关内容。但是，假设您已经完成了这一步。然后，对于那些随机链接的任何属性（DA，锚文本等），您可以确定正常或预期的情况。最后，您查找异常值，并查看这些异常值是否与某些重要内容相对应-例如操纵链接图的网站或异常好的网站。让我们从一个简单的例子开始，链接衰减。

 

链接衰减和链接垃圾邮件

链接衰减是链接自然退出网络或更改URL的自然发生。例如，如果您在发布新闻稿后获得链接，那么您可能会希望其中的某些链接最终随着页面的存档或删除而消失。而且，如果要从博客文章中获取链接，则可能希望博客上具有主页链接，直到该文章被新文章推送到第二页或第三页为止。

 

但是，如果您购买了链接怎么办？如果您拥有大量域并且所有站点都相互链接怎么办？如果使用PBN怎么办？这些联系往往不会衰减。对入站链接进行控制通常意味着您可以防止它们不断衰减。因此，我们可以创建一个简单的假设：

 

假设：操纵链接图的站点的链接衰减率将不同于具有自然链接配置文件的站点。

正如我们之前讨论的那样，检验该假设的方法。我们首先弄清楚什么是自然的。随机站点的链接衰减率是什么样的？好吧，我们只需要访问一些站点并记录删除链接的速度（访问页面并查看链接已消失）的速度及其链接总数。然后，我们可以查找异常。

 

在这种异常狩猎的情况下，我将使其变得非常容易。没有统计数据，没有数学运算，只是快速浏览一下当我们首先按照最低衰减率排序，然后再按照最高域名管理机构排序时，会看到哪些人位于频谱的末尾。

 

链接比率高的网站的电子表格

成功！我们看到的每个DA得分都不错，但链路衰减为0的例子似乎都是由某种链路网络提供的。这是啊哈！数据科学的那一刻真有趣。尤其有趣的是，我们发现分布的两端都是垃圾邮件，也就是说，衰减率为0或衰减率接近100％的站点都倾向于是垃圾邮件。第一种趋向于成为链接网络的一部分，第二种趋向于将其反向链接发送到其他垃圾邮件站点的垃圾邮件，因此它们的链接迅速转移到其他页面。

 

当然，现在，我们正在努力构建一个模型，该模型实际上考虑了这一点，并且相对于链接垃圾邮件的严重性，可以准确地降低域权限。但是你可能会问...

 

这些网站没有在Google中排名-为什么它们首先拥有不错的DA？

好吧，这是训练集的常见问题。DA在Google排名的网站上接受过培训，因此我们可以确定谁排名高于谁。但是，从历史上看，我们从未（而且据我所知，我们行业中没有人）没有考虑根本没有排名的随机URL。这是我们将在3月初推出的新DA模型中正在解决的问题，请继续关注，因为这代表了我们计算DA的方式的重大改进！

垃圾邮件分数分布和链接垃圾邮件

即将到来的Domain Authority 2.0的最令人兴奋的新功能之一就是使用了我们的垃圾邮件评分。Moz的垃圾邮件得分是一种链接盲法（我们根本不使用链接）指标，该指标可预测在Google中为某个域名建立索引的可能性。分数越高，站点越差。

 

现在，我们可以忽略垃圾邮件得分超过70的站点中的任何链接，而将其称为“每天”，但事实证明，常见的链接操纵方案留下了令人着迷的模式，等待使用这种使用随机样本的简单方法来发现的网址，以查找正常的反向链接配置文件的外观，然后查看垃圾邮件得分在网站反向链接之间的分配方式是否存在异常。让我告诉你一个。

事实证明，自然行事真的很难做到。即使是最好的尝试，也常常会失败，就像这个特别有害的链接垃圾邮件网络一样。这个网络困扰了我两年，因为它包含了前百万个站点的目录，因此，如果您是这些站点之一，则可以在反向链接配置文件中看到200至600个跟随链接的位置。我称其为“全球”网络。查看网络并查看他们在做什么很容易，但是我们可以自动发现它，以便将来像其他网络一样贬值吗？当我们查看网络中包含的站点的链接配置文件时，“垃圾邮件分数”分布就像圣诞树一样发光。

 

包含垃圾邮件分数分布的电子表格

大多数站点从垃圾邮件得分低的域获得大部分反向链接，并且随着域名的垃圾邮件得分上升而获得的反向链接越来越少。但是，该链接网络无法隐藏，因为使用垃圾邮件评分，我们能够检测到其网络中的网站存在质量问题。如果仅依靠忽略不良的“垃圾邮件分数”链接，那么我们将永远不会发现此问题。取而代之的是，我们找到了一个很好的分类器，用于查找可能因Google不良链接构建做法而受到Google惩罚的网站。

 

DA分发和链接垃圾邮件

通过入站域授权的分布，我们可以在站点之间找到类似的模式。寻求提高排名以在宣传活动中设置最低质量标准（通常是DA30及更高）的企业很常见。不幸的结果是，剩下的仍然是带有受操纵的链接配置文件的站点的明显例子。

 

让我花点时间在这里说清楚。受控的链接配置文件不一定违反Google的准则。如果您进行有针对性的PR外展活动，则可以合理预期发生这种分布而无需任何尝试来操纵图形。但是，真正的问题是Google是否希望执行此类扩展的网站表现更好。如果不是这样，那么即使不完全忽略，这个明显的链接操纵示例也很容易被Google削弱。

 

分配域权限的电子表格

对于不以高链接公平域为目标??的网站，正常链接图的大部分链接来自DA0-10站点，DA10-20则更少，依此类推，依此类推，直到DA90 +几乎没有链接。这是有道理的，因为网络上的低DA网站远远多于高DA网站。但是，以上所有站点的链接分布都异常，这使得很容易检测并更正链接值。

 

现在，我想清楚一点：这些不一定是违反Google准则的示例。但是，它们是链接图的操作。由您来确定您是否认为Google花时间来区分进行外联导致异常链接分配的方式。

 

什么不起作用

对于我们发现的每种类型的链接操纵检测方法，我们都会废弃数十种方法。其中一些实际上是相当令人惊讶的。让我写一下其中的一种。

 

第一个令人惊讶的例子是nofollow与跟随链接的比率。评论，论坛和其他类型的垃圾邮件发送者最终会积累大量nofollowed链接，这似乎很容易理解，从而形成了一种易于识别的模式。好吧，事实证明这根本不是真的。

 

 

跟随链接的nofollow比率实际上是一个很差的指标，因为facebook.com之类的流行网站通常甚至比纯评论垃圾邮件发送者还要高。这可能是由于使用小部件和信标以及在网络上的评论中合法使用了诸如facebook.com之类的流行网站。当然，并非总是如此。有些站点具有100％nofollow链接和大量的根链接域。可以很容易地检测到这些异常，例如“ Comment Spammer 1”，但作为常规度量，该比率不能用作垃圾邮件或火腿的良好分类器。

 

下一个是什么？

Moz不断遍历链接图，以寻求使用从基本线性代数到复杂神经网络的所有方法来改进Domain Authority的方法。思想目标很简单：我们希望制定有史以来最好的“域授权”指标。我们想要一个可以让用户长期信任的指标，就像Google一样可以消除垃圾邮件（并帮助您确定您或您的竞争对手何时达到极限），同时保持或改善与排名的相关性。当然，我们不希望根除所有垃圾邮件-没有人能做到这一点。但是我们可以做得更好。在无与伦比的尼尔·马丁森·伯雷尔（Neil Martinsen-Burrell）的带领下，我们的指标将在业界独树一帜，成为衡量网站在Google中排名可能性的规范方法。