用机器学习怎样鉴别不可描述的网站

大家好，我是为人造的智能操碎了心的智能禅师。

全文大约3500字。读完可能需要下面这首歌的时间

👇

前两天教师节，人工智能头条的某个精神股东粉群里，大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

很多人表示，他们的硬盘里，至今还保留着当时她们上课时候的视频。有一些现在网站上已经很难找到了，于是大家又纷纷开始互相交流跟随这些老师学习实践的心得体会。

👆禅师最喜欢的教师

后来禅师想起来，另一个人工智能头条的精神股东粉群西部世界里，有人提到过他写了一篇Chat，利用 NLP 来鉴别是普通网站和不可描述网站，还挺有点意思，一起来看看吧。

互联网中蕴含着海量的内容信息，基于这些信息的挖掘始终是诸多领域的研究热点。当然不同的领域需要的信息并不一致，有的研究需要的是文字信息，有的研究需要的是图片信息，有的研究需要的是音频信息，有的研究需要的是视频信息。

本文就是根据网页的文字信息来对网站进行分类。当然为了简化问题的复杂性，将以一个二分类问题为例，即如何鉴别一个网站是不可描述网站还是普通网站。你可能也注意 QQ 浏览器会提示用户访问的网站可能会包含色情信息，就可能用到类似的方法。本次的分享主要以英文网站的网站进行分析，主要是这类网站在国外的一些国家是合法的。其他语言的网站，方法类似。

一，哪些信息是网站关键的语料信息

搜索引擎改变了很多人的上网方式，以前如果你要上网，可能得记住很多的域名或者 IP。但是现在如果你想访问某个网站，首先想到的是通过搜索引擎进行关键字搜索。比如我想访问一个名为村中少年的博客，那么只要在搜索引擎输入村中少年这类关键词就可以了。图1是搜索村中少年博客时候的效果图：

红色部分便是匹配上搜索关键词的部分，一个页面能够展示 10 个条目，每个条目的标题就是相应网站网站的的 title，对应网页的 <title></title> 中间的内容，每个条目所对应的剩下文字部分便是网站的 description，是网页中诸如 <meta name="description" content= 的部分。

搜索引擎的工作原理就是首先将互联网上大部分的网页抓取下来，并按照一定的索引进行存储形成快照，每个条目的标题就是原网站 title（通常是 60 个字节左右，也就是 30 个汉字或者 60 各英文字母，当然搜索引擎也会对于 title 做一定的处理，例如去除一些无用的词），条目的描述部分通常对应原网站 description。

当在搜索框中输入关键词时候，会去和其存储网页进行匹配，将符合匹配的网页按照个网页的权重分页进行显示。当然网页的权重包含很多方面，例如广告付费类权重就非常的高，一般会在靠前的位置显示。对于一般的网站，其权重包括网页的点击次数，以及和关键词匹配的程度等来决定显示的前后顺序。

搜索引擎会去和网页的哪些内容进行匹配呢？如前面所述，通常是网页的 title、description 和 keywords。由于关键词匹配的程度越高的网站显示在前的概率较大，因此很多网站为了提高自己的排名，都会进行 SEO 的优化，而 title、description 和 keywords 是 SEO 优化的重要方面。至于不可描述网站，更是如此。有段时间《中国焦虑图鉴》这篇文章中也提到。由于搜索引擎并不会公开收取以及赌博、黄色网站广告费让他们排到前面。所以这些网站只能利用 SEO，强行把自己刷到前面。直到被搜索引擎发现，赶紧对它们“降权”处理。尽管如此，这些黄色网站如果能把自己刷到前几位一两个小时，就能够大赚一笔。

由上述分析可以知道 title、description 和 keywords 等一些关键的网页信息对于不可描述网站来说都是经过精心设计的，和网页所要表述内容的匹配度非常之高。尤其很多网站在国外有些国家是合法的，因此对于经营这些网站的人员来说，优化这些信息一定是必然。我曾经看过一份数据显示在某段时间某搜索引擎前十名中，绝大多数的色情相关的。因此我们可以将其作为关键的语料信息。

二，语料信息的获取

现在其实面临的是一个二分类的问题，即判断一个网站是不可描述网站还是正常的网站。这个问题可以归结为 NLP 领域的文本分类问题。而对于文本分类来说的第一步就是语料的获取。在第一部分也已经分析了，相关语料就是网站的 title，description 以及 keywords。

如何获取这些数据，可以通过 alex 排名靠前的网站，利用爬虫进行获取。本文对于正常数据的获取，选取 alex 排名前 4500 的网站，通过爬虫，提取网页的 title 和 description 以及 keywords 作为原始文本。对于色情数据的获取亦然，通过爬虫对已经已经积累的 4500 个的站点进行文本收集。由于这部数据是敏感数据，因此数据集无法向大家公开，还请见量。

爬虫的实现是一个很大的主题，本文篇幅有限，不在讨论，可以参考已有的一些技术博客。总体来说应对本文场景爬虫是很简单的，即发起一个 HTTP 或者 HTTPS 链接，对返回的数据进行清洗提取即可，使用 python 的一些模块几条语句就可以搞定。我在数据获取过程中使用的是 nodejs 编写的爬虫，每次同时发起 1000 个请求，4500 个站点几分钟就搞定了。由于异步请求是 nodejs 优势之一，如果在时间方面有较高要求的，可以考虑 nodejs（但是 nodejs 异步的编程和常见语言的编程差别较大，学习起来有一定的难度），如果没有建议使用 python，主要是后续的机器学习，python 是最热门的语言，包含众多的基础模块。

三，分词，去停用词形成词向量特征

在获取一定的文本数据之后，需要对这些原始的数据进行处理，最重要的就是分词。英文分词比之中文的分词要简单不少，因为英文中词与词之间时有明显的间隔区分，例如空格和一些标点符号等。中文的话，由于词语是由一些字组成的，整体要麻烦些，而且还有不同场景下的歧义问题。当然 python 提供了诸如 jieba 等强大的分词模块，非常方便，但是总体来说英文分词还要注意以下几点：

1. 将每一行单词全部转化为小写，排除大小写的干扰。因为在本文场景下大小写词语所代表的含义基本相同，不予区分

2. 切词，依据就是空格，逗号等分隔符，将句子切分成一个个的单词。当然由于本文的语料全部来源于网页，这其中词语的分隔都会具有一些网页的属性，比如语料中会由很多特殊的符号，如 | - _ , &# 等符号，需要进行排除

3. 排除一些停用词。所谓的停用词通常指的是英语中的冠词，副词等，经过上一步骤切分出来的单词可能会包括 an，and，another，any 等。因此需要将这些无意义词去除掉当然你也可以使用 nltk 中自带的停用词（from nltk.corpus import stopwords），但是有的时候会根据具体的应用场景，加入相应的停用词，因此自定义停用词词典可能灵活性更高一些。比如在上一步骤中会切分出“&#”等等符号，因此需要将 &# 加入到停用词中。关于停止词，我这里面使用了一个较为常用的停用词字典，同时加入了在网页中一些常见停用词。

4. 提取词干。由于英文的特殊性，一个词会有多种状态，比如 stop，stops，stopping 的词干都是 stop，通常情况所表示的含义都是相同的，只需要 stop 一个即可。但是对于我们的二分类应用场景来说，我一开始没有做词干的提取因为不可描述网站中的 hottest 和常见网站中共的 hot 还是有点差异的。当然这一步可以根据具体的应用场景以及识别结果进行选择。

5. 排除数字。数字在一些不可描述网站中时经常出现的，但是为了我这边还是将其排除，比如 1080 在不可描述网站和正常的网站中出现的概率都很高，表示视频的分辨率，当然这一步也是可选的。当然数字也可以加入停止词中，但是由于数字数量较多，同时比较好鉴别（isdigit() 函数鉴别即可），因此对于数字的排除单独拿出来。

使用 python 的 jieba 模块结合上述所述的 5 个步骤，得到若干单词，相应代码为：

以正常网站和不可描述网站的 description 为例，对应的词云图如下：

 👆图2

 👆图3

可以看到对于正常的网站来说 free，online，news，games，business，world，latest 是较为热门的词汇；对于不可描述网站来说，图中显示较大是对应较为热门的词汇。

有了一个个单词之后，需要将这些单词转化为一些模型能够接受的输入形式，也就是词向量。一种常见的方法就是构建一个 N * M 的矩阵，M 大小是所有文本中词的个数；N 的大小是所有文本个数，在本文的环境中就是 title，description 或者 keywords 的（即网站的）个数。

矩阵每一行的值，就是经过上述方法切词之后，词库中每一个词在该 title 上出现的频率，当然对于没有在该 title 出现的词（存在于其他 title 中）计为 0 即可。

可以预见，最终形成的是一个稀疏矩阵。Sklearn 也提供了一些方法，来进行文本到数值的转换，例如 CountVectorizer，TfidfVectorizer，HashingVectorizer。由前面的分析可知，title，description，keywords 是较为特殊的文本，会出现很多关键词的堆积，尤其对于不可描述网站，同时相应的预料数据有限，因此本文使用的是 CountVectorizer 来进行简单的词频统计即可，代码如下：

四，模型的训练识别以及比较；

有了第三个步骤的词向量的数值特征，接下来就是训练模型的选择了。对于文本分类问题来说，较为经典的就是朴素贝叶斯模型了。贝叶斯定理如下：

P(A|B) = P(B|A) P(A) / P(B)

表示的是 A 在 B 条件下的概率等于 B 在 A 条件下的概率乘以A出现概率除以 B 出现概率。对应到我们这个场景就是 B 是每一个 title 的特征，设 B=F1F2...Fn，即上述形成的稀疏矩阵的每一行，表示的是在该 title 中，词库中所有词在对应位置上出现的频率。

A={0,1}，表示具体的类别，即是不可描述网站还是普通网站。因此上述公式可以表示为：

对于 P(Fn|C) 表示的某个类别下某个单词的概率（P(sex|0)，表示不可描述网站集合中所有词中，sex 单词出现的概率），P(C) 表示某个类别的文本占比（p(0)表示不可描述网站数量占比），这些都是可以对文本进行统计得到的。而 P(F1F2...Fn) 是一个与类别无关的量，可以不与计算。因此可以看出最终是计算具有 F1F2...Fn 特征的文本属于不可描述网站（P(0|F1F2...Fn)）和普通网站（P(1|F1F2...Fn)）的概率，哪个概率大就归为那一类。当然关于朴素贝叶斯模型的原理，由于篇幅有限，就不过的阐述了。

由前面分析发现 title，description 以及 keywords 对于搜索引擎都是较为重要的信息，因此分别提取了网页的 title，description 以及 keywords，并单独测试每一份的语料数据。

如果直接使用 train_test_split 对所有语料进行切分，则有可能会使得正常语料和色情语料在训练和策测试数据中的比例不一致，为了保证结果的可靠性，使用 train_test_split 分别对于正常语料和色情语料按照 7:3 的比例进行切分。然后将每一分切分后的训练和测试数据进行合并，使用朴素贝叶斯模型对于数据进行预测，采用多项式模型，代码如下：

通过多次随机的按照 7:3 的比例切分正常语料和色情语料分别作为训练集和测试集发现，以 

description（0.8921404682274248，0.9054515050167224，0.8979933110367893，0.9037792642140468，0.8904682274247492）

keywords（0.8912319644839067，0.8890122086570478，0.8901220865704772，0.8912319644839067，0.8856825749167592）

作为语料数据的时候，识别结果最好，都集中在 90% 左右。

而以title（0.8081884464385867，0.8059450364554123，0.8132361189007291，0.8104318564217611，0.8093101514301738） 的效果最差，集中在 81% 左右。

分析原因发现，经过切词后，有不少的 title 为空，或者 title 只有很少单词的情况。形成的特征较弱，这种单词较少的情况是导致识别率不高的重要原因。例如 title 只有一个单词 video，由于该词在色情语料中属于高频词汇，在正常词汇中出现的频率也不低，因此只根据 title 就使得识别结果会随着语料的不同而不同。虽然对于搜索引擎来说，title 的权重大于 description，description 的权重大于 keywords。

但是对本文所述场景来说 description 的权重大于 keywords；keywords 的权重大于 title。也就是说当网页没有 description 时候，考虑使用 keywords 作为语料输入；当网页没有 description，keywords 时候，考虑使用 title 作为语料输入。

可以看到通将 4000+ 网站个作为训练的输入，以及 1700+ 网站作为测试。识别准确率稳定在 90% 左右，证明说明该方法是可行的，具有一定的应用价值。

当然在分析最终识别结果的过程中，还发现起始很多的色情语料被标记成了正常语料。原因在于，正常语料的来源是 alex 排名靠前的网站。在这其中是有部分的不可描述网站的。

同时相关的调查也发现不可描述网站的用户滞留时间要高于普通的网站，同时不可描述网站以视频为主，因此其流量很大，排名靠前的不在少数。

所以对于正常语料的筛选，也是一份很重要的工作。通过对于误识别结果的分析，是可以筛选出一份较为准确的语料库的，但其中的工作量也是比较多。

如果进一步排除其中的错误的标注，那么对于识别的准确率会有进一步的提升。

当然虽然正常和不可描述网站都是 4500+，但是我只提取了英文网站的信息，对于像日文等网站都进行了排除，实际上有效的英文不可描述网站语料为 3500+，有效的英文正常网站为 2300+。

因为排名靠前的正常网站有很多的中文以及其他国家的网站，而对于不可描述网站来说，英文占多数。

由于每个类别的占比对于概率的计算会有一定影响的，因此这一点也是值的注意的。

当然还可以使用决策树以及 SVM 等模型来做分类预测，但是实际的测试效果并没有朴素贝叶斯好，以 description 作为输入为例，决策树的识别率为 85% 左右。

个人认为本文的应用场景和贝叶斯的的思想是一致的，通过判断该语句属于某一类别的概率来决定其归属，具体通过句子中单词的概率进行计算所的。当然实际生产过程中模型的选择还是依赖于具体的应用场景和效果。

五，基于本文所述方法的扩展应用

前面所讨论的是一个二分类的问题，总体来看使用文本分类中的一些常见的方法取得了不错的效果。

既然不可描述网站能够通过该方法被识别出来，那么推测其他类型的网站应该也可以被识别。

例如新闻，游戏，股票，音乐，等类别的网站，那么有没有一种方法能够根据访问的网站，自动的将其归类呢。

当然本文所讨论的不可描述网站的识别的应用场景还是较为有限的，如果是企业或者教育网的出口处，该方法就可能没法起作用。对于以 HTTP 协议传输的网站来说，能够获取明文，方法依然有效。

但是越来越多的网站已经迁移到 HTTPS，无法获取明文信息，该方法就不起作用了。

在面对加密通信报文情况下的数据时候，如何来识别不可描述网站呢？当然关于这方面，我有幸做过一些研究和实践。如果对这种场景下面识别感兴趣的同学，可以在我的的读者圈留言。我会再写一篇跟大家一同探讨。

本文首发于GitChat，未经授权不得转载，转载需与GitChat联系。