第192章 MIT准大一新生(上) (第8/8页)

摘要算法专利，最容易让这个时空外界不解的就是语料库的问题了。

    不提前想好牵扯到训练语言模型所用到的语料库问题该怎么解释就贸然拿出文本摘要方面的新成果很容易遭受这样那样的质疑。

    这样的问题林灰早就注意到了。

    事实上这个问题林灰早就有了答案。

    而且林灰准备了至少三个备选的答案。

    林灰将他先前准备好的说辞说给了贺天昌教授。

    贺天昌听林灰讲了不少方法，一时不由得感慨果然年轻人电子多。

    在林灰提到的几种方法中。

    贺天昌比较感兴趣的还是借助互联网自动构建文本语料库这种方法：

    当利用这种方法构建语料库的时候，用户只需要提供所需的文本类别体系。

    而后从互联网中采集大量网站，提取并分析网站的内容层次结构和每个主题词对应的网页内容信息。

    从每个网站中筛选出用户所需要的文本作为候选语料。

    而后对形成的语料库进行去噪。

    事实上这种方法贺天昌记得以前看过国外大学一些学报似乎记录过这方面的研究。

    可国外那次失败了，因为采集到的语料库噪点太大，停用词过多，根本不堪一用。

    林灰为什么会提出这种方法。

    莫非林灰对去噪所用的算法一定有独到的理解。

    贺天昌默默将这事记下了。

    涉及到NLP什么的其实贺天昌也不是很擅长。

    但问题不大，贺天昌國内可是有些老朋友很是精于此道的。猪熊的穿越：2014