基于GPU的搜索引擎数据组织和分布技术研究

项目名称： 基于GPU的搜索引擎数据组织和分布技术研究

项目编号： No.61373018

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 刘晓光

作者单位： 南开大学

项目金额： 75万元

中文摘要： 作为一种新型众核处理器，GPU已经被广泛应用到高性能计算领域。但对I/O密集型应用，还缺少好的GPU示范应用。搜索引擎每秒需要处理成千上万个查询请求，是I/O和计算都密集的典型应用。课题工作的目标是在新的GPU+SSD硬件平台上，结合搜索引擎的特点，优化搜索引擎的I/O处理能力。具体来说，课题计划从数据组织、数据处理和数据分布三个方面着手：设计一种不需解压直接计算的索引压缩算法；设计利用搜索日志信息的数据划分方法；设计针对GPU和SSD等硬件特点的Cache算法。这也是课题工作的主要创新之处。众核处理器是CPU的未来发展方向，课题的工作成果可以作为众核平台上互联网应用的共性技术支持。

中文关键词： search engine；GPU；index；cache；

英文摘要： As one type of many-core CPU, GPU has been used in many high performance computing applications. But GPU can not be applied widely for lacking of high throughput computing applications. Since there are millions of queries will be treated by search engine

英文关键词： 搜索引擎；GPU；索引；缓存；