专栏名称: Python开发者
人生苦短,我用 Python。伯乐在线旗下账号「Python开发者」分享 Python 相关的技术文章、工具资源、精选课程、热点资讯等。
今天看啥  ›  专栏  ›  Python开发者

用 Python 实现一个大数据搜索引擎

Python开发者  · 公众号  · Python  · 2017-11-26 20:17
(点击上方公众号,可快速关注)来源:naughty my.oschina.net/taogang/blog/1579204如有好文章投稿,请点击 → 这里了解详情搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。布隆过滤器 (Bloom Filter)第一步我们先要实现一个布隆过滤器。布隆过滤器是大数据领域的一个常见算法,它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中,那么它可以以很快的速度返回目标不存在。让我们看看以下布隆过滤器的代码:class Bloomfilter(object):    """    A Bloom filter is a probabilistic data-structure that trades s ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照