码迷,mamicode.com
首页 > 其他好文 > 详细

Perl Search::Elasticsearch模块使用经验总结

时间:2016-12-09 01:26:18      阅读:504      评论:0      收藏:0      [点我收藏+]

标签:perl   es   elasticsearch   

在搭建Elasticsearch数据库的过程中,首先使用了其推荐的Logstash工具导入数据,但是用起来非常不顺手,所以想用Perl擅长的正则表达式对数据进行过滤分类,然后导入Elasticsearch,于是搜索CPAN找到了Search::Elasticsearch模块。

该模块在CPAN上的文档写的比较简洁,于是将使用过程中的经验总结如下:


一、逐条数据写入:

use Search::Elasticsearch;
my $e=Search::Elasticsearch->new(nodes=>[‘localhost:9200‘]);
$e->index(
    index=>"$index_name",
    type=>"$type_name",
    id=>"$id_name",
    body=>{
        title=>"$data_name",
        data=>"$data"
    }
);


二、批量数据写入:

use Search::Elasticsearch;
my $e=Search::Elasticsearch->new(nodes=>[‘localhost:9200‘]);
my $bulk=$e->bulk_helper(
    index=>"$index_name",
    type=>"$type_name"
);
my $i=0;
while(...){
    #do something
    $bulk->add_action(index=>{id=>$id_name,source=>{title =>$data_name,data=>$data}});
    if ($i>999){
        $bulk->flush;
        $i=0;
    }
    $i++;
}


三、读取一条记录:

use Search::Elasticsearch;
my $e=Search::Elasticsearch->new(nodes=>[‘localhost:9200‘]);
my $doc=$e->get(
    index=>"$index_name",
    type=>"$type_name",
    id=>"$id_name"
);
my $data=$doc->{_source}->{$data_name};
#do something


四、依次读取全部记录:

use Search::Elasticsearch;
my $e=Search::Elasticsearch->new(nodes=>[‘localhost:9200‘]);
my $scroll=$e->scroll_helper(
    index=>"$index_name",
    type=>"$type_name",
    body=>{
        query=>{match_all=>{}},
        size=>5000
    }
);
while (my $doc=$scroll->next){
    my $id=$doc->{_id};
    my $data=$doc->{_source}->{$data_name};
    #do something
}


本文出自 “如意灵临” 博客,请务必保留此出处http://417722381.blog.51cto.com/7856838/1880794

Perl Search::Elasticsearch模块使用经验总结

标签:perl   es   elasticsearch   

原文地址:http://417722381.blog.51cto.com/7856838/1880794

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!