标签：%s sel shel 包导入 value 数据 环境 就是 实例
Bleve是Golang实现的一个全文检索库，类似Lucene之于Java。在这里通过阅读其代码，来学习如何使用及定制检索功能。也是为了通过阅读代码，学习在具体环境下Golang的一些使用方式。代码的路径在github上https://github.com/blevesearch/bleve。
下面的代码摘自Bleve的"Hello World"示例。
// open a new index
mapping := bleve.NewIndexMapping()
index, err := bleve.New("example.bleve", mapping)
if err != nil {
fmt.Println(err)
return
}1.1和1.2两节是对上面逻辑的展开介绍，1.3节是在阅读代码中遇到的一些Golang特性的介绍，1.4节是当我们在使用bleve新建索引时可能会怎么做。
下面这段代码是Bleve的"Hello World"示例的第一条语句，表示打开一个新索引。
// open a new index
mapping := bleve.NewIndexMapping()这个函数的定义位于bleve目录下的mapping.go文件
func NewIndexMapping() *mapping.IndexMappingImpl {
return mapping.NewIndexMapping()
}可以看出它是一个封装函数，调用了mapping package的NewIndexMapping函数。该函数的定义位于bleve/mapping/index.go文件内，属于github.com/blevesearch/bleve/mapping包。
// NewIndexMapping creates a new IndexMapping that will use all the default indexing rules
func NewIndexMapping() *IndexMappingImpl {
return &IndexMappingImpl{
TypeMapping: make(map[string]*DocumentMapping),
DefaultMapping: NewDocumentMapping(),
TypeField: defaultTypeField,
DefaultType: defaultType,
DefaultAnalyzer: defaultAnalyzer,
DefaultDateTimeParser: defaultDateTimeParser,
DefaultField: defaultField,
IndexDynamic: IndexDynamic,
StoreDynamic: StoreDynamic,
DocValuesDynamic: DocValuesDynamic,
CustomAnalysis: newCustomAnalysis(),
cache: registry.NewCache(),
}
}建立了一个IndexMappingImpl结构并返回其指针，该IndexMappingImpl的所有成员均以默认方式初始化。接下来看一下IndexMappingImpl结构的定义，该结构同样属于github.com/blevesearch/bleve/mapping包，并位于bleve/mapping/index.go文件内。
// An IndexMappingImpl controls how objects are placed
// into an index.
// First the type of the object is determined.
// Once the type is know, the appropriate
// DocumentMapping is selected by the type.
// If no mapping was determined for that type,
// a DefaultMapping will be used.
type IndexMappingImpl struct {
TypeMapping map[string]*DocumentMapping `json:"types,omitempty"`
DefaultMapping *DocumentMapping `json:"default_mapping"`
TypeField string `json:"type_field"`
DefaultType string `json:"default_type"`
DefaultAnalyzer string `json:"default_analyzer"`
DefaultDateTimeParser string `json:"default_datetime_parser"`
DefaultField string `json:"default_field"`
StoreDynamic bool `json:"store_dynamic"`
IndexDynamic bool `json:"index_dynamic"`
DocValuesDynamic bool `json:"docvalues_dynamic,omitempty"`
CustomAnalysis *customAnalysis `json:"analysis,omitempty"`
cache *registry.Cache
}从注释可以看出，IndexMappingImpl结构是用来控制每一个对象应该被如何放入Index中，其各字段也是围绕这个目标展开的。
TypeMapping ：一个map类型，Key是string类型，表示文档的类型。Value是DocumentMapping类型的指针，表示该类型文档对应的DocumentMapping。
DefaultMapping：一个DocumentMapping类型的指针。当文档的类型未知时，使用的默认DocumentMapping。
函数bleve.NewIndexMapping()仅仅返回了一个结构，这个结构用来控制所有文档应该被如何建立索引。
index, err := bleve.New("example.bleve", mapping)示例的第二条语句，将IndexMappingImpl结构与一个具体路径结合起来，新建一个索引。这个函数定义在bleve/index.go文件内，在bleve包内。
// New index at the specified path, must not exist.
// The provided mapping will be used for all
// Index/Search operations.
func New(path string, mapping mapping.IndexMapping) (Index, error) {
return newIndexUsing(path, mapping, Config.DefaultIndexType, Config.DefaultKVStore, nil)
}这个函数调用了newIndexUsing函数，前两个参数就是New函数传进来的，第3个和第4个参数通过 Config变量给出。接下来的主要逻辑都在newIndexUsing函数实现，本节剩余部分都在newIndexUsing函数内部讨论。该函数位于index_impl.go文件内，在bleve包里。
首先，总体说一下newIndexUsing函数的功能。校验参数的合法性，根据参数从物理层面打开一个具体类型的index，保存元数据，关联统计模块。
err := mapping.Validate()
if err != nil {
return nil, err
}校验indexMapping的合法性。具体在bleve/mapping.go中实现，主要是检查analyzer和DocumentMapping可以被建立。
if kvconfig == nil {
kvconfig = map[string]interface{}{}
}
if kvstore == "" {
return nil, fmt.Errorf("bleve not configured for file based indexing")
}必须给出kv存储的具体方式，默认是用boltdb，一个golang实现的kv存储。
rv := indexImpl{
path: path,
name: path,
m: mapping,
meta: newIndexMeta(indexType, kvstore, kvconfig),
}
rv.stats = &IndexStat{i: &rv}初始化一个indexImpl结构，注意此结构还不是具体的index，而是包含index及其meta数据，还有统计信息的一个结构。
if path != "" {
err = rv.meta.Save(path)
if err != nil {
return nil, err
}
kvconfig["create_if_missing"] = true
kvconfig["error_if_exists"] = true
kvconfig["path"] = indexStorePath(path)
} else {
kvconfig["path"] = ""
}保存索引的meta数据，这个meta数据只是包含了index的具体类型，底层kv存储的具体类型。index的元数据如mapping不在这里保存。
indexTypeConstructor := registry.IndexTypeConstructorByName(rv.meta.IndexType)
if indexTypeConstructor == nil {
return nil, ErrorUnknownIndexType
}获取index的Constructor，index类型默认是upsitedown。这个Constructor是一个函数，是在upsidedown包的init函数初始化设置的。在bleve/registry/index_type.go文件中定义。
rv.i, err = indexTypeConstructor(rv.meta.Storage, kvconfig, Config.analysisQueue)
if err != nil {
return nil, err
}调用Index的Constructor，如果是upsidedown，函数是upsidedown.go文件的NewUpsideDownCouch函数。返回一个index.Index接口，如果是upsidedown，则也是UpsideDownCouch结构。
err = rv.i.Open()
if err != nil {
if err == index.ErrorUnknownStorageType {
return nil, ErrorUnknownStorageType
}
return nil, err
}打开上一步建立的index.Index接口。包括打开kv存储，初始化reader等，具体细节没有往下深究。
mappingBytes, err := json.Marshal(mapping)
if err != nil {
return nil, err
}
err = rv.i.SetInternal(mappingInternalKey, mappingBytes)
if err != nil {
return nil, err
}将indexMapping序列化后保存至刚打开的index。
indexStats.Register(&rv)注册index的统计信息。
这里要额外说一下1.2中Config这个变量。通过查找，可以看到Config是一个package内的全局变量。
var Config *configuration然而这个变量是一个指向configuration结构的指针，它是通过init()函数初始化的。
func init() {
bootStart := time.Now()
// build the default configuration
Config = newConfiguration()
// set the default highlighter
Config.DefaultHighlighter = html.Name
// default kv store
Config.DefaultKVStore = ""
// default mem only kv store
Config.DefaultMemKVStore = gtreap.Name
// default index
Config.DefaultIndexType = upsidedown.Name
bootDuration := time.Since(bootStart)
bleveExpVar.Add("bootDuration", int64(bootDuration))
indexStats = NewIndexStats()
bleveExpVar.Set("indexes", indexStats)
initDisk()
}对于init函数的解释，来自知乎五分钟理解golang的init函数。init()函数是Golang的一个特性，它先于main函数执行。init函数的主要作用：
- 初始化不能采用初始化表达式初始化的变量。
- 程序运行前的注册。
- 实现sync.Once功能。
- 其他
init函数的主要特点有：
- init函数先于main函数自动执行，不能被其他函数调用；
- init函数没有输入参数、返回值；
- 每个包可以有多个init函数；
- 包的每个源文件也可以有多个init函数，这点比较特殊；
- 同一个包的init执行顺序，golang没有明确定义，编程时要注意程序不要依赖这个执行顺序。
- 不同包的init函数按照包导入的依赖关系决定执行顺序。
golang程序初始化：
- 初始化导入的包（包的初始化顺序并不是按导入顺序（“从上到下”）执行的，runtime需要解析包依赖关系，没有依赖的包最先初始化，与变量初始化依赖关系类似；
- 初始化包作用域的变量；
- 执行包的init函数。
在1.1节IndexMappingImpl结构体定义中，我们看到定义结构体的每个成员时用到了三个字段，前两个字段是成员变量名和类型，第三个字段就是struct的Tag。
TypeMapping map[string]*DocumentMapping `json:"types,omitempty"`
DefaultMapping *DocumentMapping `json:"default_mapping"`struct的Tag是用双引号或反向单引号括起来的字符串，可以通过reflect包来访问和获取。
// ojb是indexMappingImpl结构的一个实例
t := reflect.TypeOf(obj)
for i := 0; i < t.NumField(); i++ {
if t.Field(i).CanInterface(){
fmt.Printf("%s %s = %v -tag:%s \n",
t.Field(i).Name,
t.Field(i).Type,
v.Field(i).Interface(),
t.Field(i).Tag)
}
}在我们的例子中，Tag的内容是json:后跟一个双引号括起来的value列表，这表示json在marshel这个结构体是，对应的成员应该如何处理。json:"default_mapping"这个tag，表示json在marshel这个结构体时，该成员应该以default_mapping为key，unmarshel时遇到default_mapping这个key，也会解码到对应的成员。json:"types,omitempty"第二个参数omitempty的含义是，当该成员为empty值（0、nil等）时忽略该成员。
其他的例子还包括bison和protobuf，功能类似。
type User struct {
Name string `json:"name,omitempty" bson:"name,omitempty" protobuf:"1"`
Secret string `json:"-,omitempty" bson:"secret,omitempty" protobuf:"2"`
}在实践中，如果我们要使用bleve，肯定会新建一个索引。最简单的新建索引的方式，已经在本文最开头的代码中给出。
mapping := bleve.NewIndexMapping()
index, err := bleve.New("example.bleve", mapping)
if err != nil {
fmt.Println(err)
return
}但是，实际使用中我们可能会对不同的域有不同的检索需求，还可能会使用不同的Analyzer。根据不同的个性化需求，我们需要使用更具体的接口来进行初始化，目前对这一块还不是特别了解。但是，总体来说新建一个index应该包含上步。第一，建立一个IndexMapping然后个性化配置；第二，在一个文件上打开索引文件，这一步可能需要使用一些更具体的接口来进行配置。
标签：%s sel shel 包导入 value 数据 环境 就是 实例
原文地址：https://www.cnblogs.com/terencezhou/p/10104219.html
