Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

在官方最新源码基础上更改持久化存储对象为反向索引与评分字段 #35

Open
wants to merge 23 commits into
base: master
Choose a base branch
from

Conversation

andeya
Copy link

@andeya andeya commented Nov 28, 2015

在官方最新源码基础上改进的:

  1. 持久化存储对象,从原始文档改为反向索引文档与文档评分字段,从而避免程序重启后,需要重新分词、索引的麻烦;
  2. 将持久数据库分片数与索引器、排序器的分片数保持一致,即实现一一对应关系,从而保证从数据库可以完美恢复;
  3. 依然存在的问题:悟空采用的这两中KV数据库,读写速率太慢,严重拖累高并发的特性。

andeya and others added 23 commits October 16, 2015 00:19
DocId类型由uint64改为string
1. 持久存储的内容改为索引信息,从而加快重载速度;
2. 支持指定shard范围进行搜索;
3. 支持动态增加指定的shard工作协程;
1. 修复嵌入式获取分词信息的bug
2. 与官方包同步
1. 修复嵌入式获取分词信息的bug
2. 与官方包同步
1. 持久化存储对象,从原始文档改为反向索引文档与文档评分字段,从而避免程序重启后,需要重新分词、索引的麻烦;
2. 将持久数据库分片数与索引器、排序器的分片数保持一致,即实现一一对应关系,从而保证从数据库可以完美恢复;
3.依然存在的问题:悟空采用的这两中KV数据库,读写速率太慢,严重拖累高并发的特性。
1. 持久化存储对象,从原始文档改为反向索引文档与文档评分字段,从而避免程序重启后,需要重新分词、索引的麻烦;
2. 将持久数据库分片数与索引器、排序器的分片数保持一致,即实现一一对应关系,从而保证从数据库可以完美恢复;
3. 依然存在的问题:悟空采用的这两种KV数据库,读写速率太慢,严重拖累高并发的特性。
增加Goleveldb存储支持
增加Goleveldb存储支持
增加Goleveldb存储支持(修正)
增加Goleveldb支持
@huichen
Copy link
Owner

huichen commented Nov 29, 2015

1、貌似没有merge最新的master
2、像docid从uint64转为string是非常大的改动,需要评估需求和对性能的影响

另外change有些大,请split成几个小的request分别提交。

@andeya
Copy link
Author

andeya commented Nov 29, 2015

最近一次更新,我是用你最新源码把我改过的覆盖过的,知道你不能一下接受DocId的类型改变,这个最新的,我只是改了持久化存储

@andeya
Copy link
Author

andeya commented Nov 29, 2015

@huichen 还有,可以邀请你这位大牛来小弟建的这个讨论大数据的群吗?真心希望可以和兄弟你交流大数据方面的东西,而且咱们还算是老乡(^v^)
http://shang.qq.com/wpa/qunwpa?idkey=83ee3e1a4be6bdb2b08a51a044c06ae52cf10a082f7c5cf6b36c1f78e8b03589

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants