Reindexer v5: support KNN index #22
Conversation
AlexAUtkin
commented
Feb 17, 2025
AlexAUtkin
commented
- Fix build for Reindexer v5
- Add support for KNN: Query.where_knn and index search params
- Update readme
- Add new test for search in KNN index
- Add examples for using KNN index (where_knn and select(query))
…st reindexer::Variant’
AlexAUtkin
had a problem deploying
to
testpypi
GitHub Actions
Failure
pyreindexer/example/main.py
Outdated
| transaction.commit(timedelta(seconds = 1)) | ||
|
|
||
| # do query | ||
| param = IndexSearchParamHnsw(44, 500) |
There was a problem hiding this comment.
Предлагаю тут более осмысленные параметры сделать - пример всё-таки. 'K' что-то типа 20, а ef, например, 30. Сейчас у тебя ef=500 при общем размере индекса 100, что означает, по сути, полное сканирование графа.
Ну и ещё субъективный момент: лично мне было бы понятнее с именованными параметрами. IndexSearchParamHnsw(k=20, ef=30)
There was a problem hiding this comment.
IDE в помощь, но поправлю, для тех кто в блокноте разрабатывает.
Изменил
| [More](https://github.com/Restream/reindexer/blob/master/fulltext.md). | ||
| config (dict): A config for a fulltext and float_vector engine. | ||
| [More about `fulltext`](https://github.com/Restream/reindexer/blob/master/fulltext.md) or | ||
| [More about `float_vector`](https://github.com/Restream/reindexer/blob/master/cpp_src/float_vector.md). |
There was a problem hiding this comment.
Напоминалка: тут нужно будет не забыть перед мёрджем правильный путь указать, когда мы его скорректируем
|
|
||
| """ | ||
|
|
||
| def __init__(self, k: int, ef: int): |
There was a problem hiding this comment.
ef можно опциональным сделать и проставлять туда 1.5 * k по дефолту. Это чуток упростит интерфейс для пользователя - в отличие от IVF тут так можно
There was a problem hiding this comment.
float * int и сохранить в int. Ну, кроме того, что k так использовать нельзя: Unresolved reference 'k'.
Осталось как было. Дописал комментарий
| return reindexer::KnnSearchParams::Hnsw(k, ef); | ||
| } | ||
| if (nprobe > 0) { | ||
| return reindexer::KnnSearchParams::Ivf(k, nprobe); |
There was a problem hiding this comment.
Лишний пробел после return. Как будто форматтер не отработал
| auto vect = reindexer::FloatVector::CreateNotInitialized(reindexer::FloatVectorDimension(vals.size())); | ||
| size_t pos = 0; | ||
| for (const auto& value : vals) { | ||
| vect.RawData()[pos] = value.As<double>(); |
There was a problem hiding this comment.
Как будто указатель из RawData() лучше прихранить за пределами цикла. Там внутри, как я вижу, assertrx(!IsEmpty()), и не факт, что тут компилятор сможет сам лишнюю проверку выкинуть из каждой итерации. Надёжнее, на мой взгляд, подстраховаться
There was a problem hiding this comment.
копия с родительского проекта (vect.RawData()[pos] = p->via.f64;). Поправил
