Partitioning the data space before applying hashing using clustering algorithms

Abstract

This research presents a locality-sensitive hashing framework that enhances approximate nearest neighbor search efficiency by integrating adaptive encoding trees and BERT-based clusterization. The proposed method optimizes data space partitioning before applying hashing, improving retrieval accuracy while reducing computational complexity. First, multimodal data, such as images and textual descriptions, are transformed into a unified semantic space using pre-trained bidirectional encoder representations from transformers embeddings. this ensures cross-modal consistency and facilitates high-dimensional similarity comparisons. Second, dimensionality reduction techniques like Uniform Manifold Approximation and Projection or t-distributed stochastic neighbor embedding are applied to mitigate the curse of dimensionality while preserving key relationships between data points. Third, an adaptive encoding tree locality-sensitive hashing encoding tree is constructed, dynamically segmenting the data space based on statistical distribution, thereby enabling efficient hierarchical clustering. Each data point is converted into a symbolic re presentation, allowing fast retrieval using structured hashing. Fourth, locality-sensitive hashing is applied to the encoded dataset, leveraging p- stable distributions to maintain high search precision while reducing index size. The combination of encoding trees and Locality- Sensitive Hashing enables efficient candidate selection while minimizing search overhead. Experimental evaluations on the CarDD dataset, which includes car damage images and annotations, demonstrate that the proposed method outperforms state-of-the-art approximate nearest neighbor techniques in both indexing efficiency and retrieval accuracy. The results highlight its adaptability to large-scale, high-dimensional, and multimodal datasets, making it suitable for diagnostic models and real-time retrieval tasks.

Це дослідження представляє методологію локально-чутливого хешування, яка підвищує ефективність пошуку наближених найближчих сусідів шляхом інтеграції адаптивних кодувальних дерев і кластеризації на основі двоспрямовані кодувальні представлення з трансформерів. Запропонований підхід оптимізує розділення простору даних перед застосуванням хешування, що покращує точність пошуку та зменшує обчислювальні витрати. По-перше, мультимодальні дані, такі як зображення та текстові описи, перетворюються у спільний семантичний простір за допомогою попередньо навченої моделі двоспрямовані кодувальні представлення з трансформерів. Це забезпечує крос-модальну узгодженість і сприяє порівнянню у високорозмірному просторі. По-друге, методи зменшення розмірності, такі як уніфіковане апроксимування та проєкція многовидів або t-розподілене вкладення стохастичної близькості, застосовуються для усунення ефекту “прокляття розмірності” при збереженні ключових зв’язків між точками даних. По-третє, створюється адаптивне кодувальне дерево, яке динамічно сегментує простір даних на основі його статистичного розподілу, забезпечуючи ефективну ієрархічну кластеризацію. Кожна точка даних конвертується у символьне представлення, що дозволяє здійснювати швидкий пошук за допомогою структурованого хешування. До того ж, до закодованого набору даних застосовується локально-чутливе хешування, що використовує p-стабільні розподіли для підтримки високої точності пошуку та зменшення розміру індексів. Поєднання кодувальних дерев і локально-чутливе хешування сприяє ефективному відбору кандидатів при мінімізації витрат на пошук. Експериментальне тестування на наборі даних CarDD, який містить зображення пошкоджень автомобілів та їх анотації, демонструє, що запропонований метод перевершує сучасні техніки наближений найближчий сусід як за ефективністю індексації, так і за точністю пошуку. Результати підкреслюють його адаптивність до масштабних, високорозмірних та мультимодальних наборів даних, що робить його придатним для діагностичних моделей і завдань у режимі реального часу.