KIOXIA kündigt die „All-in-Storage ANNS with Product Quantization“-Technologie (AiSAQ) als Open Source an. Mit einem neuartigen Algorithmus für „Approximate Nearest Neighbor Search“ (ANNS), der für SSDs optimiert wurde, liefert KIOXIA AiSAQ1 eine skalierbare Leistung für Retrieval-Augmented Generation (RAG), ohne Indexdaten im DRAM abzulegen – die Suche erfolgt stattdessen direkt auf SSDs.
Generative KI-Systeme erfordern erhebliche Rechen-, Arbeitsspeicher- und Storage-Ressourcen. Sie haben das Potenzial, transformative Durchbrüche in verschiedenen Branchen voranzutreiben, doch ihr Einsatz ist oft mit hohen Kosten verbunden. RAG ist eine kritische Phase bei der KI-Anpassung, in der große Sprachmodelle (LLMs) mit unternehmens- oder anwendungsspezifischen Daten verfeinert werden.
Eine zentrale Komponente von RAG ist eine Vektordatenbank, die spezifische Daten zusammenführt und deren Eigenschaften in Vektoren innerhalb der Datenbank umwandelt. RAG verwendet auch einen ANNS-Algorithmus, der Vektoren identifiziert, die das Modell auf Basis der Ähnlichkeit zwischen den akkumulierten und den Zielvektoren verbessern. Damit RAG effektiv ist, muss es schnell die Informationen abrufen, die für eine Abfrage am relevantesten sind.
Üblicherweise werden ANNS-Algorithmen im DRAM eingesetzt, um die für diese Suchvorgänge erforderliche hohe Leistung zu erreichen.
Die KIOXIA-AiSAQ-Technologie bietet eine skalierbare und effiziente ANNS-Lösung für Milliarden von Datensätzen mit minimalem Speicherbedarf und schnellem Index Switching.
Die wichtigsten Vorteile der KIOXIA-AiSAQ-Technologie:
- Ermöglicht den Betrieb großer Datenbanken, ohne auf limitierte DRAM-Ressourcen angewiesen zu sein, und verbessert dadurch die Leistung von RAG-Systemen.
- Eliminiert die Notwendigkeit, Indexdaten in den DRAM zu laden, sodass die Vektordatenbank sofort gestartet werden kann. Dies ermöglicht einen nahtlosen Wechsel zwischen benutzer- oder anwendungsspezifischen Datenbanken auf demselben Server für eine effiziente Bereitstellung von RAG-Services.
- Optimiert für Cloud-Systeme durch das Speichern von Indizes in disaggregiertem Speicher für die gemeinsame Nutzung durch mehrere Server. Dieser Ansatz passt die Suchleistung der Vektordatenbank dynamisch für bestimmte Benutzer oder Anwendungen an und erleichtert die schnelle Migration von Suchinstanzen zwischen physischen Servern.
„KIOXIA AiSAQ ebnet den Weg für eine nahezu unendliche Skalierung von RAG-Anwendungen in generativen KI-Systemen, die im Kern auf Flash-basierten SSDs aufbauen“, sagt Axel Störmann, VP and Chief Technology Officer of Memory and SSD Products bei KIOXIA Europe. „Durch den Einsatz von SSD-basiertem ANNS reduzieren wir die Abhängigkeit von teurem DRAM und erfüllen gleichzeitig die Leistungsanforderungen führender In-Memory-Lösungen – was den Leistungsbereich großer RAG-Anwendungen erheblich erweitert.“
KIOXIA unterstreicht sein Engagement für die Weiterentwicklung von KI, indem es seine innovative KIOXIA-AiSAQ-Technologie als Open-Source-Software in die Community einbringt.
*Auszug Pressemitteilung