Agentenbasierte KI mit dem Arch Gateway

Veröffentlicht am 17. Oktober 2024 um 12:55

In dieser Woche hat das Startup Katanemo, das intelligente Infrastrukturen für KI-native Anwendungen entwickelt, die Arch-Function als Open Source zur Verfügung stellt. Dabei handelt es sich um eine Sammlung von hochmodernen großen Sprachmodellen (LLMs), die ultraschnelle Geschwindigkeiten bei Funktionsaufrufen versprechen, die für agentenbasierte Arbeitsabläufe entscheidend sind.

Die neuen LLMs, die auf Qwen 2.5 mit 3B- und 7B-Parametern aufbauen, sind laut Katanemo dafür ausgelegt, Funktionsaufrufe zu verarbeiten, was ihnen im Wesentlichen ermöglicht, mit externen Tools und Systemen zu interagieren, um digitale Aufgaben auszuführen und auf aktuelle Informationen zuzugreifen.

Arch

Arch ist ein intelligentes Layer-7-Gateway zum Schutz, zur Überwachung und zur Personalisierung von LLM-Anwendungen (Agenten, Assistenten, Co-Piloten) mit Ihren APIs.

Arch wurde mit speziell entwickelten LLMs entwickelt und übernimmt die kritischen, aber undifferenzierten Aufgaben im Zusammenhang mit der Handhabung und Verarbeitung von Prompts, einschließlich der Erkennung und Zurückweisung von Jailbreak-Versuchen, des intelligenten Aufrufs von „Backend“-APIs zur Erfüllung der in einem Prompt dargestellten Benutzeranforderung, der Weiterleitung an und der Bereitstellung von Disaster Recovery zwischen vorgelagerten LLMs sowie der zentralisierten Verwaltung der Beobachtbarkeit von Prompts und LLM-Interaktionen.

Kernfunktionen

  • Aufbauend auf Envoy: Arch läuft neben Anwendungsservern und baut auf den bewährten HTTP-Verwaltungs- und Skalierungsfunktionen von Envoy auf, um den eingehenden und ausgehenden Datenverkehr im Zusammenhang mit Prompts und LLMs zu verarbeiten.
  • Funktionsaufrufe für schnelle Agentic- und RAG-Anwendungen. Entwickelt mit speziell entwickelten LLMs, um schnelle, kostengünstige und genaue Prompt-basierte Aufgaben wie Funktions-/API-Aufrufe und Parameterextraktion aus Prompts zu bewältigen.
  • Prompt-Wächter: Arch zentralisiert Prompt Guardrails, um Jailbreak-Versuche zu verhindern und sichere Benutzerinteraktionen zu gewährleisten, ohne eine einzige Zeile Code zu schreiben.
  • Verbindungsmanagement: Arch verwaltet LLM-Aufrufe und bietet intelligente Wiederholungsversuche, automatische Umschaltungen und belastbare Upstream-Verbindungen für kontinuierliche Verfügbarkeit.
  • Standardbasierte Beobachtbarkeit: Arch nutzt den W3C Trace Context-Standard, um eine vollständige Nachverfolgung von Anfragen über Anwendungen hinweg zu ermöglichen und so die Kompatibilität mit Observability-Tools zu gewährleisten, und bietet Metriken zur Überwachung von Latenz, Token-Nutzung und Fehlerraten, die zur Optimierung der Leistung von KI-Anwendungen beitragen.

Quellen: 

Arch-Function LLMs promise lightning-fast agentic AI for complex enterprise workflows

Github 

Kommentar hinzufügen

Kommentare

Es gibt noch keine Kommentare.