Neural Nautic NeuralNautic PNG laden
Grafik Zielarchitektur Retrieval Konstruktion Phasen Kosten PNG laden

Infrastruktur & Architektur — Pilot

AI-/RAG-Plattform
Referenzarchitektur

Drei Layer auf einem Infra-Sockel. Jede LLM-Anfrage verlässt das System nur über ein Gateway, und nur in die EU. Was gelöscht wird, verschwindet auch aus den Antworten — das ist hier kein Detail, sondern Abnahmebedingung.

Delivery Neural Nautic Stand 2026-10-31 Betrieb Single-Tenant-Pilot Inferenz Bedrock EU-Profil, Einstieg eu-north-1 Residenz EU verbindlich

01Zielarchitektur

Der Weg von oben nach unten ist der Weg jeder Anfrage. Die Randspalte zeigt den Sockel, den alle Schichten teilen — App-Dienste sprechen ausschließlich mit dem Sockel und dem Gateway.

Kampagnen / Leads

Acquisition-Layer

Phase 3 · Next.js

Funnels und Landing-Pages, Lead-Capture direkt ins CRM. Optional auf eigenem CAX-Host isoliert.

Next.jsLead-CaptureCRMCAX optional
Dokumente · Upload / Watch / Connectors
Dokumente / Quellen

Knowledge-Layer

Phase 1 · Ingestion → Retrieval

Docling liest ein, bge-m3 bettet ein, pgvector speichert. Hybrid-Recall über Vektor und BM25, per RRF fusioniert, dann rerankt. Der Reaper hält Bestand und Quellen deckungsgleich.

Doclingbge-m3pgvectorBM25 / tsvectorRRFbge-reranker-v2-m3Reaper (GC)
Retrieval-Vertrag — retrieve(query, filter) → Chunk[]
Nutzer / Chat / UI

Agent-Layer

FastAPI · drei Agenten

Wissens-Q&A, Angebots-Generator und Vertragsanalyse. Kein Agent greift direkt auf pgvector zu — nur über den Retrieval-Port. Ausgaben tragen die AI-Act-Kennzeichnung.

Wissens-Q&Aservices/offerservices/contractdocx_commonweb/dashboard
jede LLM-Anfrage — ohne Ausnahme

LLM-Gateway

LiteLLM · einziger Ausgang

Sensitivitäts- und Task-Routing, Budget-Caps, Prompt-Caching, optionaler PII-Filter als Hook. Die model_list ist zugleich die Allowlist der erlaubten Ziele.

RoutingBudget-CapsPrompt-CachingPII-Filter (opt.)Allowlist
Default-Transport · EU-Geo-Profil

AWS Bedrock — eu-north-1

Einstieg Stockholm · EU-Geo-Profil

Haiku 4.5, Sonnet 4.5 und Opus 4.5 über das EU-Geo-Profil (eu.anthropic.*), Einstieg über AWS_REGION_NAME in Stockholm. Sonnet 5 und Opus 5 sind Zielzustand. Fallback ist ein OpenAI-Modell (gpt-oss-120b) auf AWS in der EU, Notfallziel ein EU-Anbieter, abgeschaltet ausgeliefert. Welche EU-Region eine Anfrage bedient, ist nicht deterministisch; der Nachweis läuft über die CloudTrail-Zielregion. Nicht api.anthropic.com, nicht Azure Foundry, niemals global.* oder us.*.

Haiku 4.5Sonnet 4.5Opus 4.5global.* / us.* verboten
Akquise Wissen & Daten Anwendung & Transport Pflicht & Datenschutz

02Retrieval-Vertrag

Einheitlich für alle Agenten — die Reihenfolge ist verbindlich, nicht illustrativ.

01
Query zerlegen

Embedding über bge-m3 und BM25 über tsvector — zwei Pfade, nicht einer.

02
Hybrid-Recall

top-k = 20 je Pfad, anschließend RRF-Fusion zu einer Liste.

03
Rerank

bge-reranker-v2-m3 kürzt auf top-n = 5–8.

04
Context-Assembly

Mit Quellen-IDs — jede Aussage muss zitierbar bleiben.

05
Claude-Call

Über Bedrock-EU, Tier nach Routing, bei Analyse structured output per JSON-Schema.

06
Logging

Langfuse: Tokens, Modell, Latenz, Chunks, Embedding-Version.

03Konstruktionsentscheidungen

Acht Punkte, an denen RAG-Piloten in der Praxis scheitern — und wie diese Architektur sie löst. Jede Entscheidung ist als ADR festgehalten, nicht als stille Annahme.

Pflicht
01
Aufräumen als eigener Dienst

Ohne Löschpfad zitiert ein RAG-System weiter aus Quellen, die es längst nicht mehr geben darf. Ein eigener Reaper-Dienst läuft zeitgesteuert mit einem DB-Recht, das ausschließlich SELECT und DELETE kennt.

Pflicht
02
Idempotenter Re-Ingest

Erst alle alten Chunks eines document_id löschen, dann neu schreiben — in einer Transaktion. content_hash verhindert doppelte Verarbeitung.

Bewusst offen
03
Bilder / Multimodal

Der Pilot bleibt textbasiert, weil Verträge textlastig sind. Die Ingestion kann Bilder bereits — der Pfad steht offen, die Entscheidung ist dokumentiert statt implizit.

Gelöst
04
Exakte Tabellen-Abfragen

Summen und Maxima gehören nicht in die semantische Suche. Zwei schmale Tabellen plus TableQueryPort mit geschlossener Allowlist: sum, max, min, count, avg.

Gelöst
05
Vektor-Speicher kapseln

Ein dünner Retrieval-Port, gerade so viel, dass ein späterer Wechsel der Datenbank die Agenten nicht anfasst. Kein Over-Engineering, aber auch keine Sackgasse.

Gelöst
06
Embedding-Versionierung

embedding_version an jedem Chunk ab Tag 1, dazu ein Blau-Grün-Verfahren für den Reindex. Wer das später nachrüstet, zahlt ein Vielfaches.

Vorbereitet
07
MCP als Option

Die Werkzeug-Schnittstellen erfüllen heute schon die Eigenschaften eines MCP-Tools: schmale Signatur, primitive Argumente, keine Kenntnis der Speicherinterna. Der Sprung wäre ein Transport-Wrapper, kein Neubau.

Phase 3
08
Governance schärfen

PII-Filter als optionaler Gateway-Hook, Zugriffssteuerung wenigstens vorbereitet (tenant_id, Rollen-Stub), Normen-Abgleich zum EU AI Act nachgezogen.

04Phasenplan

Jede Phase endet an einer Demo, die man vorführen kann — nicht an einem Statusbericht.

Phase 0
Fundament + EU-Anbindung

Host, Coolify, Postgres+pgvector, Redis, Embedding-Server, LiteLLM, Langfuse, Traefik. Bedrock-Model-Access in eu-north-1, Region-Pinning, Smoke-Test je Modell. Schema trägt bereits document_id, content_hash, embedding_version, tenant_id.

DemoEin LiteLLM-Call erscheint in Langfuse mit Region und Modell.
Phase 1
Wissens-Pilot (RAG)

Ingestion über FastAPI, Worker-Queue und Docling, Hybrid-Retrieval mit Rerank, Chat-Oberfläche über das Gateway. Löschpfad und Idempotenz sind ab hier scharf.

DemoFrage → Antwort mit korrekten Quellen-IDs; ein gelöschtes Dokument verschwindet nach dem Reaper-Lauf aus den Antworten.
Phase 2
Generation

Angebots- und Vertragsdienst mit structured output, geteilter DOCX-Renderer im Corporate Design, Next.js-Dashboard. A4 umgesetzt, A3 bleibt draußen, A7 mitgedacht.

DemoBrief + Wissen → brandkonformes Angebots-DOCX; Vertrag → JSON und Report mit Risiko-Flags, beide mit AI-Act-Markierung.
Phase 3
Funnels & Härtung

Landing-Page-Pipeline, Lead-Capture ins CRM, Budget-Caps aktiv, Eval-Set und Retrieval-Metriken. A8 komplett, DSGVO-Doku und Lizenz-Hygiene finalisiert.

DemoFunnel live über Coolify, Lead landet im CRM, Budget-Alert bei 80 %.

05Kosten & Abnahme

Pilot-Stand Juni 2026. Beziffert wird nur, was gemessen oder vertraglich fix ist.

Betriebskosten Pilot — Größenordnung
PostenMonatJahr
Server, Speicher und Backup — dediziert in Deutschlandab ~65 €ab ~780 €
Modellnutzung über Bedrock EUnutzungsabhängignutzungsabhängig
Software-Lizenzen — Produktkern rein permissiv0 €0 €
Pilotbetrieb, ohne GPUab ~115 €ab ~1.380 €
Optionales GPU-Tier für lokale Inferenzauf Anfrageauf Anfrage

Zwei Korrekturen, die man leicht falsch rechnet

Batch ist auf diesem Transportweg kein Hebel. Die Message-Batches-API ist First-Party und über Bedrock nicht erreichbar; Bedrocks eigene Batch-Inferenz ist ein getrennter S3-Dienst, den LiteLLM nicht als Chat-Completion anspricht. Ein Batch-Rabatt darf in keiner Kostenrechnung unterstellt werden.

Caching-Minima sind nicht monoton — nie nach Muster ergänzen: Opus 5 ab 512, Sonnet 5 ab 1.024, Haiku 4.5 ab 4.096 Tokens je Checkpoint. Darunter fällt der Cache-Hit still aus: kein Fehler, nur cache_creation_input_tokens: 0.

Was der Pilot liefert

  • Inferenz nachweislich über Bedrock im EU-Profil, Einstieg eu-north-1, belegt per CloudTrail
  • Wissens-Chat: korrekte Quellen-IDs, Eval-Set ≥ Zielwert
  • Angebots-Generator: brandkonformes DOCX aus Brief + Wissen
  • Vertragsanalyse: valides JSON + Report mit Risiko-Flags
  • Mindestens ein Funnel live, Lead im CRM
  • Ingestion als eigener Dienst, Embedding-Server austauschbar
  • Gelöschte Quellen verschwinden vollständig aus den Antworten
  • Wiedereinlesen erzeugt keine Dubletten
  • Tabellenfragen über den Aggregationspfad, nicht über semantische Suche
  • Jede generative Ausgabe trägt die Art.-50-Kennzeichnung
  • Budget-Caps aktiv, Langfuse zeigt Kosten je Request

ADR-Index

pgvector + dünner Retrieval-Port
0001
Embedding-Versionierung & Reindex
0002
MCP als Werkzeug-Option
0003
Multimodal: Pilot textbasiert
0004
EU-Residenz Stockholm, ergänzt durch 0012
0005
EU-Geo-Profil statt In-Region
0012
Notfallziel Mistral EU
0013
Strukturierte Tabellenablage
0006