Änderungen von Dokument NATS - Technisches Setup
Zuletzt geändert von Daniel Herrmann am 2026/10/13 10:36
Von Version
6.1
bearbeitet von Daniel Herrmann
am 2025/09/08 22:55
am 2025/09/08 22:55
Änderungskommentar:
Es gibt keinen Kommentar für diese Version
Auf Version
25.1
bearbeitet von Daniel Herrmann
am 2026/10/13 10:36
am 2026/10/13 10:36
Änderungskommentar:
[AI] Taskiq Task Queue von NATS Core auf JetStream umgestellt (Stream MKSP_TASKS), Verbindungsübersicht aktualisiert
Zusammenfassung
Details
- Seiteneigenschaften
-
- Titel
-
... ... @@ -1,1 +1,1 @@ 1 -NATS Setup 1 +NATS - Technisches Setup - Übergeordnete Seite
-
... ... @@ -1,0 +1,1 @@ 1 +PROJ.Digitale Mitgliederverwaltung.Technische Dokumentation.WebHome - Inhalt
-
... ... @@ -2,9 +2,9 @@ 2 2 3 3 Unser Backend (oder auch andere Systeme) publizieren Events in NATS, die dann beispielsweise in N8n über ein Trigger konsumiert werden. 4 4 5 -= {{id name="NATSSetup-Grundlagen"/}}Grundlagen=5 += Grundlagen = 6 6 7 -== {{id name="NATSSetup-Übersicht"/}}Übersicht==7 +== Übersicht == 8 8 9 9 NATS kann grob in zwei Varianten unterteilt werden, **NATS Core** und **NATS JetStream**. 10 10 ... ... @@ -12,17 +12,17 @@ 12 12 13 13 NATS JetStream erweitert NATS Core um Funktionen wie **Persistenz, wiederholtes Lesen von Nachrichten und zeitversetzte Verarbeitung**. Nachrichten können gespeichert werden, was eine zuverlässige Zustellung, Wiederholungen und komplexe Workflows ermöglicht. JetStream ist damit besonders geeignet für Szenarien, in denen eine dauerhafte Verarbeitung oder Event-Sourcing erforderlich ist, während Core eher für schnelle, vorübergehende Nachrichtenübertragung optimiert ist. 14 14 15 -== {{id name="NATSSetup-Accounts"/}}Accounts==15 +== Accounts == 16 16 17 -(% style=" text-decoration: none;color:var(--ds-text,#333333);" %)Accounts sind eine Möglichkeit, Mandanten oder Anwendungen innerhalb eines Clusters oder NATS Servers voneinander abzugrenzen. Jeder Account besitzt einen eigenen Namespace für Subjekte, verwaltet seine Benutzer und deren Berechtigungen und bietet so eine klare Trennung zwischen unterschiedlichen Workloads. Gleichzeitig lassen sich über Exports und Imports bestimmte Subjekte gezielt mit anderen Accounts teilen, sodass Kommunikation zwischen getrennten Bereichen möglich bleibt. Auf diese Weise stellen Accounts die Grundlage für Multi-Tenancy, Sicherheit und flexible Skalierung in NATS dar.17 +(% style="color:var(--ds-text,#333333); text-decoration:none" %)Accounts sind eine Möglichkeit, Mandanten oder Anwendungen innerhalb eines Clusters oder NATS Servers voneinander abzugrenzen. Jeder Account besitzt einen eigenen Namespace für Subjekte, verwaltet seine Benutzer und deren Berechtigungen und bietet so eine klare Trennung zwischen unterschiedlichen Workloads. Gleichzeitig lassen sich über Exports und Imports bestimmte Subjekte gezielt mit anderen Accounts teilen, sodass Kommunikation zwischen getrennten Bereichen möglich bleibt. Auf diese Weise stellen Accounts die Grundlage für Multi-Tenancy, Sicherheit und flexible Skalierung in NATS dar. 18 18 19 -(% style=" text-decoration: none;color:var(--ds-text,#333333);" %)Wir verwenden zwei verschiedene Accounts:19 +(% style="color:var(--ds-text,#333333); text-decoration:none" %)Wir verwenden zwei verschiedene Accounts: 20 20 21 -|=( % scope="col" %)(((21 +|=((( 22 22 Account 23 -)))|=( % scope="col" %)(((23 +)))|=((( 24 24 Berechtigungen 25 -)))|=( % scope="col" %)(((25 +)))|=((( 26 26 Beschreibung 27 27 ))) 28 28 |((( ... ... @@ -42,9 +42,9 @@ 42 42 43 43 Benutzer können jeweils nur einem Account zugeordnet werden. 44 44 45 -== {{id name="NATSSetup-Authentifizierung"/}}Authentifizierung==45 +== Authentifizierung == 46 46 47 -Die Kommunikation ist TLS verschlüsselt, es kommen die TLS Zertifikate aus [[HashiCorp KeyVault>> confluencePage:page:IN.Hashicorp Vault]] zum Einsatz. Diese werden dann einzelnen Accounts zugewiesen. Der NATS Server validiert das Zertifikat an Hand der Zertifikatskette und mapt dann die Zertifikatsinformationen zu einem User. Üblicherweise wird dabei ein SAN (Subject Alternative Name) in Form einer Mail-Adresse verwendet. Diese gibt es in unserem Fall nicht, sodass das Subject verwendet wird. Wichtig ist, dass das Subject in RFC2253 Form verwendet werden muss.47 +Die Kommunikation ist TLS verschlüsselt, es kommen die TLS Zertifikate aus [[HashiCorp KeyVault>>doc:xwiki:IN.IT Infrastruktur.Services.Hashicorp Vault.WebHome]] zum Einsatz. Diese werden dann einzelnen Accounts zugewiesen. Der NATS Server validiert das Zertifikat an Hand der Zertifikatskette und mapt dann die Zertifikatsinformationen zu einem User. Üblicherweise wird dabei ein SAN (Subject Alternative Name) in Form einer Mail-Adresse verwendet. Diese gibt es in unserem Fall nicht, sodass das Subject verwendet wird. Wichtig ist, dass das Subject in RFC2253 Form verwendet werden muss. 48 48 49 49 {{code language="shell"}} 50 50 $ openssl x509 -noout -text -nameopt RFC2253 -in backend.mksp-da.de.crt ... ... @@ -56,7 +56,7 @@ 56 56 57 57 Diese Subject wird dann dem Account zugeordnet: 58 58 59 -{{code language="json"}}59 +{{code}} 60 60 system_account: SYS 61 61 accounts: { 62 62 MKSP: { ... ... @@ -83,11 +83,11 @@ 83 83 84 84 Da ein User nur einem Account zugeordnet werden kann, gibt es einen admin User für administrative Tätigkeiten sowie einen JetStream Admin User für die Account-Verwaltung. 85 85 86 -== {{id name="NATSSetup-NATSCoremitAccounts"/}}NATSCoremit Accounts ==86 +== Berechtigungen des Backend Users == 87 87 88 - Damit dieNATSCore Messages auchweiterhin funktionieren müssen publish undsubscribe Berechtigungen vergebenwerden. NATS wird neben dem Eventmanagement auchnochfür die Task Queue mit Taskiq eingesetzt,hier werdenzurZeitnochCoreFunktionalitätenverwendet. Dahermuss dieBerechtigung fürdenbackend User erweitertwerden:88 +NATS wird neben dem Eventmanagement auch für die Task Queue mit Taskiq eingesetzt. Beides läuft über JetStream, NATS Core Subjects (früher ##taskiq_tasks## mit einer Queue Group) werden nicht mehr verwendet. Das Backend legt den Stream für die Task Queue selbst an und aktualisiert ihn (siehe [[Task Queue (Taskiq)>>||anchor="HTaskQueue28Taskiq29"]]), benötigt also Zugriff auf die JetStream API. Der backend User hat daher aktuell weiterhin weitreichende Berechtigungen: 89 89 90 -{{code language="json"}}90 +{{code}} 91 91 accounts: { 92 92 MKSP: { 93 93 users: [ ... ... @@ -101,20 +101,20 @@ 101 101 ... 102 102 {{/code}} 103 103 104 - Wichtigsind hier diezusätzlichenPermissions,diedenZugriffaufCoreEvents regeln.104 +Backend, Worker und Scheduler verwenden alle dasselbe Zertifikat und damit denselben User. Eine Einschränkung auf die tatsächlich benötigten Subjects (##mksp.>##, ##tasks.mksp.backend##, JetStream API für ##MKSP_TASKS##, ##_INBOX.>##) ist noch offen. 105 105 106 -== {{id name="NATSSetup-JetStreamKonfiguration"/}}JetStreamKonfiguration ==106 +== JetStream Konfiguration == 107 107 108 108 In unserem Fall ist Persistenz auch bei einem zeitweisen Ausfall der Internetverbindung im Makerspace notwendig, sodass wir JetStream mit Message Retention verwenden. Dabei müssen die wichtigen Komponenten vorab angelegt werden. 109 109 110 -=== {{id name="NATSSetup-NATSCLIkonfigurieren"/}}NATSCLI konfigurieren ===110 +=== NATS CLI konfigurieren === 111 111 112 112 Zur Administration bietet sich die Verwendung der [[NATS CLI >>url:https://github.com/nats-io/natscli||shape="rect"]]an. Diese muss einmalig eingerichtet werden, dafür sind die entsprechenden Zertifikatsdateien notwendig. Wir legen zwei Kontexte an, einen für den Cluster Admin, einen für den JetStream Admin: 113 113 114 114 {{code language="shell"}} 115 -nats context add mksp-sysadmin --server ds-hetzner.mksp-da.de:4222 --description "MKSP NATS SYS Admin" --tlscert /path/to/admin.mksp-da.de.crt --tlskey /path/to/admin.mksp-da.de.key --tlsca /path/to/mksp_root_x1_ca.crt115 +nats context add mksp-sysadmin --server nats.mksp-da.de:4222 --description "MKSP NATS SYS Admin" --tlscert /path/to/admin.mksp-da.de.crt --tlskey /path/to/admin.mksp-da.de.key --tlsca /path/to/mksp_root_x1_ca.crt 116 116 117 -nats context add mksp-jsadmin --server ds-hetzner.mksp-da.de:4222 --description "MKSP NATS JetStream" --tlscert /path/to/jsadmin.mksp-da.de.crt --tlskey /path/to/jsadmin.mksp-da.de.key --tlsca /path/to/mksp_root_x1_ca.crt117 +nats context add mksp-jsadmin --server nats.mksp-da.de:4222 --description "MKSP NATS JetStream" --tlscert /path/to/js-admin.mksp-da.de.crt --tlskey /path/to/js-admin.mksp-da.de.key --tlsca /path/to/mksp_root_x1_ca.crt 118 118 {{/code}} 119 119 120 120 Anschließend wählen wir den richtigen Kontext aus, in diesem Fall den JetStream Admin Context: ... ... @@ -123,7 +123,7 @@ 123 123 nats context select mksp-jsadmin 124 124 {{/code}} 125 125 126 -=== {{id name="NATSSetup-JetStreaminitialisieren"/}}JetStreaminitialisieren ===126 +=== JetStream initialisieren === 127 127 128 128 JetStream ist in so genannte **Streams** unterteilt, welche bestimmte **Subjects** in einem Stream zusammenfassen. Wir nutzen für alle Events einen gemeinsamen Präfix (mksp), sodass wir den Stream hierfür erstellen. Die NATS Dokumentation selbst beschreibt die Konzepte sehr gut: 129 129 ... ... @@ -136,20 +136,176 @@ 136 136 nats stream add backend_events --subjects "mksp.>" --retention work --max-age 7d --storage file --defaults 137 137 {{/code}} 138 138 139 -=== {{id name="NATSSetup-JetStreamConsumer"/}}JetStreamConsumer===139 +=== Task Queue (Taskiq) === 140 140 141 +Die asynchronen Tasks zwischen Backend und Worker laufen über einen eigenen Stream. Dieser wird **nicht** manuell angelegt: Backend, Worker und Scheduler legen ihn beim Start an und passen ihn an, falls die Konfiguration im Code (##src/worker/broker.py##) abweicht. Änderungen daher bitte im Code und nicht über die NATS CLI vornehmen. 142 + 143 +|=Eigenschaft|=Wert|=Beschreibung 144 +|Stream|##MKSP_TASKS##|Work-Queue Stream, Nachrichten werden nach der Bestätigung gelöscht 145 +|Subject|##tasks.mksp.backend##|Muss außerhalb von ##mksp.>## liegen, da dieser Bereich bereits vom Stream **backend_events** belegt ist 146 +|Consumer|##mksp_backend_worker##|Dauerhafter Pull Consumer, wird nur vom Worker angelegt. Mehrere Worker-Prozesse teilen sich den Consumer 147 +|Max Age|7 Tage|Tasks, die bis dahin kein Worker abgeholt hat, verfallen 148 +|Ack|beim Empfang|Der Worker bestätigt einen Task sofort beim Abholen (##~-~-ack-type when_received##). Ein Task läuft so nie doppelt, bei einem Absturz des Workers während der Ausführung geht er aber verloren. Ack Wait (5 Minuten) ist nur eine Absicherung 149 +|Message TTL|bis zum nächsten Lauf|Vom Scheduler eingeplante Tasks bekommen einen ##Nats-TTL## Header bis zum nächsten Cron-Zeitpunkt. Ist der Worker länger nicht erreichbar, staut sich so pro Cron-Task höchstens ein Lauf auf 150 + 151 +Tasks, die erstellt werden während der Worker nicht läuft, bleiben damit im Stream liegen und werden abgearbeitet, sobald der Worker wieder verfügbar ist. Per-Message TTL setzt NATS Server 2.11 oder neuer voraus. 152 + 153 +=== JetStream Consumer === 154 + 141 141 Consumer sind eine Auswahl / Ansicht von Teilen eines Streams. Details finden sich wieder in der NATS Dokumentation: [[https:~~/~~/docs.nats.io/nats-concepts/jetstream/consumers>>url:https://docs.nats.io/nats-concepts/jetstream/consumers||shape="rect"]] 142 142 143 -Consumer können entweder persistent sein (dauerhaft, ein Client kann dann den bestehenden Consumer neben) oder flüchtig (ephemeral), in diesem Fall wird der Consumer beim Erstellen des Clients (beispielsweise durch N8n) angelegt. In der Regel werden Consumer durch einen Filter auf bestimmte Subjects beschränkt, diese dürfen sich nicht überschneiden. 157 +Consumer können entweder persistent sein (dauerhaft, ein Client kann dann den bestehenden Consumer neben) oder flüchtig (ephemeral), in diesem Fall wird der Consumer beim Erstellen des Clients (beispielsweise durch N8n) angelegt. In der Regel werden Consumer durch einen Filter auf bestimmte Subjects beschränkt, diese dürfen sich nicht überschneiden. Da die NATS JavaScript Client Library (die von n8n verwendet wird) es leider nicht sinnvoll erlaubt, ephemeral Consumer anzulegen verwenden wir dauerhafte Consumer-Namen. 144 144 145 -= {{id name="NATSSetup-Troubleshooting"/}}Troubleshooting = 159 +|=((( 160 +Backend Event 161 +)))|=((( 162 +Consumer Name 163 +)))|=((( 164 +Schema 165 +))) 166 +|((( 167 +mksp.backend.briefing.offer.cancelled 146 146 169 +((( 170 + 171 +))) 172 +)))|((( 173 +backend_briefing_offer_cancelled 174 +)))|((( 175 +(% class="nc" %)##BriefingOfferEvent## 176 +))) 177 +|((( 178 +mksp.backend.briefing.offer.created 179 + 180 +((( 181 + 182 +))) 183 +)))|((( 184 +backend_briefing_offer_created 185 +)))|((( 186 +(% class="nc" %)##BriefingOfferEvent## 187 +))) 188 +|((( 189 +mksp.backend.briefing.offer.updated 190 +)))|((( 191 +backend_briefing_offer_updated 192 +)))|((( 193 +(% class="nc" %)##BriefingOfferEvent## 194 +))) 195 +|((( 196 +mksp.backend.briefing.created 197 + 198 +((( 199 + 200 +))) 201 +)))|((( 202 +backend_briefing_created 203 +)))|((( 204 +(% class="n" %)##BriefingEvent## 205 +))) 206 +|((( 207 +mksp.backend.key.assigned 208 +)))|((( 209 +backend_key_assigned 210 +)))|((( 211 +(% class="nc" %)##KeyEvent## 212 +))) 213 +|((( 214 +mksp.backend.key.unassigned 215 +)))|((( 216 +backend_key_unassigned 217 +)))|((( 218 +(% class="nc" %)##KeyEvent## 219 +))) 220 +|((( 221 +mksp.backend.storage.reserved 222 +)))|((( 223 +backend_storage_reserved 224 +)))|((( 225 +(% class="nc" %)##StorageSpaceEvent## 226 +))) 227 +|((( 228 +mksp.backend.storage.released 229 +)))|((( 230 +backend_storage_released 231 +)))|((( 232 +(% class="nc" %)##StorageSpaceEvent## 233 +))) 234 +|((( 235 +mksp.backend.storage.expired 236 +)))|((( 237 +backend_storage_expired 238 +)))|((( 239 +(% class="nc" %){{code language="none"}}StorageSpaceEvent{{/code}} 240 +))) 241 +|((( 242 +mksp.backend.user.converted_to_member 243 +)))|((( 244 +backend_user_converted_to_member 245 +)))|((( 246 +(% class="nc" %){{code language="none"}}UserEvent{{/code}} 247 +))) 248 +|((( 249 +mksp.backend.user.converted_to_guest 250 +)))|((( 251 +backend_user_converted_to_guest 252 +)))|((( 253 +(% class="nc" %){{code language="none"}}UserEvent{{/code}} 254 +))) 255 +|((( 256 +mksp.backend.user.created 257 +)))|backend_user_created|UserEvent 258 +|((( 259 +mksp.docuseal.signature.expired 260 +)))|docuseal_signature_expired|((( 261 +SignatureEvent 262 +))) 263 +|((( 264 +mksp.docuseal.signature.completed 265 +)))|docuseal_signature_completed|((( 266 +SignatureEvent 267 +))) 268 +|mksp.backend.key.activate|backend_key_activate|KeyEvent 269 +|mksp.backend.key.deactivate|backend_key_deactivate|KeyEvent 270 +|mksp.backend.user.membership_changed|backend_user_membership_changed|MembershipChangedEvent 271 +|mksp.backend.user.deleted|backend_user_deleted|UserDeletedEvent 272 +|mksp.backend.department.head_membership_changed|backend_department_head_membership_changed|DepartmentHeadMembershipEvent 273 +|((( 274 +mksp.backend.device.event.locked 275 +)))|backend_device_event_locked| 276 +|((( 277 +mksp.backend.device.event.unlocked 278 +)))|backend_device_event_unlocked| 279 +|((( 280 +mksp.backend.device.event.access_granted 281 +)))|backend_device_event_access_granted| 282 +|((( 283 +mksp.backend.device.event.offline 284 +)))|backend_device_event_offline| 285 +|((( 286 +mksp.backend.device.event.access_denied 287 +)))|backend_device_event_access_denied| 288 + 289 +Die Consumer können dann wie folgt angelegt werden: 290 + 291 +{{code}} 292 +$ nats consumer add backend_events <name> --pull --filter="<filter>" --defaults 293 + 294 +# Beispiel 295 +nats consumer add backend_events backend_briefing_offer_cancelled --pull --filter="mksp.backend.briefing.offer.cancelled" --defaults 296 +nats consumer add backend_events backend_key_assigned --pull --filter="mksp.backend.key.assigned" --defaults 297 +{{/code}} 298 + 299 += Troubleshooting = 300 + 147 147 Man kann über die NATS CLI mit dem Server interagieren. 148 148 149 -== {{id name="NATSSetup-JetStream"/}}JetStream==303 +== JetStream == 150 150 151 - Mankann sich die vorhandenenStreamsund die Anzahl der Nachrichten anschauen. Die Anzahl sollte üblicherweise 0 sein, wenn die Zahl höher ist, werden Events nicht richtig abgearbeitet.305 +=== Streams === 152 152 307 +Man kann sich die vorhandenen Streams und die Anzahl der Nachrichten anschauen. Die Anzahl sollte üblicherweise 0 sein, wenn die Zahl höher ist, werden Events nicht richtig abgearbeitet. Neben **backend_events** gibt es den Stream **MKSP_TASKS** der Task Queue; liegen dort dauerhaft Nachrichten, läuft der Worker nicht oder holt keine Tasks ab (prüfen mit ##nats consumer info MKSP_TASKS mksp_backend_worker##). 308 + 153 153 {{code language="shell"}} 154 154 $ nats context select mksp-jsadmin 155 155 $ nats stream ls ... ... @@ -172,8 +172,63 @@ 172 172 {"timestamp":"2025-09-08T09:06:00.062358","stora 173 173 {{/code}} 174 174 175 -== {{idname="NATSSetup-Server"/}}Server==331 +=== Consumer === 176 176 333 +Die bestehenden Consumer kann man sich ebenfalls im Jetstream Context anzeigen lassen: 334 + 335 +{{code}} 336 +$ nats consumer ls backend_events 337 +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ 338 +│ Consumers │ 339 +├──────────────────────────────────┬─────────────┬─────────────────────┬─────────────┬─────────────┬───────────────┤ 340 +│ Name │ Description │ Created │ Ack Pending │ Unprocessed │ Last Delivery │ 341 +├──────────────────────────────────┼─────────────┼─────────────────────┼─────────────┼─────────────┼───────────────┤ 342 +│ backend_briefing_created │ │ 2025-09-10 08:30:12 │ 0 │ 12 │ never │ 343 +│ backend_briefing_offer_cancelled │ │ 2025-09-10 08:21:02 │ 0 │ 0 │ never │ 344 +│ backend_briefing_offer_created │ │ 2025-09-10 08:28:25 │ 0 │ 0 │ never │ 345 +│ backend_briefing_offer_updated │ │ 2025-09-10 08:29:19 │ 0 │ 0 │ never │ 346 +│ backend_key_assigned │ │ 2025-09-10 08:21:04 │ 0 │ 0 │ never │ 347 +╰──────────────────────────────────┴─────────────┴─────────────────────┴─────────────┴─────────────┴───────────────╯ 348 +{{/code}} 349 + 350 +In dieser Tabelle sieht man bereits die "unprocessed" Nachrichten. Ist diese Zahl größer als 0 s sieht also gut, wenn n8n die Nachrichten nicht korrekt verarbeitet. Man kann sich ebenfalls die Details eines Consumers anzeigen lassen: 351 + 352 +{{code}} 353 +$ nats consumer info backend_events backend_briefing_offer_cancelled 354 + 355 +Information for Consumer backend_events > backend_briefing_offer_cancelled created 2025-09-09 22:53:26 356 + 357 +Configuration: 358 + 359 + Name: backend_briefing_offer_cancelled 360 + Pull Mode: true 361 + Filter Subject: mksp.backend.briefing.offer.cancelled 362 + Deliver Policy: All 363 + Ack Policy: Explicit 364 + Ack Wait: 30.00s 365 + Replay Policy: Instant 366 + Max Ack Pending: 1,000 367 + Max Waiting Pulls: 512 368 + 369 +State: 370 + 371 + Host Version: 2.11.8 372 + Required API Level: 0 hosted at level 1 373 + Last Delivered Message: Consumer sequence: 0 Stream sequence: 10 374 + Acknowledgment Floor: Consumer sequence: 0 Stream sequence: 0 375 + Outstanding Acks: 0 out of maximum 1,000 376 + Redelivered Messages: 0 377 + Unprocessed Messages: 0 378 + Waiting Pulls: 1 of maximum 512 379 +{{/code}} 380 + 381 +Insbesondere die letzten beiden Zeilen sind wichtig: 382 + 383 +* **Unprocessed Messages** sind Nachrichten, die noch nicht abgerufen wurden. Dies sollte immer 0 sein 384 +* **Waiting Pulls**: die Anzahl der verbundenen Clients. Üblicherweise sollte das nur n8n sein, also immer 1. 385 + 386 +== Server == 387 + 177 177 Man kann sich ebenfalls die aktiven Verbindungen anzeigen: 178 178 179 179 {{code language="shell"}} ... ... @@ -204,17 +204,19 @@ 204 204 ╰──────────────┴─────────┴─────────────╯ 205 205 {{/code}} 206 206 207 -De rNameisthierbeifrei vergeben,in unseremFallimBackendCode.WirerwartendiefolgendenClients:418 +Die Ausgabe oben stammt aus der Zeit vor der Umstellung der Task Queue auf JetStream, die Verbindung **backend_fastapi** gibt es inzwischen nicht mehr. 208 208 209 -|=(% scope="col" %)((( 420 +Der Name ist hierbei frei vergeben, in unserem Fall im Backend Code (abhängig von der Rolle des Prozesses). Jeder Prozess hält genau eine Verbindung, über die sowohl Tasks als auch Events laufen. Wir erwarten die folgenden Clients: 421 + 422 +|=((( 210 210 Client 211 -)))|=( % scope="col" %)(((424 +)))|=((( 212 212 Anzahl 213 -)))|=( % scope="col" %)(((426 +)))|=((( 214 214 Komponente 215 -)))|=( % scope="col" %)(((428 +)))|=((( 216 216 Art 217 -)))|=( % scope="col" %)(((430 +)))|=((( 218 218 Beschreibung 219 219 ))) 220 220 |((( ... ... @@ -222,11 +222,11 @@ 222 222 )))|((( 223 223 1 224 224 )))|((( 225 -Taskiq 438 +FastAPI / Taskiq 226 226 )))|((( 227 - Core440 +JetStream 228 228 )))|((( 229 - Gibt dem Backend die Möglichkeit,asynchrone Tasks an dasTaskiqbackendzu delegieren442 +Delegiert asynchrone Tasks an den Worker und gibt Events aus, die dann von N8n abgearbeitet werden 230 230 ))) 231 231 |((( 232 232 backend_scheduler ... ... @@ -235,31 +235,20 @@ 235 235 )))|((( 236 236 Taskiq 237 237 )))|((( 238 - Core451 +JetStream 239 239 )))|((( 240 240 Komponente welches die regelmäßigen Jobs überwacht und triggert 241 241 ))) 242 242 |((( 243 -backend_fastapi 244 -)))|((( 245 -1 246 -)))|((( 247 -FastAPI 248 -)))|((( 249 -JetStream 250 -)))|((( 251 -Das Backend kann hiermit Events ausgeben, die dann von N8n abgearbeitet werden. 252 -))) 253 -|((( 254 254 backend_worker 255 255 )))|((( 256 -2 458 +2 (ein Client pro Worker-Prozess, ##NUM_WORKERS##) 257 257 )))|((( 258 258 Taskiq 259 259 )))|((( 260 - Core462 +JetStream 261 261 )))|((( 262 -Worker für asynchrone Tasks 464 +Worker für asynchrone Tasks, gibt ebenfalls Events aus 263 263 ))) 264 264 265 265 Man kann sich ebenfalls die Subscriptions der jeweiligen Connections anschauen. Hierfür muss die Ausgabe auf JSON umgestellt werden: ... ... @@ -322,4 +322,6 @@ 322 322 ] 323 323 {{/code}} 324 324 325 -\\ 527 +Auch diese Ausgabe stammt aus der Zeit vor der JetStream-Umstellung: Die Subscription auf ##taskiq_tasks## gibt es nicht mehr, der Worker holt Tasks über den Pull Consumer ##mksp_backend_worker## ab. 528 + 529 +
- Confluence.Code.ConfluencePageClass[0]
-
- URL
-
... ... @@ -1,1 +1,1 @@ 1 -https://wiki.makerspace-darmstadt.de/spaces/PROJ/pages/2078146 73/NATS Setup1 +https://wiki.makerspace-darmstadt.de/spaces/PROJ/pages/207814660/NATS Setup - Id
-
... ... @@ -1,1 +1,1 @@ 1 -2078146 731 +207814660