TechRaptor® Sparky 1Tb

TechRaptor® Sparky – nod AI local pentru inferență avansată

TechRaptor® Sparky este un sistem compact de procesare AI, proiectat ca nod de inferență local în cadrul ecosistemului APEX-AI, destinat instituțiilor care necesită control asupra datelor, latență redusă și integrare directă în fluxurile operaționale.

---

Arhitectură hardware

Sparky este construit pe platforma Lenovo ThinkStation PGX, utilizând arhitectura NVIDIA Blackwell GB10, optimizată pentru sarcini de inteligență artificială:

• CPU: arhitectură ARM heterogenă, 20 nuclee (Cortex-X925 + A725)
• GPU / AI accelerator: integrat în platforma GB10, optimizat pentru inferență LLM și modele multimodale
• Memorie: 128 GB RAM unificat LPDDR5X, partajat între CPU și acceleratorul AI
• Stocare: SSD NVMe de mare viteză (configurabil), optimizat pentru seturi de date și modele locale
• Performanță AI: până la ~1 PFLOP (FP4) în sarcini de inferență optimizate

Arhitectura cu memorie unificată permite rularea simultană a modelelor de dimensiuni mari fără overhead de transfer între CPU și GPU, reducând latența și crescând eficiența energetică.

---

Stack software și runtime AI

Sistemul rulează un stack optimizat pentru inferență:

• DGX OS / Linux optimizat AI
• CUDA / runtime Blackwell
• vLLM și SGLang pentru servirea modelelor la nivel API (compatibil OpenAI)
• Containere Docker pentru orchestrare și izolare aplicații
• Qdrant / RAG pipelines pentru integrarea datelor interne

---

Capabilități AI – inferență multimodală

Sparky este configurat să ruleze simultan două motoare LLM complementare:

• Model text (LLM) – procesare limbaj natural, generare, analiză documente, structurare date
• Model multimodal (vision-language) – interpretare imagini, OCR, documente scanate, flux video

Configurația suportă:

• contexte extinse (documente lungi, arhive)
• procesare în paralel
• integrare cu aplicații interne prin API REST

Performanța tipică în regim interactiv: 30–50 tokens/secundă, în funcție de model și sarcină.

---

Integrare și utilizare

Sparky nu este livrat ca sistem generic, ci ca platformă configurată:

• modele selectate și optimizate pentru cazuri de utilizare specifice
• antrenare RAG pe datele instituției (documente, arhive, baze interne)
• integrare cu aplicații existente (registre, CRM, fluxuri interne)
• acces securizat prin HTTPS, control pe roluri și audit trail

Poate funcționa:

• on-premise, în rețeaua instituției
• sau hostuit dedicat, în infrastructură controlată

---

Poziționare în ecosistem

TechRaptor® Sparky este cel mai accesibil nod AI din familia APEX-AI, conceput ca „unitate de bază” – un „creier local” capabil să deservească:

• o primărie
• o instituție publică
• un departament sau un flux operațional specific

Sistemul poate fi scalat prin integrarea în clustere sau arhitecturi hibride, în funcție de cerințele de performanță și volum de date.