Platformă AI self-hosted

Am construit și operat o platformă AI self-hosted pe un cluster multi-nod de 16 GPU-uri NVIDIA (circa 464 GB VRAM, cu un RTX PRO 6000 Blackwell).

• LLM-uri open-weight (vLLM, SGLang, llama.cpp) cu tensor parallelism și cuantizare FP8/NVFP4/INT4.
• Agenți AI per utilizator, câte un container Docker fiecare, cu tool calling, memorie, RAG, voce și OCR.
• Acces doar prin VPN, SSO, secrete criptate; backup-uri și monitorizare pe Docker, k3s și Incus.