vLLM ch.02 — Inférence PyTorch : pourquoi ça plante sans vLLM ?
Avant de comprendre pourquoi vLLM est devenu la référence pour le serving d’inférence LLM, il faut d’abord essayer de servir un modèle sans lui....
Archive
Catégorie : IA
Intelligence Artificielle, agents IA, LLM et automatisation
Mistral Workflows : orchestrer des applications IA durables en Python
Mistral Workflows permet de décrire en Python des applications IA composées de plusieurs étapes, capables d’attendre un événement, de reprendre après un incident et...
Mistral Skills : créer, partager et réutiliser des compétences pour vos agents
Les Mistral Skills transforment une méthode ou un processus métier en compétence réutilisable par un agent. Découvrez leur format SKILL.md, leur versionnement, leur partage...
vLLM : introduction pratique au serving LLM, à l’inférence et au KV cache
Dans ce premier épisode de la série vLLM, on pose les bases : modèle de langage, inférence, tokens, KV cache, PagedAttention et API compatible...
Ponytail : faire ecrire moins de code aux agents IA sans supprimer les garde-fous
Ponytail est un ruleset et une collection de plugins pour agents de code. Le projet pousse l'agent a lire le contexte, reutiliser l'existant, privilegier...
ByteChef : l’alternative open-source à n8n et Make qui unifie workflow automation et agents IA
ByteChef est une plateforme open-source de workflow automation qui combine orchestration d'agents IA et automatisation de processus métier dans un même outil. Avec plus...