Production RAG
De zero a sistemes escalables. Generació augmentada amb recuperació que resisteix el contacte amb un corpus real, usuaris reals, una factura real i un adversari real: etapa a etapa, amb el codi i les xifres.
- 16
- parts
- 379
- seccions
- 331
- llistats de codi
- 149k
- paraules
Llegeix-la sencera una vegada per construir el model mental i després fes servir la taula de continguts com a índex de consulta. Cada part acaba amb una llista de comprovació que pots aplicar.
La forma del problema. Un sistema RAG són dos pipelines que es troben en un vector store. El pipeline d'indexació s'executa fora del camí de consulta: carrega, divideix, calcula embeddings i desa. El pipeline de recuperació s'executa per a cada consulta: calcula l'embedding de la pregunta, cerca, ordena, omple un prompt i genera. Gairebé qualsevol fallada en producció es pot atribuir a una etapa concreta d'un d'aquests dos pipelines. Per això, la guia segueix la mateixa estructura: construeix els pipelines i després fes que cada etapa sigui observable, econòmica, ràpida i segura.
Dos pipelines que es troben en un vector store
Cada part de la guia tracta una o més caixes d'aquest mapa. Llegeix-lo una vegada i després fes-lo servir com a índex de la resta.
Setze parts, quatre blocs
Llegeix-la sencera una vegada per construir el model mental i després fes-la servir com a índex de consulta. Cada part acaba amb una llista de comprovació que pots aplicar.
Fonaments
Construeix els dos pipelines
Per què RAG falla en producció i com encaixen les peces
Identifica els modes de fallada i entén el mapa complet, la chain canònica i els sis invariants.
Prepara l'entorn de treball i incorpora les dades
Prepara el projecte amb uv, les credencials i la capa de loaders que converteix qualsevol fitxer en Documents.
Chunking: el factor que més influeix en la qualitat
Divisors de text, mida i solapament dels fragments, chunking semàntic i un banc de proves A/B: la decisió que condiciona la resta.
Embeddings, magatzems vectorials i interpretació de les puntuacions de similitud
Converteix els fragments en vectors, desa'ls a Chroma i aprèn a interpretar les puntuacions de similitud.
El teu primer sistema RAG real i com depurar-lo quan menteix
Munta la primera chain completa amb LCEL i depura-la de manera sistemàtica quan respongui malament.
Qualitat i operacions
Fes-lo correcte, observable i assequible
Qualitat de la recuperació: cerca híbrida, reranking i citacions
Cerca híbrida BM25 i vectorial amb fusió RRF, reranking, compressió i cites.
Observabilitat: traces, mètriques i avaluacions
Traces, mètriques i avaluacions: el marc que envolta el pipeline i en revela el comportament.
Escalat: ajust de l'índex, HNSW i quan fragmentar en shards
Els paràmetres M i ef de HNSW, recall i latència, escalat vertical i quan cal distribuir l'índex.
El pressupost de cost i latència
Quantització, batching, tres capes de memòria cau i un model de costos resolt per reduir la despesa.
Porta'l a producció
Allotja'l, serveix-lo, defensa'l i prova'l
Allotjament en producció: Supabase i pgvector
D'una carpeta local a Supabase i pgvector: serveis gestionats o infraestructura pròpia, implementació i operació.
L'API de producció: FastAPI i el recorregut de la petició
Un servei FastAPI i LangGraph amb límits de peticions, memòria cau, reintents, fallbacks, circuit breaker i mètriques.
La capa de seguretat: injecció de prompts i dades personals identificables
Detecció de prompt injection, emmascarament de dades personals i validació de la sortida en un centenar de línies.
Provar la capa de seguretat i la llista de comprovació de producció
Proves adversàries, avaluacions amb un LLM com a jutge, la imatge Docker i la llista de comprovació per a producció.
Avançat i frontera
Canvia què vol dir recuperar informació
Recuperació avançada: context llarg, recuperació contextual i chunking tardà
Context llarg i RAG, recuperació contextual i late chunking: millora què representa cada fragment.
RAG amb agents: recuperació amb autocorrecció amb LangGraph
Recuperació que es corregeix: avalua, reformula i reintenta amb una màquina d'estats de LangGraph.
La frontera: GraphRAG, RAG multimodal i cap on anem
GraphRAG i recuperació multimodal amb ColPali: quan un document és més que text.
Resums en àudio
Resums breus en català, amb guions contrastats amb els àudios en anglès i castellà i amb el text de cada capítol. Veu sintètica generada localment amb VoiceStudio.
- 01Per què RAG falla en producció i com encaixen les peces4:34
- 03Chunking: el factor que més influeix en la qualitat3:16
- 04Embeddings, magatzems vectorials i interpretació de les puntuacions de similitud3:26
- 05El teu primer sistema RAG real i com depurar-lo quan menteix3:31
- 06Qualitat de la recuperació: cerca híbrida, reranking i citacions3:36
- 07Observabilitat: traces, mètriques i avaluacions3:25
- 08Escalat: ajust de l'índex, HNSW i quan fragmentar en shards3:12
- 09El pressupost de cost i latència3:21
- 11L'API de producció: FastAPI i el recorregut de la petició3:17
- 12La capa de seguretat: injecció de prompts i dades personals identificables3:30
- 13Provar la capa de seguretat i la llista de comprovació de producció3:29
- 14Recuperació avançada: context llarg, recuperació contextual i chunking tardà3:20
- 15RAG amb agents: recuperació amb autocorrecció amb LangGraph3:20
- 16La frontera: GraphRAG, RAG multimodal i cap on anem3:33