Pesquisa de Ficheiros vs. RAG Personalizado: Quando Utilizar Cada Um
Nesta página
Objetivos
- Compreender o RAG gerido pela OpenAI (Pesquisa de Ficheiros)
- Comparar a Pesquisa de Ficheiros com um pipeline RAG personalizado
- Escolher a abordagem correta para o seu caso de uso
Pesquisa de Ficheiros: O RAG Gerido da OpenAI
Acabou de construir todas as camadas de um pipeline RAG, lição após lição. A Pesquisa de Ficheiros faz tudo isto por si. É uma ferramenta integrada na API de Respostas da OpenAI que gere automaticamente a fragmentação, a incorporação (embedding), o armazenamento vetorial e a pesquisa: carrega os seus ficheiros e efetua consultas. Esta lição não rejeita o que foi aprendido anteriormente, mas coloca uma questão honesta que deve fazer antes de escrever qualquer código: qual é o nível de abstração adequado para o seu projeto?
Tudo começa com um armazenamento vetorial (vector store), o contentor que aloja os seus documentos indexados. Cria-o, envia ficheiros um a um e aguarda a conclusão da indexação antes de consultar. Este ciclo de espera não é cosmético: a indexação é assíncrona e uma consulta lançada demasiado cedo verá apenas parte do corpus.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
A consulta requer apenas uma chamada: declara a ferramenta file_search com o ID do armazenamento e o modelo decide quando recuperar informações. A parte interessante reside na leitura das anotações, que contêm as citações dos ficheiros. Isto permite-lhe apresentar as fontes ao utilizador — um comportamento que teve de implementar manualmente no pipeline personalizado.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Duas definições permitem-lhe afinar o comportamento sem sair da ferramenta gerida. max_num_results define o número de fragmentos recuperados e score_threshold filtra resultados com pontuação baixa, exatamente como o limiar de relevância que aplicou após a reclassificação (reranking).
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
O Que a Pesquisa de Ficheiros Oferece e o Que Retira
O argumento decisivo para a Pesquisa de Ficheiros é a ausência total de infraestrutura: nenhuma base de dados vetorial para aprovisionar, fazer cópias de segurança ou monitorizar. A fragmentação é feita por si e otimizada pela OpenAI; atualizar o corpus é tão simples quanto adicionar ou remover um ficheiro; as citações são geradas automaticamente e os formatos comuns são suportados nativamente — PDF, DOCX, MD, TXT, HTML, JSON, entre outros. Uma equipa sem experiência em infraestrutura pode colocar uma base de conhecimento online numa tarde.
O reverso desta conveniência é a perda de controlo sobre cada elo da cadeia. Não escolhe o tamanho dos fragmentos, pelo que o compromisso precisão/contexto da Lição 12 fica fora do seu alcance. A pesquisa é puramente semântica: sem pesquisa híbrida, pelo que referências a produtos e códigos de erro exatos permanecem frágeis. Também não pode integrar a Cohere ou um codificador cruzado (cross-encoder) desenvolvido internamente para reclassificação. Acrescente a isto mais três considerações estratégicas: o armazenamento vetorial é faturado adicionalmente às chamadas à API, os seus dados residem nos servidores da OpenAI e a indexação abrange apenas texto.
Um pipeline personalizado inverte esta lista termo a termo. Domina a fragmentação, a incorporação, a pesquisa, a reclassificação e a criação de prompts; combina pesquisa semântica e lexical; mistura fornecedores de modelos ou mantém tudo no local (on-premise) se os seus dados o exigirem; e, acima de tudo, otimiza cada componente independentemente medindo o seu efeito. Este controlo tem um custo: código para escrever e manter, uma base de dados vetorial para administrar e especialização — a fragmentação, a avaliação e a reclassificação não se improvisam, que é precisamente o que este curso aborda.
Matriz de Decisão
| Critério | Pesquisa de Ficheiros | RAG Personalizado |
|---|---|---|
| Prototipagem rápida | ✅ Ideal | ⚠️ Mais lento |
| Controlo da fragmentação | ❌ | ✅ |
| Pesquisa híbrida | ❌ | ✅ |
| Dados sensíveis | ⚠️ Na OpenAI | ✅ No local (On-premise) |
| Custo à escala | ⚠️ Pode ser elevado | ✅ Previsível |
| Manutenção | ✅ Zero | ⚠️ A gerir |
| Desempenho máximo | ⚠️ Bom | ✅ Otimizável |
Arquitetura Híbrida: O Melhor dos Dois Mundos
A escolha não tem de ser definitiva e não deve sê-lo. A abordagem mais rentável consiste em começar com a Pesquisa de Ficheiros para validar que o seu caso de uso é viável, mudando depois para um pipeline personalizado no dia em que atingir um limite identificado. Encapsular ambos atrás de um único método respond torna esta mudança indolor para o resto da sua aplicação.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Quando a migração se torna necessária, segue uma ordem precisa:
- Exporte os seus ficheiros do armazenamento vetorial
- Implemente a fragmentação adaptada ao seu conteúdo
- Gere incorporações com
text-embedding-3-large - Indexe numa base de dados vetorial (Qdrant, Pinecone, etc.)
- Adicione reclassificação e pesquisa híbrida
- Avalie com o seu conjunto de dados de teste
- Compare as métricas com a Pesquisa de Ficheiros antes de mudar
O último passo é o que é mais frequentemente ignorado, e é o único que justifica todo o resto: sem uma comparação quantitativa, pode ter substituído um sistema gerido decente por um caseiro inferior, acrescido da sobrecarga de manutenção.
Pontos-chave
- A Pesquisa de Ficheiros é ideal para prototipar rapidamente um sistema RAG sem infraestrutura
- Um pipeline RAG personalizado oferece controlo total e desempenho otimizável
- Comece com a Pesquisa de Ficheiros, migre para personalizado quando atingir limites
- Critérios de decisão: controlo, dados sensíveis, custo, desempenho