Recuperação: Fragmentação e Classificação
Nesta página
Recuperação: Fragmentação e Classificação
A Pesquisa em Ficheiros depende de um pipeline de recuperação completo: os seus documentos são divididos em fragmentos, vetorizados, indexados e, em seguida, classificados por relevância quando chega uma consulta. Compreender este pipeline permite-lhe otimizar a qualidade das respostas.
O Pipeline de Recuperação
Quando carrega um ficheiro para uma loja vetorial, a OpenAI executa automaticamente:
- Análise: Extrai o texto bruto do formato de origem
- Fragmentação: Divide o texto em segmentos de tamanho controlado
- Incorporação: Vetoriza cada fragmento
- Indexação: Armazena os vetores no índice vetorial
No momento da consulta:
- Incorporação da Consulta: A pergunta é vetorizada
- Pesquisa Vetorial: Identifica os fragmentos mais próximos
- Classificação: Reordena os resultados por relevância
- Injeção: Injeta os melhores fragmentos no contexto do modelo
Configuração da Estratégia de Fragmentação
A fragmentação é a definição que impulsiona todo o resto, e o compromisso é simples. Fragmentos curtos produzem resultados de pesquisa precisos, mas fornecem extratos desprovidos de contexto — encontra a frase certa, mas perde aquilo a que se refere. Fragmentos longos preservam o contexto, mas enterram informações relevantes em texto irrelevante, o que enfraquece a pontuação de similaridade.
Não existe um valor universal: a definição correta depende da estrutura do seu documento, tal como resumido na tabela abaixo.
from openai import OpenAI
client = OpenAI()
# Default strategy: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
Escolha do Tamanho de Fragmento Adequado
| Tipo de Conteúdo | max_chunk_size | overlap | Porquê |
|---|---|---|---|
| FAQ, Perguntas e Respostas | 200-400 | 50 | Respostas curtas e autónomas |
| Documentação Técnica | 600-800 | 200 | Parágrafos com contexto |
| Contratos, Textos Legais | 800-1200 | 300 | Cláusulas longas e interligadas |
| Código Fonte | 400-600 | 100 | Funções e classes |
Impacto da Sobreposição
A sobreposição resolve um problema específico: informações que atravessam o limite de um fragmento seriam, de outra forma, cortadas ao meio, significando que nenhuma das partes corresponderia à consulta. Ao sobrepor fragmentos, garante que cada frase aparece intacta em pelo menos um segmento. O custo é a redundância — uma sobreposição de 300 tokens em fragmentos de 800 tokens armazena quase 40% de texto duplicado.
# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
# In case of delay, penalties of 1% per day apply.
# Clause 5.2 specifies penalties are capped at 15%."
# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved
Limiar de Relevância e Classificação
A classificação determina quais os fragmentos que são retidos. Pode configurar um filtro:
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the return policy?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
O score_threshold filtra resultados abaixo de um limiar de relevância. Um valor de 0,0 devolve tudo, enquanto 1,0 seria demasiado restritivo. Na prática, valores entre 0,3 e 0,6 produzem bons resultados.
Otimização da Qualidade da Recuperação
Preparação de Documentos
Esta é a alavanca mais rentável em toda esta lição e a única que não custa nada em definições: um documento bem estruturado indexa-se bem. Utilize títulos explícitos, uma frase introdutória para cada secção e evite tabelas convertidas em texto confuso. Por outro lado, nenhuma definição de fragmentação salvará um PDF cuja extração produza colunas emaranhadas.
# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings
# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections
# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
"""Cleans and structures text before indexing."""
# Remove repetitive headers/footers
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Normalize spaces
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Enriquecimento com Metadados
Os metadados permitem a pré-filtragem antes da pesquisa vetorial, o que melhora a precisão:
# Upload with rich metadata
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
Medição da Qualidade da Recuperação
Sem medição, qualquer definição de fragmentação é apenas intuição. Um conjunto de vinte perguntas onde conhece a resposta esperada e o documento que a contém é suficiente para objetivar o processo: altere um parâmetro, execute novamente o conjunto de testes e compare. Isto dá pouco trabalho comparado com horas gastas a debater o tamanho dos fragmentos sem dados.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Evaluates retrieval quality on a test set.
Each element in test_questions contains:
- question: the question to ask
- expected_answer: keywords or phrases expected in the response
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Estratégias Avançadas
Múltiplas Lojas Vetoriais
Consulte várias bases de documentos em paralelo:
response = client.responses.create(
model="gpt-5.6-terra",
input="Compare our HR policy with legal obligations",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Consultas Decompostas
Uma pergunta que contém múltiplos pedidos produz um vetor médio que não se assemelha a nenhum deles, levando a maus resultados de pesquisa para todos. Dividi-la em subperguntas separadas produz resultados significativamente melhores — este é o mesmo princípio da pesquisa na web: uma consulta precisa supera uma exaustiva.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Decomposes a complex question into sub-searches."""
# Step 1: Decompose the question
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
)
# Step 2: Search for each sub-question
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# Step 3: Synthesize
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Original question: {complex_question}\n\n"
f"Intermediate results:\n" + "\n---\n".join(sub_results) +
"\n\nSynthesize a complete and coherent answer."
)
return synthesis.output_text
Pontos-chave
- A fragmentação
staticcom tamanho e sobreposição personalizados melhora a precisão - Fragmentos pequenos para FAQs, fragmentos grandes para documentos legais
- O
score_thresholdfiltra resultados irrelevantes - Limpe e estruture os seus documentos antes da indexação
- Avalie a qualidade da recuperação com um conjunto de testes