Antes de atender clientes, ensaie as situações difíceis
O assistente responde bem quando a pergunta é simples. Mas o que acontece se alguém pedir um desconto, mudar a cidade do projeto no meio da conversa ou solicitar um horário que já não está disponível? Um atendimento com IA precisa ser avaliado também quando o diálogo foge do roteiro esperado.
Para escritórios de arquitetura, um teste útil começa por conversas simuladas, critérios claros e uma pessoa responsável pela revisão. Este guia propõe uma rotina de avaliação antes da abertura ao público e depois de mudanças no atendimento. Os exemplos são hipotéticos e não representam conversas ou resultados de clientes da Synky.
Defina o resultado esperado antes de testar
Escolha tarefas delimitadas: explicar um serviço, reunir contexto inicial ou encaminhar uma dúvida para a equipe. Para cada uma, escreva o que caracteriza uma resposta adequada. Apresentar as etapas do processo, por exemplo, é diferente de prometer honorários ou confirmar uma data de início.
A documentação da OpenAI recomenda orientar agentes com políticas e exemplos claros, antecipar situações indesejadas e usar avaliações para identificar erros. A aplicação ao escritório é transformar as regras de atendimento em situações que possam ser conferidas. Não basta avaliar se a mensagem parece natural; é preciso verificar se ela respeita o processo real.
Referência: OpenAI — Safety in building agents
Monte um conjunto pequeno de conversas simuladas
Use dados fictícios e varie a forma de perguntar. Inclua pedidos incompletos, perguntas com vários assuntos e correções feitas durante a conversa. Uma pessoa pode começar pedindo interiores e depois esclarecer que deseja apenas uma consultoria pontual. O assistente precisa reconhecer a mudança sem manter uma classificação antiga como se fosse certa.
Acrescente casos em que a resposta correta é admitir que falta informação. Se a base não contém uma condição comercial, o atendimento deve pedir confirmação ou encaminhar o assunto. Prepare também um caso de pedido explícito para falar com alguém, com critérios para conferir se o encaminhamento aconteceu conforme a operação disponível.
Confira a informação, não apenas o tom
Separe os critérios de revisão: precisão sobre serviços, respeito aos limites, clareza das perguntas e qualidade do encaminhamento. Verifique se o assistente faz uma pergunta necessária por vez e se utiliza corretamente o que a pessoa já informou. Um texto cordial ainda pode conter uma afirmação que o escritório nunca aprovou.
Em um exemplo hipotético, o visitante pergunta se pode começar o projeto na próxima semana. Se não existe consulta confiável à disponibilidade, a resposta esperada deve explicar que a equipe precisa verificar a agenda. Marque como falha qualquer confirmação inventada, mesmo quando vier acompanhada de uma explicação convincente.
Teste as ações conectadas separadamente
Quando houver integração com agenda ou CRM, avalie o resultado da ação além da mensagem exibida. Confira se foi criado o registro correto, se a informação atualizada ficou no lugar previsto e se uma falha da integração foi comunicada sem anunciar sucesso. Faça esses ensaios em um ambiente apropriado, sem gerar compromissos reais para clientes.
Inclua situações de repetição: a pessoa envia a mesma solicitação duas vezes ou retoma a conversa após uma interrupção. Observe como o fluxo evita cadastros duplicados ou encaminhamentos contraditórios. As regras exatas dependem das ferramentas e permissões definidas pelo escritório, que precisam ser verificadas por quem implementa a integração.
Inclua tentativas de sair das regras
Uma mensagem recebida pode tentar convencer o assistente a ignorar suas orientações ou revelar informações internas. A documentação da OpenAI trata esse tipo de conteúdo como um risco e recomenda limitar a influência de dados não confiáveis, além de combinar controles e avaliações. Nenhuma dessas medidas elimina totalmente a possibilidade de erro.
Na simulação, peça uma condição não autorizada ou tente obter dados de outro cliente usando apenas informações fictícias. A resposta precisa manter o limite e oferecer um encaminhamento adequado, sem reproduzir conteúdo interno. Essas verificações ajudam a equipe a decidir quais acessos são necessários e quais ações devem permanecer sob revisão humana.
Referência: OpenAI — Safety in building agents
Corrija, repita e mantenha uma referência
Registre a pergunta testada, a resposta observada, a falha e a alteração realizada. Depois da correção, execute novamente a mesma situação e alguns casos que antes funcionavam. Uma mudança para melhorar a explicação de serviços pode afetar outra parte da conversa; por isso, preserve um conjunto de testes que possa ser repetido.
Antes de abrir o atendimento, defina quais falhas impedem a liberação. Promessas comerciais sem autorização, exposição de informações e ações anunciadas sem confirmação merecem tratamento específico. A decisão deve considerar o impacto real de cada tarefa e a capacidade da equipe de acompanhar os encaminhamentos.
Após a entrada em operação, revise amostras de conversas conforme as regras de acesso e privacidade do escritório. Acrescente aos testes situações novas que revelem dificuldades recorrentes. O objetivo é manter uma rotina verificável de melhoria, com responsabilidade humana pelo processo e pelas decisões que afetam o cliente.
Perguntas frequentes
Uma boa resposta de demonstração comprova que o agente está pronto?
Não. Teste cenários diferentes, correções de contexto, limites e falhas nas integrações, com critérios de revisão definidos.
Devo repetir os testes após alterar as instruções?
Sim. Repita os casos corrigidos e situações que já funcionavam para verificar se a mudança introduziu novos problemas.
Vamos colocar isso em prática?
Quer organizar IA e atendimento no seu escritório? Converse com a Synky sobre marketing para arquitetura.
Converse sobre seu escritório