NVIDIA Certified Associate – Generative AI and LLMs (NCA-GENL)

Questão 1: Uma equipe está avaliando um LLM autoregressivo em dois modos. No treinamento, o modelo recebe uma sequência com os tokens anteriores corretos e aprende a estimar a distribuição do próximo token. Na inferência, após gerar um token, esse token passa a fazer parte do contexto para a próxima etapa. Qual análise descreve corretamente esse processo e o efeito de diferentes estratégias de decodificação?

• (B) A cada etapa, o modelo condiciona a distribuição do próximo token ao contexto disponível, que inclui os tokens previamente gerados; greedy decoding escolhe o token de maior probabilidade, enquanto temperature ou top-p podem alterar a seleção sem remover a natureza autoregressiva.
• (C) Na inferência, o modelo continua recebendo os tokens corretos da sequência original, pois substituir esses valores pelos tokens gerados faria a distribuição prevista deixar de corresponder àquela aprendida no treinamento.
• (E) Temperature e top-p são aplicados depois que o modelo calcula uma sequência completa de tokens; por isso, alteram a sequência escolhida, mas não as distribuições condicionais produzidas em cada etapa.
• (A) Durante o treinamento, a sequência pode ser processada em paralelo com máscara causal; por isso, na inferência, o modelo também pode definir simultaneamente todos os tokens futuros, desde que aplique a mesma máscara.
• (D) Greedy decoding seleciona o token de maior probabilidade marginal para a posição atual, independentemente dos tokens produzidos nas posições anteriores; temperature e top-p apenas modificam a forma de exibir essa escolha.

Questão 2: Uma organização pretende usar o mesmo modelo para responder perguntas gerais, resumir documentos e, posteriormente, executar classificação de chamados com poucos exemplos rotulados. A equipe compara: (I) treinar um modelo do zero apenas com os chamados; (II) selecionar um modelo previamente treinado em grandes volumes de dados e adaptá-lo por instruções, prompting ou ajuste fino; (III) usar um classificador treinado exclusivamente para chamados. Considerando o conceito de modelo fundacional, qual conclusão é tecnicamente correta?

• (E) A opção II deixa de ser um modelo fundacional quando utiliza prompting, porque a adaptação válida exige novo treinamento supervisionado e atualização de todos os parâmetros do modelo.
• (A) A opção I pode ser considerada um modelo fundacional desde que o conjunto de chamados seja grande, pois a escala do treinamento específico é suficiente para garantir reutilização em tarefas distintas.
• (D) Um modelo fundacional precisa ser generativo e permanecer congelado após o pré-treinamento; modelos adaptados por ajuste fino ou usados para classificação passam a ser exclusivamente modelos de tarefa.
• (C) A opção III é um modelo fundacional se alcançar alta precisão no domínio de chamados, porque desempenho elevado em uma tarefa específica demonstra que suas representações podem sustentar outras aplicações.
• (B) A opção II é compatível com um modelo fundacional, pois o pré-treinamento amplo fornece capacidades gerais que podem ser transferidas e adaptadas a múltiplas tarefas; o ajuste para classificação não elimina essa característica.

Questão 3: Considere um Transformer decoder-only cujo fluxo de entrada é: texto → tokenização → IDs de tokens → consulta à matriz de embeddings → combinação com informação posicional → blocos de atenção. Duas sequências contêm exatamente os mesmos tokens, mas em ordens diferentes. Qual alternativa descreve corretamente o papel das representações vetoriais nessa arquitetura?

• (A) A consulta à matriz de embeddings transforma cada ID em um vetor treinável; ocorrências do mesmo token recebem inicialmente o mesmo vetor, enquanto a informação de ordem é incorporada pela representação posicional e as representações dependentes do contexto são formadas nos blocos posteriores de atenção.
• (E) Como as duas sequências possuem os mesmos tokens, a soma dos embeddings de tokens é idêntica em ambas; portanto, qualquer diferença entre suas representações posteriores depende apenas da amostragem, e não da ordem das posições.
• (D) A informação posicional é incorporada principalmente pela máscara causal, que impede o acesso a tokens futuros; assim, tokens iguais em posições diferentes podem manter o mesmo vetor até a etapa final de geração.
• (C) A combinação entre embeddings de tokens e informação posicional produz diretamente uma representação contextual completa para cada token; os blocos de atenção apenas preservam essas representações e calculam as probabilidades da saída.
• (B) A consulta à matriz de embeddings transforma cada ID em um vetor treinável já específico para a posição em que o token ocorre; por isso, a informação de ordem é determinada antes da combinação com as representações posicionais e da aplicação da atenção.

Questão 4: Uma equipe avalia dois tokenizadores de subpalavras para um LLM com dimensão de embedding igual a 4.096 e orçamento máximo de 8.192 tokens por sequência. O tokenizador X possui vocabulário de 32.000 unidades e produz, em média, 1.250 tokens por documento; o tokenizador Y possui vocabulário de 128.000 unidades e produz, em média, 900 tokens por documento. Desconsiderando outras camadas, possíveis vieses e custos de memória temporária, e assumindo uma matriz de embeddings independente para entrada, qual conclusão é tecnicamente correta ao comparar os dois projetos?

• (D) O tokenizador Y quadruplica a quantidade de parâmetros de embeddings, mas essa diferença deixa de ser relevante para o custo do modelo porque seus documentos usam menos tokens em média.
• (C) O tokenizador X exige mais parâmetros de embeddings, porque suas unidades menores requerem mais posições vetoriais para representar a mesma quantidade média de texto.
• (B) O tokenizador Y reduz o comprimento médio das sequências, mas o custo da matriz de embeddings permanece aproximadamente igual, pois a redução no número médio de tokens compensa o aumento do vocabulário.
• (A) O tokenizador Y reduz o comprimento médio das sequências e quadruplica a quantidade de parâmetros da matriz de embeddings em relação ao X; portanto, a escolha envolve uma troca entre eficiência de sequência e custo de parâmetros.
• (E) Os dois tokenizadores possuem o mesmo número de parâmetros na matriz de embeddings, já que ambos projetam os tokens no mesmo espaço de dimensão 4.096, embora apresentem comprimentos médios de sequência diferentes.

Questão 5: Durante a migração de um LLM, uma equipe substitui o tokenizador original por outro cujo vocabulário possui 20% mais unidades. A equipe pretende preservar os pesos das camadas Transformer que permanecem dimensionalmente compatíveis; para isso, os identificadores continuam sendo inteiros, e os tokens compartilhados entre os vocabulários podem manter seus identificadores somente quando essa correspondência for explicitamente verificada. A nova matriz de embeddings é expandida para acomodar o vocabulário maior. Em um teste, duas unidades recebem identificadores consecutivos, embora apareçam em contextos semanticamente muito diferentes. Qual análise explica corretamente o comportamento esperado e o principal cuidado da migração?

• (C) Os identificadores podem ser fornecidos diretamente às camadas Transformer, desde que permaneçam inteiros; a matriz de embeddings é necessária principalmente para acelerar a inferência e pode ser inicializada independentemente do mapeamento dos tokens.
• (D) A nova matriz pode reutilizar integralmente as linhas antigas sem um mapeamento explícito, pois a ordem numérica dos identificadores não afeta a correspondência entre cada token e seu vetor aprendido.
• (E) A expansão do vocabulário exige principalmente aumentar o comprimento máximo da sequência; como os identificadores são apenas metadados do tokenizador, a matriz de embeddings pode manter o mesmo número de linhas.
• (B) Os identificadores são índices sem significado ordinal; os vetores associados precisam ser aprendidos ou transferidos de forma compatível, e aumentar o vocabulário altera as dimensões da tabela de embeddings, não a semântica dos números.
• (A) A proximidade numérica dos identificadores tende a produzir vetores semelhantes após a consulta à matriz; portanto, a diferença semântica entre as unidades sugere incompatibilidade na inicialização.

Questão 6: Uma equipe compara dois tokenizadores para um LLM que deve processar nomes científicos, códigos de produtos e texto multilíngue. O tokenizador T1 usa um vocabulário fixo de subpalavras e representa qualquer sequência sem correspondência por um único token [UNK]. O tokenizador T2 também usa subpalavras, mas, quando não encontra uma decomposição adequada, recorre a tokens correspondentes aos bytes UTF-8 dos caracteres. Considerando que ambos utilizam uma matriz de embeddings fixa durante a inferência, qual consequência é esperada com o uso do T2?

• (E) O T2 reduz a dependência do token [UNK], mas só consegue processar uma sequência rara quando existe no vocabulário um token único correspondente à sequência completa de bytes; caso contrário, a entrada continua sem representação válida.
• (C) O T2 reduz a dependência do token [UNK] por meio da expansão dinâmica da matriz de embeddings, que passa a incorporar novos vetores para cada palavra ou sequência de bytes encontrada.
• (D) O T2 reduz a dependência do token [UNK] sem aumentar o comprimento da sequência, pois cada caractere é convertido em exatamente um token, independentemente do número de bytes de sua codificação UTF-8.
• (B) O T2 reduz a dependência do token [UNK] e mantém, em geral, o mesmo número de consultas à matriz de embeddings, pois a sequência de bytes é consolidada em um vetor antes de ser processada pelo modelo.
• (A) O T2 reduz a dependência do token [UNK] sem exigir a expansão do vocabulário durante a inferência, mas pode gerar mais tokens para uma entrada rara, exigindo uma consulta à matriz de embeddings para cada posição tokenizada.

Questão 7: Uma aplicação RAG recupera três documentos internos relevantes e os inclui no contexto do modelo. A auditoria confirma que esses documentos são aplicáveis ao caso, mas nenhum contém a condição apresentada como exceção. Na resposta final, o modelo combina corretamente uma regra presente no primeiro documento com um prazo mencionado no segundo, mas introduz a exceção e, quando solicitado a indicar a fonte, atribui essa informação a um dos documentos recuperados. Qual diagnóstico é mais adequado para orientar a investigação?

• (E) Trata-se principalmente de um efeito do conhecimento paramétrico do modelo, que substitui informações do contexto por padrões aprendidos no pré-treinamento sempre que precisa combinar documentos de uma mesma área.
• (C) Trata-se principalmente de uma falha de integração do contexto, na qual o modelo sintetiza informações de documentos distintos e transforma uma relação implícita em uma exceção, enquanto a fonte indicada funciona apenas como paráfrase.
• (D) Trata-se sobretudo de uma falha de instrução para citações, pois um formato mais restritivo de referência tende a impedir que o modelo apresente uma afirmação não localizada nos documentos recuperados.
• (B) Trata-se de uma falha de geração e atribuição: mesmo com recuperação adequada, o modelo pode introduzir conteúdo não sustentado e associá-lo incorretamente a uma fonte recuperada.
• (A) Trata-se principalmente de uma falha de recuperação, pois a ausência literal da exceção no contexto indica que o documento que a sustenta provavelmente não foi recuperado, devendo a geração ser considerada secundária.

Questão 8: Uma empresa pretende usar um LLM para apoiar o atendimento a clientes sobre políticas internas. As políticas mudam frequentemente, algumas respostas podem gerar impacto financeiro e a organização precisa identificar a base normativa utilizada em cada resposta. Qual desenho de uso oferece a combinação mais adequada entre utilidade e controle?

• (E) Classificar primeiro a intenção do cliente, responder consultas de baixo risco com um modelo ajustado em históricos e direcionar consultas financeiras para fluxos predefinidos, registrando a categoria da política sem necessariamente citar o trecho aplicado.
• (A) Usar RAG com a versão vigente dos documentos e solicitar referências aos trechos utilizados, permitindo respostas quando a similaridade da recuperação ultrapassar um limiar, sem exigir encaminhamento sistemático para revisão humana.
• (D) Usar RAG sobre documentos versionados, apresentar ao modelo as versões conflitantes para que ele escolha a mais provável, exigir uma citação geral da política e automatizar respostas financeiras quando houver alta confiança na intenção.
• (B) Usar RAG sobre documentos versionados e aprovados, exigir referências aos trechos utilizados, instruir o modelo a declarar ausência de evidência suficiente e encaminhar casos de alto impacto para revisão humana.
• (C) Aplicar fine-tuning periódico com exemplos recentes de atendimentos e políticas aprovadas, usando RAG apenas quando a intenção do cliente for ambígua e encaminhando para revisão humana somente as respostas sem correspondência semântica clara.

Questão 9: Durante a inferência de um Transformer autoregressivo, considere a posição correspondente ao terceiro token de uma sequência. Antes da aplicação da máscara causal, os escores de atenção dessa posição para as posições 1 a 4 são, respectivamente, [2,0; 1,0; 0,5; 3,0]. Considerando que a posição atual pode consultar a si própria, qual alternativa representa aproximadamente os pesos de atenção após a aplicação da máscara causal e da função softmax?

• (E) [0,58; 0,21; 0,12; 0,09], pois a contribuição da posição futura é reduzida pela máscara, mas permanece parcialmente na normalização.
• (C) [0,50; 0,25; 0,25; 0,00], pois, após a máscara, a atenção é distribuída uniformemente entre as posições disponíveis.
• (B) [0,23; 0,09; 0,05; 0,63], pois a função softmax é aplicada aos quatro escores e a restrição causal não altera a distribuição já calculada.
• (A) [0,63; 0,23; 0,14; 0,00], pois a posição 4 é removida antes da normalização e os escores das posições permitidas são renormalizados.
• (D) [0,73; 0,27; 0,00; 0,00], pois a posição atual também deve ser excluída e apenas os tokens anteriores podem ser consultados.

Questão 10: Um tokenizador BPE utiliza um marcador de fim de palavra, que não é exibido na resposta final, e possui as seguintes regras de fusão, ordenadas da maior para a menor prioridade: (1) e+r→er; (2) l+o→lo; (3) lo+w→low; (4) low+er→lower; (5) e+s→es; (6) low+es→lowes; (7) lowes+t→lowest; (8) n+e→ne; (9) ne+w→new; (10) new+er→newer. Em cada etapa, deve ser aplicada a regra de menor número entre todos os pares adjacentes disponíveis nas duas palavras, sem permitir fusões através do espaço entre palavras. Ao codificar a sequência “newer lowest”, partindo inicialmente dos caracteres de cada palavra, qual alternativa descreve uma sequência válida de fusões e a segmentação final correspondente?

• (E) e+r→er; l+o→lo; lo+w→low; e+s→es; low+es→lowes; n+e→ne; ne+w→new; new+er→newer; lowes+t→lowest. Segmentação final: [newer] [lowest].
• (D) l+o→lo; lo+w→low; low+er→lower; e+s→es; low+es→lowes; lowes+t→lowest; n+e→ne; ne+w→new; new+er→newer. Segmentação final: [newer] [lowest].
• (A) e+r→er; l+o→lo; lo+w→low; e+s→es; low+es→lowes; lowes+t→lowest; n+e→ne; ne+w→new; new+er→newer. Segmentação final: [newer] [lowest].
• (C) e+r→er; n+e→ne; ne+w→new; new+er→newer; l+o→lo; lo+w→low; e+s→es; low+es→lowes; lowes+t→lowest. Segmentação final: [newer] [lowest].
• (B) n+e→ne; ne+w→new; e+r→er; new+er→newer; l+o→lo; lo+w→low; e+s→es; low+es→lowes; lowes+t→lowest. Segmentação final: [newer] [lowest].

Questão 11: Um modelo decoder possui vocabulário de 32.000 tokens e estados ocultos de dimensão 4.096. Desconsidere vieses e suponha que, sem compartilhamento, a matriz de embeddings e a matriz de projeção para os logits tenham dimensões compatíveis com essas duas grandezas. Ao adotar weight tying, qual afirmação descreve corretamente a operação e a variação no número de parâmetros?

• (A) A matriz de embeddings continua independente da projeção, mas ambas passam a ser armazenadas com a mesma orientação; por isso, o número de parâmetros permanece inalterado.
• (B) A matriz compartilhada pode ser usada como embeddings e, com a orientação apropriada, como projeção para o vocabulário; a redução corresponde a uma matriz de dimensão 32.000 × 4.096, ou 131.072.000 parâmetros.
• (C) A matriz de embeddings é reutilizada na saída sem transposição, fazendo com que a projeção produza 4.096 logits; para preservar o vocabulário, uma camada adicional precisa ser mantida.
• (D) O compartilhamento mantém duas matrizes durante o treinamento, mas impõe que elas recebam atualizações idênticas; assim, o número de parâmetros não muda, embora o custo de armazenamento possa ser reduzido.
• (E) A projeção de saída deixa de utilizar uma matriz completa e passa a usar apenas um vetor por token, reduzindo o total em 32.000 parâmetros, enquanto a matriz de embeddings permanece inalterada.

Questão 12: Em um sistema de recuperação semântica, o vetor de consulta é q = (1, 0), e os candidatos são a = (1, 0), b = (100, 10) e c = (-1, 0). O sistema ordena os candidatos exclusivamente pela similaridade do cosseno, sem qualquer critério adicional de desempate. Qual ordenação é esperada?

• (E) c, a, b, porque o cosseno atribui maior relevância ao contraste direcional; vetores opostos à consulta são priorizados em relação aos alinhados.
• (C) a, b, c, porque os cossenos são 1, aproximadamente 0,995 e -1, respectivamente; a magnitude de b não supera a vantagem angular de a.
• (D) b, c, a, porque b possui a maior componente na direção de q, enquanto c e a apresentam componentes de mesma magnitude e sentidos opostos.
• (A) b, a, c, porque o produto interno entre q e b é 100, enquanto o produto interno entre q e a é 1, e essa diferença permanece na similaridade do cosseno.
• (B) a, c, b, porque a distância euclidiana entre q e a é zero, entre q e c é 2, e a magnitude elevada de b o torna o candidato mais distante.

Questão 13: Uma equipe compara a inferência autoregressiva de um Transformer com e sem cache de KV. Em ambas as configurações, o modelo recebe um prompt inicial e gera tokens um a um. Considerando uma implementação padrão com atenção multi-head, qual afirmação descreve corretamente o efeito do cache durante a etapa de decodificação?

• (C) O modelo calcula Q, K e V do novo token e armazena essas três representações; como a consulta atual é comparada a uma única entrada de cache, o custo da atenção permanece constante, enquanto apenas as projeções lineares acumulam custo ao longo da geração.
• (A) Para cada novo token, o modelo calcula a consulta Q correspondente, acrescenta suas chaves K e valores V ao cache e reutiliza K e V anteriores; isso evita recomputações, mas faz a memória crescer com o contexto e mantém crescente o custo de calcular os escores de atenção.
• (D) O modelo calcula Q apenas para o novo token, mas recalcula K e V de todo o prefixo a cada passo; dessa forma, o cache elimina somente a necessidade de reconstruir as consultas anteriores, sem alterar substancialmente o custo de processamento do prefixo.
• (E) O modelo calcula Q, K e V do novo token e reutiliza K e V anteriores, mas, por causa da causalidade, a atenção precisa considerar somente os tokens gerados depois do prompt; com isso, o crescimento de memória do cache não inclui o contexto inicial.
• (B) Para cada novo token, o modelo calcula Q, K e V, substitui no cache as chaves e valores anteriores e mantém apenas a entrada mais recente; assim, a memória permanece constante, embora o contexto lógico continue disponível pela representação do estado oculto.

Questão 14: Considere um Transformer decodificador com atenção causal local. Em cada camada, a representação na posição j pode atender à própria posição e às quatro posições imediatamente anteriores, formando uma janela de tamanho 5. As posições são numeradas a partir de 0, e o modelo possui três camadas desse tipo. Desconsiderando conexões residuais e mecanismos adicionais de atenção global, qual conclusão é compatível com a propagação de informação entre camadas?

• (E) A informação da posição 20 pode influenciar qualquer posição posterior da sequência após três camadas, porque a composição de três janelas locais produz dependências equivalentes às de uma matriz de atenção global.
• (A) A informação da posição 20 pode influenciar a representação final da posição 32, pois o alcance máximo aumenta em quatro posições por camada; entretanto, não pode alcançar a posição 33 após apenas três camadas.
• (B) A informação da posição 20 pode influenciar a representação final da posição 33, pois a posição de origem também conta como o primeiro elemento da janela, resultando em cinco posições adicionais alcançáveis por camada.
• (D) A informação da posição 20 pode influenciar no máximo a representação final da posição 31, pois a primeira camada apenas forma a representação local e somente as duas camadas seguintes ampliam o alcance para posições posteriores.
• (C) A informação da posição 20 pode influenciar a representação final da posição 35, pois uma janela de tamanho 5 permite alcançar cinco novas posições a cada camada, totalizando quinze posições após três camadas.

Questão 15: Considere duas variantes de uma camada Transformer com dimensão do modelo igual a 768. Na primeira, há 12 cabeças de atenção, cada uma operando em subespaços de dimensão 64, com projeções Q, K e V específicas por cabeça; na segunda, há uma única cabeça operando diretamente na dimensão 768. Em ambas, os resultados são concatenados ou mantidos na dimensão correspondente e passam por uma projeção de saída para dimensão 768. Para uma consulta, o texto contém simultaneamente uma relação de correferência, uma dependência sintática local e uma associação semântica distante. Qual propriedade estrutural da primeira variante explica melhor sua capacidade de modelar essas relações em paralelo?

• (C) As cabeças preservam a dimensão de 768 em cada subespaço e, após a concatenação, ampliam temporariamente a representação para 9.216 dimensões antes da projeção de saída.
• (D) Como a soma das dimensões das cabeças também é 768, a atenção multi-cabeças produz essencialmente a mesma distribuição que uma cabeça única, mas com maior redundância paramétrica.
• (E) Cada cabeça recebe uma partição diferente da sequência e calcula atenção apenas dentro desse segmento, permitindo que relações locais e distantes sejam tratadas em blocos separados.
• (A) As cabeças calculam a atenção sobre a mesma sequência, mas compartilham uma única distribuição de pesos e especializam principalmente as transformações aplicadas aos valores.
• (B) As cabeças calculam distribuições de atenção independentes a partir de projeções distintas de Q, K e V, permitindo combinar padrões relacionais diferentes sem reduzi-los inicialmente a uma única distribuição.