Simulador Interno de LLM | El Códice de la IA

Prompt de usuario

Usuarioinput

Explica en 5 puntos cómo funciona la auto-atención y agrega un ejemplo simple.

Asistenteoutput (simulado)

Listo cuando ejecutes. Voy a simular: tokenización → embeddings → N capas → logits → muestreo → texto.

Ejecución y conexiones

idle

Pipeline tokenización → embeddings → atención → logits → muestreo

Run idle

Llama 3 70BGQA · RoPE

Decoder-only transformer con cache KV, atención causal y sampler autoregresivo.

01 input

Tokens

BPE ids + mask

02 residual

Embedding

d_model stream

03 attention

Q/K/V

heads + causal mask

04 transform

MLP / MoE

feature routing

05 sampler

Logits

temp + top-p

06 output

Guarded text

stream + checks

tuneParámetros

Arquitectura Llama 3 70B

Decoder-only + GQA: explora el flujo de tokens, residual stream, atención, MLP, KV cache, sampling y verificación de salida.

70B parámetros

Modelo

Modelos reducidos a tres perfiles: uno moderno denso, uno sparse MoE y uno pequeño para comparar escala.

Arquitectura

Decoder-only

causal LM

Contexto

1,024 tok

KV cache: 12 capas

Entrada de Texto

Configuración

Capas 6

Cabezas de atención 8

Velocidad 5x

Temperatura 0.70

Top-p 0.90

Métricas

Tokens0

0.0 tok/s

Capa0/6

–

Atención0%

entropía 0.00

Top‑1 Prob.0%

latencia 0 ms

Context budget 0%

0 / 1024 tokens

Guardrail score ok

policy checks pending

KV cache

0 MB

Serving cost

$0.0000

prefill + decode estimate

Latency timeline

0 ms

Mide tiempo por etapa (simulado) y mantiene proporciones realistas entre tokenización, atención y muestreo.

Top‑K probabilities

k=8

Simula logits → softmax → top‑k. Útil para ver “confianza” y alternativas durante el muestreo.

Attention heatmap

Mapa token×token por capa y cabeza. Útil para “ver” patrones (diagonal, saltos, focalización).

Atajos de Teclado

1-4 Ir a etapa

Space Ejecutar

R Reset

T Tour guiado