La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.
Supóngase que
es una variable aleatoria sobre un espacio de probabilidad
sea un evento.
toma valores sobre un conjunto finito
1 ≤ i ≤ m }
, se define de manera natural la entropía condicional de
{\displaystyle H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)}
De la misma manera si
es otra variable aleatoria que toma valores
se define la entropía condicional
{\displaystyle H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})}
Puede interpretarse la anterior magnitud como la incertidumbre de
dado un valor particular de
, promediado por todos los valores posibles de