WARNING: avserver is unmaintained, largely broken and in need of a complete rewrite. It probably won't work for you. Use at your own riskMediante isso resolvi compilar o ffmpeg manualmente pois o ffmpeg que acompanha o Raspbian funciona, mas informa que devo usar o avconv em seu lugar.
Para minha surpresa, após compilar o ffmpeg o mesmo chega a ser 2x ou mais rápido que o avconv rodando no mesmo hardware.
Antes de começar vou postar as 2 fontes que utilizei que dão o passo a passo de como compilar o ffmpeg no Raspberry. Fonte 1 e Fonte 2
Originalmente eu iria utilizar o passo a passo da fonte 2 mas alguns links estão quebrados então utilizei a fonte 1. MAS, a fonte 2 foi necessária pois eu preciso do suporte ao alsa (Advanced Linux Sound Architecture) e a fonte 1 não adiciona esse suporte.
Seguindo os meus passos você também terá o suporte ao filtro drawtext do ffmpeg pois em ambas as fontes acima esse filtro não é adicionado e no meu caso eu também preciso deles.
Se você olhar a fonte 1, perceberá que aqui é basicamente um copiar/colar dele com apenas alguns adicionais do suporte ao alsa e do filtro drawtext.
Mãos a obra.