Sorprendentemente en Windows no es nada fácil asociar protocolos a un programa dentro de Firefox. Mientras que en OSX y Linux el procedimiento es el mismo que para los archivos, asociar el programa la primera vez que se abre el enlace, en Windows devuelve un error.
Para asociar el protocolo rtp a VLC en Firefox es necesario añadir una preferencia. Primero hay que acceder a about:config y añadir una nueva opción sí/no con el nombre network.protocol_handler.expose.rtp con el valor no.
La próxima vez que se abra un enlace rtp:// aparecerá un dialogo preguntando con que programa se desea abrir tales enlaces. Simplemente indicar la ruta al programa que pueda abrir los enlaces, en este caso VLC.
NOTA: ¡Quien rompe, paga! Cuidado con about:config. Cuidado con que se modifica, puede que FIrefox se rompa.