Попробовал Adobe Flash Video Еncoder, результат особо не порадовал. Какие значения вы устанавливаете?
