Yo creo que el problema no está en los programas que utilizas, ni en el modo en el que graba tu videocámara, sin duda el problema está en que el usb es un mal método para capturar las imágenes.
Deberías capturar las imágenes con Firewire, tambien se llama IEEE, o IE cubo, asegurate de que posees una tarjeta Firewire, sino deberás comprarla e instalarla, no te preocupes, no son muy caras y son facilísimas de instalar.
Conectas la videocámara mediante el cable con el que viene la tarjeta y verás como la calidad de las imágenes es totalmente diferente.