Luego de buscar y buscar y probar varias soluciones la que me funciono fue la siguiente:

Abre una consola e ingresa los siguientes comandos:

cd

rm -rf .Skype/

Luego de eso abre el Skype y luego en las configuraciones de sonido elige los siguientes dispositivos

Sound in: XXXXX(hw:XXXX, 0)

Sound out: pulse

Ringing: pulse

Seleccionar también la opción de que permita a Skype ajustar mis niveles de sonido. Las XXX cambian dependiendo la marca de la tarjeta de sonido y el modelo, pero en general se ve así.

Luego de configurar eso en Skype vamos a cambiar algunas cosas en el archivo de configuración de pulse-audio /etc/pulse/daemon.conf agregando las siguientes lineas al final:

high-priority = yes
nice-level = -11
realtime-scheduling = yes
realtime-priority = 5

resample-method = src-sinc-best-quality

Guardamos el archivo, y salimos de la sesion grafica, volvemos a entrar y Skype funciona perfectamente ahora.