He estado haciendo algunas pruebas y os voy a contar mis conclusiones el porque no me descarga a mi la agenda y a otros si.
Realizamos el emparejamiento normal con el coche, el procedimiento normal que el coche tiene. Nos pide el coche que si queremos descargar la agenda, le decimos que si y se finaliza todo. Ya tenemos el teclado numerico en pantalla y podemos ver los contactos desde el coche. En este punto todo esta claro, en ese momento o al dia siguiente cuando arrancamos el coche en el telefono movil, nos aparece una pantalla que nos dice que Mazda esta solicitando permiso para acceder a contactos y al historial de llamadas. ¿Desea permitirlo?.
Si le dices que permitir, cada vez que acceda el coche al movil, descarga los contactos, si le dices que cancelar o ignoras el mensaje,pues no lo hace. Si marcas la casilla (No preguntar de nuevo), recuerda lo que le dices para la proxima vez.
Te recomiendo que no toques nada en el movil solo lo justo para emparejar, el problema lo tiene realmente el telefono, que cada vez que conecta con el coche se sincroniza porque tu le dices que lo haga. Yo tengo un S5 con Android, con Iphone no se como lo hace, pero sera parecido, te sale un mensaje o estara en las opciones bluetooh del emparejamiento en el telefono.
Espero poder ayudarte un poco con esto. Un saludo
Lo intentaré de nuevo pero creo recordar que al menos a mí, el mensaje que aparece en el móvil, "....mazda está solicitando su permiso.....", solo aparece la primera vez que lo emparejo, las siguiente simplemente descarga cada vez.

En primer lugar, gracias a YoUnG y mohicano.
Comenzando por el final de la última aportación de YoUnG, en mi caso el segundo toque de aleatorio total, no me produce cambios aparentes, pero puede ser que yo tengo todas las canciones cargadas directamente en el USB sin separarlas por carpetas, por eso no le he dado importancia.
Volviendo al TEMA DEL TELÉFONO que en mi caso es más relevante, ciertamente creo estar seguro, que el tipo de móvil influye y las especificaciones que se tengan puestas para la función Bluetooth también. De hecho, esa pantalla que le sale a YoUng a mi no me sale y me pasa como a “mohicano” que me descarga cada vez.
El mensaje que dice YoUnG de "al dia siguiente cuando arrancamos el coche en el telefono movil, nos aparece una pantalla que nos dice que Mazda esta solicitando permiso para acceder a contactos y al historial de llamadas. ¿Desea permitirlo?" Yo no recuerdo que me haya pasado nunca y he emparejado y desemparejado varias veces. No obstante estaré atento para próximas ocasiones.
Pero para ser más gráfico en lo referente a mi caso, pongo unas fotos (la última es de lo que viene a continuación).
Continuo.-
Mi iPhone 4S en los ajustes de Bluetooth para el emparejamiento con el Mazda, me da como opciones:
Mostrar notificaciones.- Que lo tengo activo, pero no tiene ningún resultado como pudieran ser SMS u otros…
y
Sincronizar contactos.- También activo, ya que una duda que tenía era si se mantenía la agenda memorizada en el coche y he podido comprobar que sí, pero hasta que paras el motor o desconectas, ya que si vuelves a conectar o arrancar
y está DESACTIVA esta función, entonces no aparecen datos de los contactos.
Otra comprobación para este punto, es, que borré un contacto de la agenda del coche, desconecté, volví a conectar pero dando a CANCELAR cuando comienza la descarga (ver fotos en la aportación anterior) y mantenía el contacto como borrado.
Para mí, lo que falla en este caso es que SIEMPRE carga la agenda por OMISIÓN, tardando unos cuatro minutos y no siempre va a estar uno pendiente de CANCELAR cuando inicia la descarga para acortar tiempos. Siendo ésta última la única opción que me ofrece para descargarla o no. Supongo, como decís, que para otras marcas y/o modelos de móviles será diferente. Espero que con vuestras aportaciones vayamos aclarando situaciones.
Me falta por hacer algunas comprobaciones DESACTIVANDO las marcas en “Favoritos del teléfono” “Recientes del teléfono” y “Todos”, que están diferenciadas de las comentadas antes de Mostrar notificaciones y Sincronizar contactos (Foto adjunta - la última de pantallazo del iPhone).
Perdón por el rollo, pero a ver sin con vuestra ayuda se soluciona. Por cierto he probado a desconectar y conectar fusibles del audio transcurridos 5 minutos, como se dice por ahí y nada.