0 votos

¿Cómo realizan los dispositivos iOS el aprendizaje automático en el dispositivo sobre las fotos mientras la mayoría de las fotos se suben a iCloud?

Cuando la foto de iCloud está activada, todas las fotos se suben a iCloud y sólo se guarda una copia de baja resolución en el teléfono para navegar, la foto de alta resolución se descarga bajo demanda si el usuario la pulsa.

La aplicación Fotos realizará un aprendizaje automático en el dispositivo cuando éste no esté en uso y se esté cargando (normalmente mientras duermes) para detectar caras en tu biblioteca de fotos y así tener "álbumes de personas". Este es sólo uno de los casos en los que la aplicación utiliza el aprendizaje automático.

Lo que me confunde es que las imágenes de baja resolución no son lo suficientemente buenas para realizar ML, especialmente para la detección de rostros. Entonces, ¿cómo puede analizar esas fotos de baja resolución y dar la predicción correcta?

Tengo dos conjeturas:

  • No importa la baja o la alta resolución, sólo analizar lo que hay en el dispositivo. (Realmente no creo que este sea el caso ya que la detección de rostros es demasiado precisa como para creer que fueron resultado de ML en fotos de 480p)

  • Carga bajo demanda, descarga la foto original de iCloud mientras se ejecuta el algoritmo ML, y elimina la foto original del dispositivo cuando termina. (¿No es esto un desperdicio de ancho de banda para los servidores de iCloud?)

Edición 1: Estoy interesado en cómo se manejará el caso cuando agregué manualmente alguna foto a una persona(esta acción hace que el modelo cambie, bueno, eventualmente cambia después de que aprende las nuevas fotos que no fueron detectadas previamente), todas las fotos deben ser analizadas de nuevo utilizando el nuevo modelo. En este momento, la mayoría de las imágenes de alta resolución (digamos 199GB/200GB) están sólo en iCloud, así que ¿el sistema las sacará una por una para realizar el ML usando el nuevo modelo de nuevo? ¿Y si "edito" el ML regularmente? (añadiendo una foto no detectada al álbum de la gente, pero no todas a la vez) Si es así, esto podría ser un gran drenaje para los servidores de iCloud... no olvides que algunas personas tienen más de 1TB de fotos en iCloud.

Editar 2:

No me malinterpretes, estoy puramente interesado en cómo funciona todo esto porque para mí está hecho muy bien. Y para ser claro, confío plenamente en Apple en la promesa "en el dispositivo", y esto es exactamente por lo que hice esta pregunta para obtener una comprensión de los detalles técnicos que hacen que tanto el respeto a la privacidad y dar resultados precisos.

2voto

Jose Chavez Puntos 645

Obviamente, el teléfono no puede hacer su trabajo sin los datos, por lo que realiza el ML en el dispositivo justo después de tomar la foto, antes de subirla a iCloud y eliminarla en el dispositivo, o si eso no fuera posible, descarga los datos de la foto de iCloud y realiza el ML en el dispositivo (sin almacenar necesariamente la foto en el dispositivo).

Que eso sea o no un "desperdicio de ancho de banda" es totalmente subjetivo. Si te importan los beneficios de la privacidad al realizar el ML en el dispositivo, no es un desperdicio; si no te importa, podría verse como un desperdicio.

ACTUALIZACIÓN: Con tu edición, has añadido una pregunta sobre lo que ocurre si añades nueva información a posteriori, por ejemplo, cambiar un nombre, añadir una foto a una persona específica detectada, etc. En realidad el teléfono no necesita descargar todas las fotos de nuevo para hacer todo el proceso de nuevo.

Cuando el teléfono tiene la imagen original, puede extraer características de la foto utilizando el aprendizaje automático. No se sabe exactamente qué características mira iPhoto, pero imagina que extrae números como la distancia entre los ojos, el color del ojo, etc. Otro tipo de aprendizaje automático puede entonces agrupar los números en clasificaciones de individuos, a los que puede dar nombre.

Estos números se almacenan en el teléfono y permiten actualizar cierta información y "recalcular" a las personas detectadas sin necesitar de nuevo los datos completos de la imagen.

0voto

Oskar Puntos 1242

Apostaría que las miniaturas que están presentes y los metadatos son suficientes para que los modelos funcionen en tu dispositivo. Sin embargo, esto parece más bien una pregunta indirecta. Si simplemente funciona, ¿cuál es el problema con la forma en que Apple lo implementa. Si lo que quieres preguntar es si Apple miente o se equivoca sobre cómo maneja la privacidad, habría que abordarlo claramente.

Creo que tu premisa no es del todo correcta sobre la necesidad de descargar nada. Los modelos funcionan con los datos del dispositivo. Puedes probarlo añadiendo fotos desde el almacenamiento de archivos mientras el dispositivo está desconectado en modo AirPlane y sin WiFi y dejando que las tareas nocturnas se ejecuten cuando esté conectado a la corriente.

AppleAyuda.com

AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X