OpenAI emplea contratistas para auditar conversaciones privadas de usuarios en Project Lily
- Fecha original
- Fecha en Limonatic
Cientos de personas revisan diariamente conversaciones privadas entre usuarios y ChatGPT mediante Project Lily, un programa interno secreto de OpenAI que nunca fue explicado con claridad a los clientes. Investigadores de 404 Media expusieron este sistema tras analizar documentos filtrados y prompts reales, revelando que la empresa emplea cientos de contratistas para acceder a datos sensibles como información médica, legal o financiera, aunque estos sean parcialmente anonimizadas.
La dinámica operativa del programa establece que los revisores deben leer el prompt original del usuario y redactar un resumen breve antes de evaluar cuatro respuestas generadas por ChatGPT. Según las guías internas, se deben marcar al menos tres fragmentos concretos de cada respuesta para identificar aciertos o problemas, como el uso excesivo de emojis desalineados con el contexto. Posteriormente, los evaluadores asignan una calificación del 1 al 7 a la calidad de la respuesta.
OpenAI afirma procesar las conversaciones mediante un filtro de privacidad antes de que lleguen a los contratistas para detectar y eliminar información personal; sin embargo, reconoce que este sistema puede fallar en algunos casos. Este implica que datos sensibles pueden colarse inadvertidamente en las conversaciones revisadas por personas ajenas a la empresa. A diferencia de competidores como Google o Anthropic, OpenAI nunca ha señalado explícitamente que hay humanos leyendo las interacciones con el chatbot.
La política de privacidad menciona que pueden usarse "datos personales" para mejorar los sistemas sin especificar que el proceso involucra revisión humana directa. Los usuarios pueden desactivar esta función en la configuración bajo "Controles de datos", aunque la opción viene activada por defecto y solo afecta a conversaciones futuras. La falta de transparencia genera riesgos éticos sobre el manejo de información privada, lo que podría derivar en demandas y pérdida de reputación para OpenAI tras la revelación pública.
Análisis editorial
Cientos de ojos humanos escudriñan diariamente las conversaciones más íntimas que sostienes con ChatGPT bajo el programa secreto Project Lily, revelando una brecha crítica entre la promesa de privacidad y la realidad operativa de OpenAI. A diferencia de lo que sugiere la interfaz, esta práctica permite a empleados y contratistas acceder a datos sensibles como información médica o financiera, ya que los filtros automáticos admiten explícitamente fallar en detectar dicha información personal antes de su revisión humana.
La investigación de 404 Media, basada en documentos filtrados, expuso un sistema donde revisores siguen una guía interna para calificar respuestas del 1 al 7 y marcar fragmentos específicos sobre el tono o el uso de emojis. Aunque OpenAI afirma aplicar un mecanismo de anonimización que elimina nombres, la compañía reconoce que este filtro puede fallar, permitiendo que detalles delicados lleguen a los ojos de cientos de personas que evalúan si una respuesta es inutilizable o apenas admite mejora sin que el usuario tenga conocimiento explícito del proceso.
Esta opacidad estratégica genera riesgos significativos de privacidad y confianza, exacerbados por la dependencia de controles técnicos insuficientes frente a datos contextuales indirectos. Mientras competidores como Google y Anthropic comunican sus prácticas de revisión humana, OpenAI mantiene una política ambigua que menciona el uso de "datos personales" sin especificar la intervención humana, exponiendo a los usuarios a una exposición no consentida de información sensible y a posibles consecuencias legales por falta de transparencia.
La consecuencia inmediata para cualquier usuario es la necesidad urgente de reevaluar su confianza en la plataforma y tomar acción inmediata: desactivar desde la configuración la opción "Mejora el modelo para todos", que viene activada por defecto, para evitar que futuras conversaciones sean leídas por terceros. Sin embargo, esta medida solo protege lo futuro; las prácticas actuales continúan operando en secreto, obligando a los usuarios a asumir que sus diálogos privados no son tan privados como creen hasta que decidan cambiar la configuración manualmente.
Contexto y análisis adicional
Digest
Resumen ejecutivo
- OpenAI opera un programa interno secreto llamado Project Lily mediante el cual cientos de empleados y contratistas revisan conversaciones privadas de usuarios sin su conocimiento explícito.
- Esta práctica compromete la privacidad al permitir el acceso a datos sensibles como información médica, legal o financiera, debido a fallos en los filtros de anonimización.
Evidencias
- El programa Project Lily utiliza una guía interna que instruye a los revisores para calificar respuestas del 1 al 7 y marcar fragmentos específicos sobre el uso de emojis o tono natural.
- Aunque OpenAI afirma aplicar un filtro de privacidad antes de la revisión, la compañía admite explícitamente que este mecanismo puede fallar en detectar información personal.
- OpenAI mantiene una opacidad estratégica al no revelar públicamente esta práctica de lectura humana, a diferencia de competidores como Google y Anthropic.
Acciones
- Reevaluar la eficacia actual de los filtros de privacidad para asegurar que no se filtren datos sensibles a contratistas externos.
- Actualizar las políticas públicas de privacidad para informar claramente a los usuarios sobre la existencia de revisión humana en Project Lily.
Conclusión final
Existe una brecha crítica entre las expectativas de privacidad del usuario y la realidad operativa de OpenAI, lo que exige reforzar los controles técnicos y aumentar la transparencia sobre el uso de datos.
Riesgos
Riesgos/alertas
- Exposición de datos sensibles (médicos, legales, financieros) debido a la insuficiencia de los filtros de anonimización y el fallo potencial en los mecanismos automáticos.
- Riesgo reputacional y legal derivado de la opacidad operativa al ocultar explícitamente a los usuarios que sus conversaciones son revisadas por humanos para entrenar el modelo.
Acciones recomendadas
- Implementar protocolos de anonimización robustos que eliminen no solo identificadores directos (nombres), sino también contextos indirectos que revelen información sensible.
- Establecer una comunicación transparente con los usuarios informando sobre la existencia del programa Project Lily y las prácticas de revisión humana.
Señales/evidencias
- Un programa secreto llamado Project Lily permite a cientos de empleados y contratistas revisar fragmentos privados de conversaciones para mejorar el modelo.
- Aunque las conversaciones se anonimizan eliminando nombres, pueden contener detalles médicos, legales o financieros sensibles.
- OpenAI reconoce que sus filtros de privacidad pueden fallar en algunos casos, permitiendo que datos personales lleguen a los revisores humanos.
- La empresa nunca ha comunicado explícitamente a los usuarios la existencia de este programa de revisión humana, diferenciándose de competidores como Google y Anthropic.
Conclusión
OpenAI enfrenta riesgos significativos de privacidad y confianza debido al acceso no consentido y opaco de sus empleados a datos sensibles de usuarios bajo el programa Project Lily, exacerbado por la dependencia de filtros automáticos fallibles para proteger dicha información.
Autor · clanes
Votos · compartir
Las historias descartadas o eliminadas no admiten votos ni reportes.
Sentimiento
Tags
Entidades (agregadas)
Hover para ver referencias.Detalles avanzados Timeline y mini scoring
Evolución temporal
-
Enviada
hace 1 semana · Historia enviada para revisión
-
Último estado
hace 4 días · Última actualización registrada
Mini scoring (LScore)
Fuentes
- Fuente principal
-
hipertextual.com
https://hipertextual.com
Comentarios