En Bumble Inc., la empresa matriz de Bumble, Badoo y Fruitz, la seguridad de los usuarios ha sido durante mucho tiempo una parte central de la misión y un valor fundamental que da forma a las innovaciones de productos de la empresa y su hoja de ruta. La compañía ha aprovechado los últimos avances en tecnología e Inteligencia Artificial (IA) para ayudar a proporcionar a su comunidad de usuarios las herramientas y recursos que necesitan para tener una experiencia segura en todas las plataformas. En 2019 se lanzó Private Detector™ en Bumble y en la aplicación Badoo, una función impulsada por la IA, que detecta y difumina las imágenes lascivas y envía una advertencia a los usuarios sobre la foto antes de que la abran.
Como uno de los muchos actores del mundo de las aplicaciones de citas y de las redes sociales en general, también reconoce que es necesario abordar este problema más allá del ecosistema de Bumble y participar en una conversación más amplia sobre cómo abordar el problema de las fotos lascivas no solicitadas -también conocido como cyberflashing- para hacer de Internet un lugar más seguro y amable para todos.
En un esfuerzo por ayudar a abordar este problema más amplio del ciberengaño, Bumble se asoció con legisladores de todo el espectro en 2019 en Texas para aprobar un proyecto de ley que efectivamente hizo que el envío de fotos lascivas no solicitadas fuera un delito punible. Desde la aprobación de la ley HB 2789 en Texas en 2019, Bumble ha seguido abogando con éxito por la introducción de leyes similares en el resto de Estados Unidos y en el mundo.
En 2022, Bumble alcanzó otro hito en la política pública al ayudar a aprobar la ley SB 493 en Virginia y, más recientemente, la ley SB 53 en California, añadiendo otra capa de seguridad en línea en uno de los estados más poblados de Estados Unidos.
Estas nuevas leyes son el primer paso para crear responsabilidad y consecuencias para esta forma cotidiana de acoso, que hace que las víctimas -principalmente mujeres- se sienten angustiadas, violadas y vulnerables en línea.
A medida que Bumble continúa ayudando a frenar el cyberflashing a través de esfuerzos legislativos y proporcionando herramientas de seguridad como Private Detector™ para ayudar a mantener a la comunidad a salvo de desnudos no solicitados dentro de sus aplicaciones, espera crear un efecto dominó de cambio a través de Internet y las redes sociales en general. Por eso, lanza una versión de Private Detector™ a la comunidad tecnológica en general con la esperanza de democratizar el acceso a su tecnología y ayudar a científicos e ingenieros de todo el mundo con los mismos retos para mejorar su enfoque de la seguridad en línea.
Desde los primeros días de Badoo, la compañía siempre ha sido pionera en aprovechar la tecnología y los procedimientos avanzados para mejorar tanto la experiencia de búsqueda de pareja como la capacidad de integridad y seguridad. Tras bastidores, se diseñan e implementan soluciones de aprendizaje automático para la detección de imágenes lascivas hace casi una década. Bien situados, en una posición dominante en el sector de las citas, se ha trabajado para aprovechar tanto los conocimientos de primera clase en el espacio tecnológico como los conocimientos recogidos por las aplicaciones.
El aprendizaje automático (ML) es un campo dedicado a entender y construir métodos que aprenden (o mejor, imitan) cómo alcanzar un rendimiento de nivel humano en tareas específicas, aprovechando los datos para mejorar su precisión. El ciclo de desarrollo requiere que se diseñe y desarrolle cuidadosamente la arquitectura de una red neuronal y que se le proporcione de forma iterativa un conjunto curado de muestras (conjunto de datos) del problema, en nuestro caso, detectar si una imagen tiene contenido lascivo o no.
\nAunque el número de usuarios que envían imágenes lascivas en las aplicaciones es, afortunadamente, muy reducido - sólo el 0,1% - la escala permite recopilar un conjunto de datos de los mejores del sector, con imágenes tanto lascivas como no lascivas, adaptadas para conseguir los mejores resultados posibles en la tarea. Private Detector™ se entrena utilizando conjuntos de datos de gran volumen, con las muestras negativas (las que no tienen contenido lascivo) seleccionadas cuidadosamente para reflejar mejor los casos de borde y otras partes del cuerpo humano (por ejemplo, piernas, brazos) para no marcarlas como abusivas. En todos los esfuerzos de aprendizaje automático a lo largo de los años han añadido iterativamente muestras al conjunto de datos de entrenamiento para reflejar el comportamiento real de los usuarios o probar los errores de clasificación. Esto ha demostrado ser un ejercicio exitoso. Incluso si la tarea descendente se enmarca en un problema de clasificación binaria (¡como en el caso de Bumble!), nada impide a los científicos de datos definir potencialmente conceptos (o etiquetas) adicionales, y luego fusionarlos de nuevo justo antes de las épocas de entrenamiento reales.
Explorando las compensaciones entre el rendimiento de vanguardia y la capacidad de servir a su base de usuarios a escala, Bumble implementó (en su última iteración) un clasificador binario basado en EfficientNetv2: una red convolucional que tiene una velocidad de entrenamiento más rápida y una mayor eficiencia de los parámetros en general. Utiliza una combinación de arquitectura mejor diseñada y escalada, con capas como MBConv (que utiliza convoluciones 1x1 para ampliar el espacio y convoluciones en profundidad para reducir el número de parámetros generales); y FusedMBConv (que fusiona algunos pasos de la MBConv vainilla anterior para una ejecución más rápida).
Juntos hacen el trabajo. El modelo se ha entrenado aprovechando los centros de datos con GPU en un ejercicio de optimización continua centrado en la optimización del conjunto de datos, la red y los hiperparámetros (los ajustes utilizados para acelerar o mejorar el rendimiento del entrenamiento).
Al analizar su rendimiento en diferentes condiciones (tanto fuera de línea como en línea), Bumble puede decir que ofrece un rendimiento de primera clase (>98% de precisión), tanto en entornos de muestreo ascendente como de producción, sin aparentes compensaciones entre la precisión y la recuperación.
Al tiempo, con este Libro Blanco, se publica en Github.com el código fuente que se utiliza para entrenar el motor de aprendizaje automático que impulsa el Private Detector™. También se publica un SavedModel listo para usar, para desplegar esta versión del modelo tal como es (usando TensorFlow Serving) y un punto de control para posiblemente afinarlo con imágenes adicionales para mejorar su rendimiento en muestras que son importantes para casos de uso específico. En ambos casos, el repositorio viene con una amplia documentación y una completa guía de usuario. Ayudan a que la experiencia sea lo más fluida posible para todos los científicos, ingenieros o gerente de producto de todo el mundo.
Esta versión del Private Detector™ se publica bajo la licencia Apache, lo que hace que esté disponible para que todo el mundo lo implemente como el medio estándar para difuminar imágenes lascivas, ya sea tal como está, o después de afinarla con muestras de entrenamiento adicionales. Son bienvenidas otras mejoras de la arquitectura o de la calidad y estructura general del código. Consulta bumble-tech para conocer todos los demás proyectos interesantes que se están llevando a cabo en Bumble.
", "header": { "large": "https://cdn.uc.assets.prezly.com/a5743c19-2467-434a-a199-3fca3f575377/-/crop/1200x606/0,194/-/preview/-/format/auto/", "release": "https://cdn.uc.assets.prezly.com/a5743c19-2467-434a-a199-3fca3f575377/-/crop/1200x606/0,194/-/preview/-/format/auto/" }, "images": [ { "caption": "", "original": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/", "medium": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/-/preview/500x500/-/format/auto/", "small": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/-/preview/200x200/-/format/auto/", "thumbnail": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/-/preview/100x100/-/format/auto/", "square": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/-/scale_crop/200x200/center/-/format/auto/", "squaresmall": "https://cdn.uc.assets.prezly.com/086fcb38-7b33-459d-ba9f-5f33c553335c/-/scale_crop/58x58/center/-/format/auto/" } ], "author": { "id": 13645, "username": "angie.rangel@another.co", "email": "angie.rangel@another.co", "name": "Angie Rangel", "display_name": "Angie Rangel", "first_name": "Angie", "last_name": "Rangel", "avatar_url": "https://avatars-cdn.prezly.com/user/13645/7eea753a823d1eb4f2945ae7e3d62605099b2e1b58454afb82a80e6a7c4e4545?v=3&c=2c39427ad0ebd25845db4ed3ba6f978fec1da16b0da989a9af12a0b25faf7fe3&max=2", "use_case_answer": "skip", "sign_in_flow": "password", "created_at": "2022-04-29T19:02:21+00:00", "is_terms_of_service_accepted": true, "last_seen_at": "2024-08-22T23:39:46+00:00", "locked_until": null }, "format_version": 3 }