Meta esta estudiando sistemas de Inteligencia Artificial, Segment Anything (SAM)

SAM, es un nuevo modelo de inteligencia artificial firmado por Meta que “tiene una idea general de lo que son los objetos y puede crear máscaras para cualquier objeto en cualquier imagen o video, incluso para objetos y tipos de imágenes que el sistema no ha encontrado durante el entrenamiento”, algo similar a la función de “varita mágica” disponible en Adobe Photoshop.

Con Segment Anything, Meta lanza un poderoso modelo de IA para la segmentación de imágenes, que se refiere a la capacidad de identificar los píxeles que pertenecen a un objeto específico que aparece dentro de una imagen. Puede servir como bloque de construcción central para futuras aplicaciones de IA. Esta tecnología podría ayudar a la empresa tras las pérdidas registradas del metaverso o impulsar sus nuevos visores.

SAM de Meta ha sido entrenado en casi 11 millones de imágenes de todo el mundo y mil millones de segmentaciones semiautomáticas. El objetivo era desarrollar un “modelo básico” para la segmentación de imágenes, y Meta dice que ha tenido éxito. Dichos modelos básicos se entrenan en grandes cantidades de datos. El éxito de grandes modelos de lenguaje pre-entrenados como GPT-3 provocó la tendencia hacia tales modelos.

Meta garantiza que SAM es capaz de recopilar nuevas máscaras de manera interactiva en menos de 14 segundos. Esto permite al sistema generalizar diferentes tipos de nuevos elementos más allá de los estudiados durante su entrenamiento.

Una vez entrenado, SAM puede segmentar objetos previamente desconocidos en cualquier imagen y puede controlarse mediante varias entradas: SAM puede escanear automáticamente toda la imagen, los usuarios pueden marcar áreas para segmentar o hacer clic en objetos específicos. SAM también debería poder manejar texto ya que Meta integra un modelo CLIP en su arquitectura además del Vision Transformer , que inicialmente procesa la imagen.

SAM es muy versátil

Meta ve muchas aplicaciones para SAM, como ser parte de sistemas de IA multimodal que pueden comprender contenido visual y de texto en páginas web o segmentar pequeñas estructuras orgánicas en microscopía.

En el dominio XR, SAM podría segmentar objetos automáticamente, ver a un humano usando un auricular XR, y los objetos seleccionados luego podrían convertirse en objetos 3D mediante modelos como MCC de Meta. En la práctica, SAM de Meta promete ser útil por naturaleza en tareas de edición de video e imagen, aunque desde Meta aseguran que este desarrollo puede mejorar las posibilidades de análisis para la ciencia y sumar al desarrollo de tecnologías como la realidad aumentada.

SAM también podría usarse para ayudar al estudio científico de sucesos naturales en la Tierra o incluso en el espacio, por ejemplo, mediante la localización de animales u objetos para estudiar y rastrear en video. Creemos que las posibilidades son amplias y estamos entusiasmados con los muchos casos de uso potenciales que ni siquiera hemos imaginado todavía.

Meta

El video nos enseña la vista a través de un visor VR con passthrough AR. Usando SAM, detecta de forma independiente objetos y personas enfocados. Las superposiciones muestran qué es exactamente (al menos si también se nombra el objeto detectado) y qué tan lejos estás de él.

Este tipo de tecnología similiar, ya es utilizado por la empresa en Facebook e Instagram para la realización de tareascomo clasificar imágenes, detectar contenido inapropiado o sugerir publicaciones a los usuarios en función de intereses específicos.

Suscríbete a nuestro nada aburrido canal de Telegram para no perderte nada.