San Jose AI and Society Meetup Group

Virtually over Zoom. Sign up!

About the Workshop

Ever tried to find something specific in your image or video datasets that weren’t already labeled? It’s always been a frustrating and time-consuming experience.

Until now.

When you combine the FiftyOne computer vision toolkit with Mosaic AI from Databricks, you unlock lightning-fast vector search for the millions of images and videos in your data lake – to find exactly what you are looking for, even if there’s no label for it.

In this technical session with machine learning engineer Dan Gural, he’ll show you how the Mosaic AI integration works inside FiftyOne, featuring real-world mobility and autonomous use cases where you search massive, state-of-the-art datasets in just seconds.

If you’re working with edge cases, building smarter datasets, or just curious about what Mosaic AI vector search can do for you, this one’s for you.

Virtually over Zoom. Sign up!

About the Workshop

Want greater visibility into the quality of your computer vision datasets and models? Then join us for this free 90-minute, hands-on workshop to learn how to leverage the open source FiftyOne computer vision toolset.
At the end of the workshop you’ll be able to:

• Object detection
• Embeddings
• Mistakenness
• Deduplication

This workshop will explore the importance of taking a data-centric approach to computer vision workflows. We will start with importing and exploring visual data, then move to querying and filtering. Next, we’ll look at ways to extend FiftyOne’s functionality and simplify tasks using plugins and native integrations. We’ll generate candidate ground truth labels, and then wrap things up by evaluating the results of fine tuning a foundational model.

Prerequisites: working knowledge of Python and basic computer vision concepts.

All attendees will get access to the tutorials, videos, and code examples used in the workshop

About the Instructor

Antonio Rueda-Toicen, an AI Engineer in Berlin, has extensive experience in deploying machine learning models and has taught over 300 professionals. He is currently a Research Scientist at the Hasso Plattner Institute. Since 2019, he has organized the Berlin Computer Vision Group and taught at Berlin’s Data Science Retreat. He specializes in computer vision, cloud technologies, and machine learning. Antonio is also a certified instructor of deep learning and diffusion models in NVIDIA’s Deep Learning Institute.

When and Where
Online. Register for the Zoom.

Multi-Modal Rare Events Detection for SAE L2+ to L4

A burst tire on the highway or a fallen motorbiker occur rarely and thus pose extra efforts to Autonomous vehicles. Methods to tackle such edge cases in road scenarios are explained.

About the Speaker

Wolfgang Schulz is Product Owner for Lidar Perception at Continental. He engages in the automotive industry since 2005. With his team he currently works on components for an SAE L4 stack.

Voxel51 + NVIDIA Omniverse: Exploring the Future of Synthetic Data

Join us for a lightning talk on one of the most exciting frontiers in Visual AI: synthetic data. We’ll showcase a sneak peek of the new integration between FiftyOne and NVIDIA Omniverse, featuring fully synthetic downtown scenes of Santa Jose. NVIDIA Omniverse is enabling the generation of ultra-precise synthetic sensor data, including LiDAR, RADAR, and camera feeds, while FiftyOne is making it easy to extract value from these rich datasets. Come see the future of sensor simulation and dataset curation in action, with pixel-perfect labels to match.

About the Speaker

Daniel Gural is a seasoned Machine Learning Engineer at Voxel51 with a strong passion for empowering Data Scientists and ML Engineers to unlock the full potential of their data.

O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models

We propose O-TPT, a method to improve the calibration of vision-language models (VLMs) during test-time prompt tuning. While prompt tuning improves accuracy, it often leads to overconfident predictions. O-TPT introduces orthogonality constraints on textual features, enhancing feature separation and significantly reducing calibration error across multiple datasets and model backbones.

About the Speaker

Ashshak Sharifdeen is a visiting Student Researcher at Mohamed bin Zayed University of Artificial Intelligence, UAE

Virtually over Zoom

IA Generativa con Agentes: Transformando el Desarrollo de Software

La charla explora cómo expandir las capacidades de los LLMs utilizando herramientas externas mediante agentes inteligentes. Veremos cómo esta combinación transforma el desarrollo de software al automatizar tareas y colaboración con la IA.

----------

Antonio Martinez es Ingeniero de Software en Inteligencia Artificial en Intel, con una maestría en Ciencias de la Computación por la Universidad Estatal de Texas. Tiene más de 10 años de experiencia en liderazgo técnico, inteligencia artificial, visión por computador y desarrollo de software.

Trabajadores Digitales: El Futuro del Trabajo Aumentado por Agentes

En esta charla te cuento cómo, junto a mi esposa, desarrollamos una plataforma de agentes basada en LangGraph y LangChain que ha escalado nuestra atención al cliente, aumentado la satisfacción y mejorado la conversión de ventas.

Te mostraré mi arquitectura agentica con el patrón React (Reasoning-Action) + Reflection (self-validation) y cómo este agente es capaz no solo de vender, sino de hacer todo el proceso de costear el delivery, validar pagos y más.

Compartiré ejemplos reales de empresas que ya usan microautomatizaciones low-code/no-code para centrar su esfuerzo en el core del negocio.

Reflexionaremos juntos sobre un mundo laboral hiperautomatizado donde cada uno de nosotros estará potenciado por múltiples agentes digitales.

-----------

Soy Jamilton Quintero, Head de Inteligencia Artificial en Apiux Tecnología, y me apasiona diseñar arquitecturas agenticas que transformen procesos reales. Soy un apasionado de la tecnología y fiel creyente de que la información tiene que fluir libremente, por lo que me encanta contribuir al OpenSource y en comunidades.

Usando Computer Vision Para Decisiones y Expresiones Artísticas en Entornos Creativos

Uso de un sistema de control gestual para la creación de animaciones / efectos visuales creativos. Exploración de cómo Machine Learning e Inteligencia Artificial pueden facilitar la creación de experiencias inmersivas para entornos de trabajo creativos. Creación de un sistema integral que comunica Python con Unreal Engine 5 para controlar entornos 3D.

----------

Tecnólogo Creativo especializado en el uso de tecnologías emergentes dentro de entornos creativos 2D/3D para diseños visuales.
Experiencia de trabajo en Realidad Virtual y Efectos Visuales para cine y TV.

Tus Datos te Están Mintiendo: Búsqueda Semántica Para Encontrar la Verdad

Los modelos de alto rendimiento comienzan con datos de alta calidad, pero encontrar muestras ruidosas, mal etiquetadas o casos límite dentro de conjuntos de datos masivos sigue siendo un gran obstáculo. En esta sesión, exploraremos un enfoque escalable para curar y refinar conjuntos de datos visuales a gran escala utilizando búsqueda semántica impulsada por embeddings basados en transformers.

Al aprovechar la búsqueda por similitud y el aprendizaje de representaciones multimodales, aprenderás a descubrir patrones ocultos, detectar inconsistencias y encontrar casos límite. También discutiremos cómo estas técnicas pueden integrarse en lagos de datos y canalizaciones a gran escala para facilitar la depuración de modelos, la optimización de conjuntos de datos y el desarrollo de modelos fundacionales más robustos en visión por computadora. Únete a nosotros para descubrir cómo la búsqueda semántica está transformando la manera en que construimos y refinamos sistemas de inteligencia artificial.

------------

Paula Ramos tiene un doctorado en Visión por Computador y Aprendizaje Automático, con más de 20 años de experiencia en el campo tecnológico. Desde principios de los años 2000 en Colombia, ha estado desarrollando tecnologías integradas de ingeniería innovadoras, principalmente en Visión por Computador, robótica y Aprendizaje Automático aplicados a la agricultura.

Durante su investigación doctoral y postdoctoral, desplegó múltiples tecnologías de computación en el borde e IoT inteligentes y de bajo costo, diseñadas para agricultores y que pueden ser operadas sin experiencia en sistemas de visión por computador. El objetivo central de la investigación de Paula ha sido desarrollar sistemas y máquinas inteligentes capaces de comprender y recrear el mundo visual que nos rodea para resolver necesidades del mundo real, como las que se presentan en la industria agrícola.