Un método de detección y configuración para la integridad de la soldadura en la carrocería del automóvil.

Scientific Reports volumen 12, número de artículo: 7929 (2022) Citar este artículo

1542 Accesos

8 citas

3 altmétrico

Detalles de métricas

Para abordar los problemas de soldadura deficiente y configuración ineficiente para paneles de carrocería en blanco de automóviles defectuosos, proponemos un método para detectar y configurar la integridad de la soldadura de paneles de carrocería en blanco de automóviles basado en gemelo digital (DT) y realidad mixta. (SEÑOR). El método utiliza DT para construir un marco DT orientado a MR para las detecciones y configuración de la integridad de la soldadura del panel de carrocería en blanco. Proponemos un método para construir una base de conocimientos de DT para paneles, un método de detección de integridad de soldadura basado en Yolov4 y un método de configuración basado en MR para la integridad de soldadura en paneles. Nuestro equipo desarrolla un sistema de configuración y detección de integridad de la soldadura de paneles para validar completamente la efectividad del método.

Con el rápido desarrollo y aplicación de una nueva generación de tecnología de la información, la industria manufacturera global está acelerando hacia la digitalización, la creación de redes y la inteligencia. La fabricación inteligente está recibiendo cada vez más atención por parte de varios países1. La integridad de la soldadura de los paneles de carrocería en blanco, como componente principal del vehículo, es la clave para la eficiencia de la producción de carrocerías en blanco. Para cumplir con los requisitos del proceso, es necesario soldar pernos, tuercas, pasadores de ubicación y otros tipos de piezas en las posiciones específicas de los orificios de algunos paneles antes de fusionarlos en piezas de carrocería. Sin embargo, debido a la gran variedad de paneles y al pequeño volumen de piezas soldadas, es fácil omitir piezas soldadas sólo mediante el criterio de los trabajadores y la soldadura manual, lo que resulta en la dificultad de garantizar la integridad de la soldadura de los paneles. En la actualidad, existen limitaciones en los medios de detección y configuración de la integridad de la soldadura de paneles de carrocería en blanco, principalmente en dos áreas:

Falta un método eficaz para detectar la integridad de la soldadura de paneles. En primer lugar, la detección manual todavía se utiliza ampliamente, pero existe una gran incertidumbre y requiere mucha mano de obra. Además, cuando se utiliza el sensor de proximidad tradicional para la detección, el sensor se daña fácilmente, lo que resulta en una baja eficiencia de detección y baja precisión.

Es necesario mejorar el método de configuración para la integridad de la soldadura del panel. En la actualidad, el proceso de guiado se basa principalmente en dibujos bidimensionales, mientras que los resultados en gráficos 2D no son intuitivos.

Como nuevo método de aplicación de fabricación inteligente, Digital Twin (DT) consiste en crear digitalmente el modelo virtual de una entidad física, mediante mapeo bidireccional e interacción en tiempo real entre entidades físicas y modelos virtuales, y lograr un diseño óptimo de la industria. productos, simulación de planificación de líneas de producción, optimización de procesos de fabricación y control de operaciones de servicios2. El concepto de DT fue propuesto por primera vez por el profesor Grieves de la Universidad de Michigan en 2003 en una clase de PLM (Gestión del ciclo de vida del producto)3. DT se ha utilizado en más de 40 industrias aeroespaciales, médicas, de ciudades inteligentes, de edificios inteligentes y de fabricación de automóviles4,5,6,7. La Realidad Mixta (MR) puede lograr la interacción de datos de integración virtual-real y ayudar en la optimización de decisiones a través de la recopilación de datos en tiempo real, la construcción de escenas y el registro virtual-real8. Los métodos de detección de fusión basados en DT y MR pueden proporcionar soporte digital e inteligente para la detección y configuración de la integridad de la soldadura de paneles de carrocería en blanco, mejorando efectivamente la eficiencia de la soldadura de los paneles de carrocería en blanco.

Este artículo propone un método basado en DT para detectar y configurar la integridad de la soldadura de paneles de carrocería en blanco. Con base en este camino, nuestro equipo desarrolla un sistema que logra la fusión de información física y la interacción visual en la detección y configuración de la integridad de la soldadura de paneles, lo que mejora la eficiencia de la soldadura de carrocería. La estructura general del documento es la siguiente: Secc. 1 resume la investigación realizada por académicos sobre líneas de producción inteligentes de taller con gemelos digitales y detección de calidad de piezas de trabajo basada en resonancia magnética. La Sección 2 proporciona un marco para detectar y configurar la integridad de la soldadura de paneles de carrocería en blanco basado en DT. En la Sección 3, se propone un método de construcción de base de conocimientos para el DT de paneles de carrocería en blanco y un método de detección de integridad de soldadura de paneles. La sección 4 valida el enfoque propuesto a través de casos típicos y proporciona un análisis comparativo. La sección 5 resume el estudio y proporciona direcciones para futuras investigaciones.

El gemelo digital para una línea de producción inteligente en el taller es uno de los puntos de investigación actuales de la tecnología de gemelo digital. Tao et al.9 propusieron el concepto de un taller de gemelos digitales en 2017. Sobre la base de esto, Leng et al.10 discutieron la teoría básica y la tecnología clave de los sistemas de física de la información del taller impulsados por el gemelo digital. Luego, muchos académicos comenzaron a explorar aplicaciones de gemelos digitales en el taller, centrándose principalmente en el modelado y la simulación de líneas de producción en el taller11,12, la optimización de la programación13,14, el monitoreo visual en tiempo real15,16 y el control de calidad de la producción17,18. El desarrollo teórico ha impulsado la rápida aplicación de la tecnología de gemelos digitales en la línea de producción inteligente del taller. En el taller de fabricación de automóviles, Liu et al.19 aplicaron la tecnología de gemelos digitales en el taller de remanufactura de automóviles para lograr el reciclaje de recursos. Leng et al.20 verificaron el método de depuración remota casi física basado en gemelos digitales a través de la línea de ensamblaje de teléfonos inteligentes para resolver el problema de compatibilidad de los equipos de la línea de producción. Li et al.21 propusieron un método de modelado de gemelos digitales para líneas de soldadura de carrocerías en blanco para acortar el tiempo de configuración y puesta en servicio de la línea de producción. Dou et al.22 utilizaron tecnología de gemelo digital en una línea de producción de muebles de panel con diseño personalizado para acortar el ciclo de diseño. Son et al.23 diseñaron un sistema CPS basado en gemelos digitales para predecir la capacidad de la línea corporal y determinar la viabilidad del plan de programación. En resumen, la tecnología de gemelo digital se ha aplicado en el diseño u operación de talleres y líneas de producción, lo que afecta significativamente a la eficiencia productiva y al nivel intelectual de los talleres o líneas de producción.

Los DT y MR basados en tecnología han progresado en mantenimiento auxiliar, educación y capacitación en seguridad, interacción y cooperación entre humanos y computadoras y construcción inteligente. Sin embargo, la investigación más relevante sigue siendo teórica y la implementación correcta aún enfrenta algunos desafíos24. Por ejemplo, Zhang et al.25 construyeron el sistema de guía de mantenimiento auxiliar de equipos de maquinaria minera DT basado en equipos MR. Aun así, la escasa precisión del registro virtual y realista dio lugar a una baja eficiencia de mantenimiento. Existen pocos tipos de literatura sobre inspección de calidad de piezas de trabajo basada en DT. Los medios de detección manual tradicionales no son suficientes para cumplir los requisitos de una detección de calidad eficiente y precisa de las piezas de trabajo. Al mismo tiempo, los métodos de detección de piezas de trabajo basados en MR tienen las características de visualización de información sólida y alta libertad de detección para satisfacer la demanda de detección de piezas de trabajo en tiempo real. Con esto en mente, MD Mura et al.26 desarrollaron un sistema para la detección por RM de paneles de carrocerías de automóviles, que puede ayudar de manera eficiente a los trabajadores a detectar espacios en los paneles y reducir los errores de nivelación. Liu et al.27 combinaron un sistema de mecanizado DT con MR, que puede detectar la calidad de las piezas mecanizadas en máquinas herramienta en tiempo real. La precisión de la detección de la calidad de la pieza de trabajo depende principalmente de la precisión de detección de los algoritmos de visión. En los últimos años, los algoritmos de detección de defectos basados en visión se han desarrollado rápidamente en la detección de piezas de trabajo de automóviles. Por ejemplo, Wang et al.28 aplicaron algoritmos de aprendizaje profundo en sistemas de RM para la detección de la calidad de ensamblajes de automóviles. Zhou et al.29 desarrollaron un sistema automático de detección por visión para detectar defectos en la superficie de las puertas de automóviles. Actualmente, las investigaciones relacionadas se han ampliado a la calidad de los cinturones de seguridad, la calidad del revestimiento de la carrocería y la detección de la calidad del ensamblaje de la carrocería30,31. En general, las técnicas de detección de la calidad de las piezas de trabajo basadas en RM se aplicaron inicialmente a la detección de piezas de automóviles, pero todavía faltan métodos eficientes para garantizar la integridad de la soldadura de paneles.

Se propone un marco para un sistema de configuración y detección de integridad de soldadura de panel de cuerpo en blanco basado en gemelos digitales para el problema de configuración y detección de integridad de soldadura. Como se muestra en la Fig. 1, el marco consta de una escena física, una escena gemela digital y un sistema de resonancia magnética. En primer lugar, utilizando la tecnología de gemelo digital, el sistema de RM obtiene la información de integridad de la soldadura del panel de la escena física y pasa los datos del gemelo del panel a la escena del gemelo digital. En segundo lugar, el esquema de configuración de integridad de soldadura del panel correspondiente se combina con la base de conocimientos del gemelo digital del panel de carrocería en blanco. Por último, se realiza el mapeo y la interacción de datos entre las escenas física y gemela.

Marco de detección y configuración para soldadura de integridad de carrocería en paneles blancos basado en gemelo digital.

A continuación se muestra el flujo de configuración y detección de integridad de la soldadura del panel de cuerpo en blanco basado en DT.

Adquisición de imágenes del panel. El dispositivo HoloLens2 se utiliza para capturar la imagen del panel del cuerpo en blanco o los datos de video en la escena física y transferir los datos al servidor a través del protocolo HTTP.

Detección de integridad de soldadura Yolov4. Primero, el algoritmo de detección Yolov4 entrenado se implementa en el servidor. En segundo lugar, la detección de integridad de la soldadura se realiza a partir de la información recopilada en tiempo real del panel. La información de detección incluye el tipo de defecto, la ubicación y la confiabilidad correspondiente. Finalmente, los resultados de la detección se convierten en información de imagen y texto y se transmiten al plan de configuración en la escena del gemelo digital, guiando la reparación de la configuración del panel.

Configuración de integridad de soldadura. Primero, en la escena gemela, se analizan la forma y los elementos materiales del panel físico en el campo de visión de RM. En segundo lugar, los métodos de fusión de registro virtual y real basados en Vuforia se utilizan para igualar el esquema de configuración de integridad de soldadura de la base de conocimientos del gemelo digital del panel de carrocería en blanco. El esquema de configuración incluye el modelo de panel gemelo, el resultado de la detección de Yolov4 y la información de sugerencia de reparación correspondiente. Finalmente, con la ayuda del sistema MR, el esquema de configuración se muestra en los objetos físicos de los paneles de carrocería en blanco conectados para guiar al operador a realizar tareas de configuración rápidas.

Este documento adopta el algoritmo de detección de objetivos yolov4 para realizar la detección automática de la integridad de la soldadura del panel, lo que acelera la velocidad de detección de los trabajadores. Al mismo tiempo, este documento utiliza el método de registro virtual y real para coincidir con el plan de configuración de la base de conocimientos de DT, fortaleciendo las capacidades de guía digital e inteligente del método y facilitando al operador reparar el panel defectuoso rápidamente.

La construcción de una base de conocimientos de DT para paneles de carrocería en blanco facilita que el sistema de detección analice los problemas de integridad de la soldadura de paneles desde una perspectiva más profesional. Además, puede proporcionar a los operadores soluciones de configuración profesionales, que pueden utilizarse para completar la configuración de paneles y piezas de manera eficiente. En comparación con las bases de conocimiento textuales compuestas de datos semánticos textuales, las bases de conocimiento gráficas son más ventajosas en términos de expresión de la estructura del conocimiento y razonamiento lógico32. Con base en esto, este artículo adopta la forma de una base de conocimientos gráfica para construir una base de conocimientos para problemas de configuración y detección de integridad de soldadura de paneles de cuerpo en blanco. Como se muestra en la Fig. 2, la base de conocimiento visual comprende principalmente entidades, relaciones entre entidades y atributos. El modelo de relación de la base de conocimientos de ER se establece en función de componentes de atributos como el tipo de panel, el tipo de defecto y la causa. Específicamente, el panel y el defecto se consideran la entidad, la detección como la entidad-relación y la conexión de dos entidades, como la relación de muchos a muchos M: N. Entre ellos, la entidad del panel contiene el ID del panel, el modelo virtual , imagen del panel e información del panel, etc. La entidad de defecto tiene el tipo de defecto, la causa de la formación, la imagen del defecto, la solución, etc. Además, la tabla de relaciones de datos de pata de gallo se establece basándose en el modelo de relación ER. En este artículo, tomamos el ejemplo de un componente de panel de instrumentos con carrocería en blanco y analizamos lo que contienen los atributos del panel y la entidad defectuosa. En primer lugar, se establece una base de datos relacional basada en la tabla de relaciones de datos de la pata de gallo para formar una base de conocimientos de gemelos digitales para piezas de paneles de carrocería en blanco. Luego, el paquete de recursos MRTK se importó al software Unity 3d y se escribieron scripts para llamar a la API de la base de conocimientos. Por último, la aplicación se implementa en HoloLens2 y utiliza esta base de conocimientos para guiar al operador en la configuración y reparación.

Construcción de cuerpo en la base de conocimientos del gemelo digital blanco.

El programa de orientación de la base de conocimientos se puede resumir: primero, las dos entidades, panel y defecto, proporcionan información en imágenes, modelos, archivos de escenas, etc. La combinación de información se formula en función del modelo de relación ER y se presenta en el dispositivo de resonancia magnética HoloLens2. . Luego, el operador puede obtener el número de identificación del panel, el modelo virtual, la imagen estándar del panel, el tipo de defecto, la causa y la solución relacionada con la entidad defectuosa del panel en el sistema. Finalmente, el operador puede obtener un servicio estandarizado e inteligente del sistema, lo que mejora la eficiencia de la configuración de la integridad de la soldadura del panel.

Este artículo utiliza el algoritmo de detección de objetivos Yolov4 para detectar la integridad de la soldadura de paneles de carrocería en blanco. En comparación con el algoritmo tradicional de coincidencia de impanel, el primero tiene una mayor capacidad de extracción y aprendizaje de características y ventajas de velocidad y precisión de detección más increíbles. Yolov4 es un algoritmo de detección de objetivos propuesto por Alexey Bochkovskiy et al.33, y en comparación con YOLOv3, el primero realiza optimizaciones. en términos de la red principal de extracción de funciones, pirámides de funciones y consejos de capacitación34. El flujo del algoritmo se muestra en la Fig. 3.

Estructura de red Yolov4.

El algoritmo establece el tamaño de la imagen en la entrada. Dado que el parámetro de muestreo reducido es 32, el tamaño de la imagen de entrada es múltiplo de 32.

La red troncal utiliza el método CSPDarknet53. El método utiliza la función de activación de Mish para agregar características de la imagen. Además, el método optimiza la información del gradiente para reducir la cantidad de parámetros del modelo y mejorar la velocidad de inferencia del modelo. Mientras tanto, el método de regularización Drop-Block extrae características de la imagen para mejorar la capacidad de generalización del modelo y evitar el sobreajuste. Además, la función de activación de Mish es fluida. No tiene límite positivo, lo que pasa la información de la imagen a la red de manera más completa y mejora la precisión del modelo y la capacidad de generalización. La fórmula de la función de activación de Mish es la siguiente:

La pirámide de características del cuello se utiliza para conectar la red troncal, que utiliza el módulo SPP y el método FPN + PAN para extraer y fusionar las características de la imagen y pasarlas a la capa de predicción de Head. En particular, el módulo SPP utiliza cuatro tamaños de agrupación de 1 × 1, 5 × 5, 9 × 9 y 13 × 13. La operación de agrupación aumenta el campo de percepción y separa las características contextuales más significativas. El método FPN extrae iterativamente las características semánticas y de ruta de la imagen de arriba hacia abajo y de abajo hacia arriba, respectivamente. El algoritmo de segmentación de instancias PAN agrega rutas de abajo hacia arriba, fusionando información de características de diferentes tamaños y mapas de características de salida de tres escalas.

La cabeza se predice por las características de la imagen del cuello. Primero, se utiliza un algoritmo de agrupamiento de K-medias para obtener el marco de prueba y asignarlo al mapa de características. Luego, los marcos de prueba, los niveles de confianza y las categorías se decodifican uno por uno. Finalmente, el algoritmo DIOU_NMS (supresión de valor no máximo) filtra los marcos de predicción que satisfacen el umbral de confianza y genera los resultados de la predicción. Donde, el resultado de la predicción = posición del marco de detección + confianza de detección + categoría de etiqueta. el método DIOU_NMS considera tanto el IoU (relación de intersección y fusión de cuadros de detección con cuadros reales) como la distancia central de dos cuadros de detección para acelerar la velocidad de convergencia de la función de pérdida35. La fórmula DIOU_NMS es la siguiente.

donde \(S_{i}\) denota el valor de confianza de la categoría, \(B_{i}\) es el conjunto de todos los cuadros de predicción en la clase, \(\mu\) es el que tiene la mayor confianza y \(B_{i}\) es el mayor nivel de confianza y \(\mu\) es el umbral de detección (establecido artificialmente)

donde \(R_{{I{\text{o}}U}}\) denota el término canónico de la función de pérdida DIoU. \(\rho\) es la distancia euclidiana, \(b\) y \(b^{gt}\) son las coordenadas centrales de los dos marcos predictores. \(c\) se refiere a la longitud diagonal de la matriz externa mínima de los dos marcos predictores.

Adquisición de imágen. El algoritmo Yolov4 de este artículo detecta escenas del panel adquiridas mientras el operador lleva HoloLens2 en la cabeza. Los elementos de calidad de la imagen o el vídeo, como la nitidez, el enfoque y el ruido, según el dispositivo HoloLens2. La muestra de imagen o video capturada por HoloLens 2 deberá reflejar información de características importantes, como la forma del panel, la ubicación de los orificios en la superficie, tuercas, pernos, pasadores de ubicación, etc. Entre ellos, el píxel de un solo disparo del dispositivo HoloLens2 es de 8 millones, y la calidad del video es 1080p 30fps.

Preprocesamiento de datos. Primero, se recopilan las muestras de vídeo y los fotogramas se segmentan en una sola imagen a intervalos de 5 fps. En segundo lugar, se filtran y eliminan las imágenes borrosas y las imágenes mutiladas en forma de panel. Por último, se vuelve a clasificar la integridad de soldadura de cada panel. Según el tamaño y la forma de los diferentes orificios del panel, las muestras se clasifican en 6 casos: tuercas, pernos, pasadores de ubicación a los que les faltan tuercas, pernos faltantes y pasadores de ubicación faltantes. El modelo de entrenamiento adopta el formato de conjunto de datos de VOC, incluidas imágenes originales y archivos de etiquetas. El número de imágenes originales es 1100. El conjunto de datos se crea y se divide en el conjunto de entrenamiento y el conjunto de prueba en una proporción de 9:1. Por lo tanto, finalmente se obtienen 990 imágenes del conjunto de entrenamiento y 110 imágenes del conjunto de prueba.

Etiquetado de datos. El software de etiquetado se utilizó para etiquetar manualmente las imágenes en los datos del conjunto de entrenamiento. Se marcaron las tuercas, pernos, pasadores de localización y los correspondientes casos faltantes para obtener el archivo de etiquetas. Las categorías de etiquetas diseñadas se muestran en la Tabla 1.

Entrenamiento modelo. Aquí está la información sobre el entorno experimental: Window10, procesador Intel(R) Core(TM) i7-8700 @3.20GHZ, RAM 16G, tarjeta gráfica NVIDIA GTX1060, Python3.7. Los parámetros del modelo se establecen de la siguiente manera. El tamaño de la imagen de entrada es 416 × 416. El lote se establece en 4 y el suavizado de la etiqueta se establece en 0,05. Se adopta el método de entrenamiento continuo de punto de interrupción. Se establece un punto de interrupción cada 350 veces, se establecen cuatro puntos de interrupción, se generan 350 archivos de peso después de 350 veces de entrenamiento y el mejor archivo de peso se selecciona manualmente como el peso inicial del siguiente punto de interrupción. El número total de tiempos de entrenamiento es 1400 veces. Durante la prueba, la confianza se establece en 0,4 y el pagaré en 0,4.

Métricas de evaluación. En este artículo, evaluamos principalmente la efectividad del entrenamiento del modelo en términos de precisión y eficiencia de la detección. La métrica de evaluación utilizada es la precisión promedio media (mAP), la precisión de detección promedio AP de todas las categorías y el número de cuadros de imagen por segundo FPS detectados por el algoritmo.

El operador está inmerso en el entorno de RM con un dispositivo HoloLens2 en la cabeza. El sistema de este documento utiliza un enfoque de fusión virtual-real basado en Vuforia, combinado con una solución de guía gemela digital correspondiente, combinada con la interacción hombre-máquina para lograr una guía eficiente para el operador.

La tecnología de fusión de registro virtual-real es la clave para lograr la interacción de fusión virtual y física. Se divide principalmente en fusión de registro de realidad virtual basada en visión artificial, sensores y fusión de registro de realidad virtual híbrida36. En este artículo, la escena se obtiene llamando a la cámara hololens2. Por lo tanto, se adopta la tecnología de fusión de registro de realidad virtual basada en visión artificial. La técnica de fusión de registro virtual-real basada en visión artificial se divide en dos tipos con y sin marcadores artificiales. Los métodos y características de anclaje se muestran en la Tabla 2. La técnica de fusión de registro virtual-real basada en marcadores artificiales requiere un marcador físico o un marcador virtual adjunto al objetivo de detección para anclar el modelo virtual. El modelo virtual se puede anclar escaneando códigos QR, códigos circulares u hologramas. Este método puede lograr una alta precisión y estabilidad de registro. Dado que el objeto de este artículo se aplica en un escenario de detección de múltiples especies y lotes, este método de adjuntar un código de logotipo a cada panel es menos eficiente y debe considerar situaciones como la fácil destrucción del logotipo. El método de anclaje de hologramas es una fusión de registro virtual-real al hacer coincidir un identificador virtual con un objeto físico. El método es esencialmente el mismo que el método del marcador manual, excepto que un marcador virtual reemplaza al marcador físico. Además, el método se puede adaptar a escenarios móviles y escenarios de registro de piezas pequeñas. En comparación, el método de coincidencia de características sin logotipo tiene mayor solidez. Sin embargo, también existen problemas como la fácil pérdida de objetivos de registro y errores.

En este artículo se adopta el método de fusión de registro virtual y real basado en Vuforia, considerando el entorno de detección complejo y cambiante y la variedad de paneles de detección. El método es un método de anclaje de coincidencia de características sin un método de marcado. Vuforia SDK es un conjunto de herramientas AR desarrollado por Qualcomm, y el núcleo de su algoritmo es hacer coincidir y rastrear el objetivo mediante un algoritmo de coincidencia de puntos característicos. El flujo del método de fusión de registro virtual-real basado en Vuforia se muestra en la Fig. 4. En primer lugar, la imagen del panel estándar que se va a detectar se carga en la base de datos en la nube de Vuforia y el archivo de datos se exporta al software Unity3d. En segundo lugar, el panel estándar se configura con el modelo guía correspondiente en la base de conocimientos del gemelo digital para las coordenadas espaciales de RM para determinar la posición de visualización. En tercer lugar, la aplicación del proyecto se implementa en HoloLens2 y las imágenes del panel en vivo se adquieren llamando a la cámara HoloLens2. Finalmente, la imagen se compara con el panel inspeccionado para extracción de puntos característicos, coincidencia de características y coincidencia de coordenadas MR. La escena de la base de conocimientos del gemelo digital del panel virtual se superpone con la imagen en vivo para combinar el registro virtual y real y guiar al operador en la configuración.

Proceso de fusión de registros reales virtuales basado en Vuforia.

La buena interfaz persona-computadora y la configuración de funciones pueden ayudar al operador a configurar la reparación de defectos en paneles soldados de carrocería en blanco. Cuando el operador usa un dispositivo HoloLens2 en la cabeza, ve el panel en busca de información clave a través de gestos, control de voz y otras operaciones interactivas. Las funciones principales son las siguientes.

Funciones básicas de interacción. Al importar el paquete de recursos Mixed Reality Toolkit (MRTK) en unity3d, diseñamos el panel de operación GUI con funciones básicas como operación por gestos, seguimiento de la línea de visión y control de voz para satisfacer las necesidades de operación de interacción básica de los operadores.

Adquisición de escenas en tiempo real. Diseñamos la interfaz de usuario para tomar fotografías, que permite al operador tomar una imagen o un video de una escena en vivo detectada invocando la cámara HoloLens2.

Se reporta información anormal. Cuando los operadores novatos usan equipos HoloLens2 para probar la integridad de las piezas de la placa, las piezas de la placa del lote tienen algunas condiciones anormales, como más defectos y son difíciles de reparar, y pueden recopilar videos de la escena en tiempo real con la ayuda de la cámara de Hololens2. Los datos de vídeo o imagen se transmitirán al servidor de control de calidad del taller. La computadora informará la situación anormal. De esta manera, el personal de control de calidad obtendrá las anomalías del lote mediante una conversación de voz y video en una PC o terminal móvil y luego llamará al personal correspondiente para eliminar los paneles anormales del lote en línea. Cabe señalar que la interfaz de interacción persona-computadora para informar información anormal incluye módulos como conexión de comunicación HTTP, llamada de voz y conexión de video.

Este artículo desarrolló un sistema de configuración y detección de integridad de soldadura de paneles para componentes de conexión de paneles de instrumentos de carrocería en blanco. La tecnología se verifica en 3 aspectos: detección y adquisición del entorno de detección, detección de integridad de soldadura Yolov4 y configuración de integridad de soldadura.

Percepción del entorno y adquisición de imágenes. Como se muestra en la Fig. 5. Primero, el operador usa gafas HoloLens2 e ingresa a la aplicación del sistema. Luego, el sistema detecta el entorno de detección inicializando la escena de inspección escaneada y creando un modelo 3D. Los paneles a detectar se escanean con gran detalle. Finalmente, el operador hace clic en la interfaz de usuario de adquisición de imágenes para capturar imágenes de la escena del panel en tiempo real.

Detección de integridad de soldadura de paneles. En primer lugar, los datos de imagen y vídeo capturados por el dispositivo HoloLens2 se transmiten al servidor de la PC en tiempo real utilizando el protocolo de comunicación inalámbrica HTTP. Luego, el módulo de procesamiento de imágenes Yolov4 inicia la detección y devuelve los resultados de la detección al dispositivo para lograr una detección rápida. Como se muestra en la Fig. 6, el número de serie (b) es la curva de características de pérdida durante el entrenamiento del modelo Yolov4. Vale la pena mencionar que el modelo converge completamente cuando el número de iteraciones se establece en 1400 y el valor de val_loss se mantiene estable en aproximadamente 2,5, lo que indica que el modelo se ajusta bien. Finalmente, se seleccionan las imágenes y videos del conjunto de prueba para probar el modelo. La precisión de detección de entrenamiento del modelo mAP alcanzó el 90,1%, el valor de FPS puede alcanzar 13,22 fotogramas/s. El modelo de entrenamiento tiene buena precisión de detección y alta eficiencia de detección. Además, puede completar la tarea de detección de integridad de la soldadura del panel. El número de serie (c) es el resultado de la detección del panel de conexión de componentes del panel envolvente frontal. Muestra que dos tuercas están intactas y faltan dos pernos en los cuatro orificios, y la velocidad de fotogramas de detección de operación del sistema en HoloLens2 es de 30 fotogramas/s.

Configuración de completitud de soldadura de paneles. Al configurar el panel defectuoso (como se muestra en la Fig. 7), el operador se enfrenta a la interfaz de operación GUI del sistema, ingresa al módulo correspondiente mediante gestos, seguimiento de la mirada y voz, y activa el botón de función correspondiente para realizar la operación esencial de interacción persona-computadora. . Cuando se encuentran problemas difíciles de configurar y manejar, se puede informar la situación anormal o solicitar asistencia de expertos para obtener orientación en línea. El dispositivo HoloLens2 escanea el panel, hace coincidir el modelo en la base de conocimientos del gemelo digital y muestra el modelo virtual en las coordenadas espaciales de RM preestablecidas para lograr una fusión de registro virtual-real. Se realiza una rápida comparación virtual-real para aclarar las piezas que faltan según las marcas de color de las piezas clave en el modelo virtual. Al mismo tiempo, el modelo virtual se puede escalar y rotar en consecuencia para mejorar la comprensión de la estructura del panel y mejorar la eficiencia de la configuración.

Experimento comparativo. La Tabla 3 compara el método tradicional de configuración y detección manual y el método de este documento. En comparación con el método convencional, este método puede realizar visualización por resonancia magnética, analizar las causas de los defectos del panel y recomendar esquemas de configuración relevantes.

Para evaluar la adaptabilidad de este método en la aplicación práctica, se seleccionan cinco tipos de paneles defectuosos para el experimento de configuración y detección de integridad de la soldadura, en el que el personal que participa en el experimento desconoce los defectos del panel. Las condiciones experimentales se dividen en experimentado, inexperto y trabajador + este sistema. Los trabajadores realizan las tareas de detección y reparación de paneles bajo la guía de las instrucciones técnicas. En este artículo, el sistema opera según la guía del equipo de RM y cuenta el tiempo promedio requerido y el número promedio de errores.

Por la presente se declara. Este experimento fue aprobado por el Laboratorio Clave de Fabricación Inteligente de Maquinaria y Equipos en la provincia de Henan. Los programas experimentales se llevaron a cabo de acuerdo con las directrices y regulaciones del Laboratorio Clave de Fabricación Inteligente de Maquinaria y Equipos en la provincia de Henan. Todos los participantes del experimento conocen este experimento y aceptan participar en él. Los resultados experimentales se muestran en la Tabla 4. Se puede ver que el sistema de detección y configuración basado en gemelo digital y MR puede realizar la detección automática y la configuración visual auxiliar en la visión de los trabajadores y mejorar la eficiencia y precisión de la detección de los trabajadores sin experiencia. Sin embargo, en el escenario descrito en este experimento, los trabajadores experimentados adoptan este sistema porque están completamente familiarizados con la tarea de detección de cada panel. No es significativo mejorar la eficiencia de detección e incluso interferir con las tareas de los trabajadores calificados. Sin embargo, el método de desarrollo descrito en este documento todavía tiene ventajas para mejorar la precisión de la configuración. El experimento también muestra que el efecto de la aplicación práctica de los equipos de RM está relacionado con la complejidad de los paneles que se van a probar y la competencia de los trabajadores, especialmente para los trabajadores con experiencia insuficiente en operaciones en el sitio; su detección automática y efecto auxiliar visual son obvios.

Percepción y adquisición del entorno.

Detección de integridad de soldadura basada en yolov4.

Configuración de completitud de soldadura de paneles.

La integridad de la soldadura del panel de carrocería en blanco es uno de los factores críticos que afectan la eficiencia de la soldadura del panel. Sin embargo, hay poca investigación en este campo en la literatura anterior. En la aplicación práctica, solo se basa en la detección y configuración manual de la integridad de la soldadura del panel. La precisión de la detección y la eficiencia de la configuración son bajas. A menudo se modifica debido a la omisión de tuercas, pernos y otros componentes, lo que provoca pérdidas. Este artículo presenta un método basado en gemelos digitales para detectar y configurar la integridad de la soldadura de paneles de carrocería en blanco de automóviles para resolver este problema. A partir de este método se ha desarrollado un sistema correspondiente. A través de la validación, hemos demostrado que el sistema detecta efectivamente la integridad de la soldadura de las conexiones del panel de instrumentos y guía al operador en la reparación de los paneles defectuosos. Además, experimentos comparativos han demostrado que este sistema mejora efectivamente la eficiencia y precisión de la detección por parte de trabajadores sin experiencia. En resumen, este artículo presenta una fusión profunda del espacio de inspección física de paneles de carrocería soldados con modelos gemelos y un mapeo bidireccional de datos de inspección a información de configuración. Este método puede ser una referencia positiva para la aplicación de la tecnología de gemelos digitales en el campo de la RM.

La detección y configuración de la integridad de la soldadura de paneles es un trabajo repetitivo que lleva mucho tiempo en el taller. La intervención de equipos de RM mejorará la precisión en la detección y configuración de los trabajadores. En la actualidad, este método todavía tiene deficiencias. Por ejemplo, el uso del protocolo HTTP puede provocar interferencias y una transmisión lenta del flujo de datos de vídeo. En el siguiente paso, se estudiará la tecnología de comunicación entre HoloLens2 y la PC para mejorar la fluidez de la aplicación del sistema.

Zhou, J. Fabricación inteligente: la dirección principal de “made in China 2025”. CMES 17, 2273–2284. https://doi.org/10.3969/j.issn.1004-132X.2015.17.001 (2015).

Artículo de Google Scholar

Li, H. y col. Marco de integración y tecnologías clave de diseño-fabricación de productos complejos basados en gemelo digital. CIMS 25, 1320-1336. https://doi.org/10.13196/j.cims.2019.06.002 (2019).

Artículo de Google Scholar

Grieves, MW Gestión del ciclo de vida del producto: el nuevo paradigma para las empresas. En t. J. Prod. Desarrollo. 2, 71–84 (2005).

Artículo de Google Scholar

García, SG, Reschke, J. & García, MG Diseño y simulación de un modelo de gestión de capacidad utilizando un enfoque de gemelo digital basado en el modelo de sistema viable: un estudio de caso de una planta automotriz. Aplica. Sci.-Basel 9, 5567. https://doi.org/10.3390/app9245567 (2019).

Artículo de Google Scholar

Koen, B., Filippo, S. y Jeroen, V. Gemelos digitales en la atención sanitaria: implicaciones éticas de un paradigma de ingeniería emergente. Frente. Gineta. 9, 31. https://doi.org/10.3389/fgene.2018.00031 (2018).

Artículo de Google Scholar

Opoku, D., Perera, S., Osei-Kyei, R. y Rashidi, M. Aplicación del gemelo digital en la industria de la construcción: una revisión de la literatura. J. Construir. Ing. 40, 102726. https://doi.org/10.1016/j.jobe.2021.102726 (2021).

Artículo de Google Scholar

Yang, W., Zheng, Y. & Li, S. Estado de la solicitud y perspectiva de gemelo digital para naves espaciales en órbita. Acceso IEEE 9, 106489–106500. https://doi.org/10.1109/ACCESS.2021.3100683 (2021).

Artículo de Google Scholar

Tao, F. y col. Diez preguntas hacia el gemelo digital: análisis y pensamiento. CIMS 26, 1-17. https://doi.org/10.13196/j.cims.2020.01.001 (2020).

Artículo de Google Scholar

Tao, F. y Zhang, M. Taller de gemelos digitales: un nuevo paradigma de taller hacia la fabricación inteligente. Acceso IEEE 5, 20418–20427. https://doi.org/10.1109/ACCESS.2017.2756069 (2017).

Artículo de Google Scholar

Leng, J. y col. Sistema ciberfísico de fabricación digital impulsado por gemelos para el control paralelo de un taller inteligente. J. Embajador. Intel. Tararear. Computadora. 10, 1155-1166. https://doi.org/10.1007/s12652-018-0881-5 (2019).

Artículo de Google Scholar

Wang, H., Li, H., Wen, X. y Luo, G. Modelado unificado para gemelos digitales de un diseño de sistema basado en conocimiento. Robot Cim-Int. Fabricante. 68, 102074. https://doi.org/10.1016/j.rcim.2020.102074 (2021).

Artículo de Google Scholar

Zhang, Z., Guan, Z., Gong, Y., Luo, D. y Yue, L. Optimización mejorada basada en simulación de fidelidad múltiple: aplicación en un taller de gemelos digitales. En t. J. Prod. Res. 60, 1016-1035. https://doi.org/10.1080/00207543.2020.1849846 (2020).

Artículo de Google Scholar

Yu, H., Han, S., Yang, D., Wang, Z. y Feng, W. Programación de trabajos basada en tecnología de gemelos digitales: una encuesta y una plataforma inteligente. Complejidad 1 a 12, 2021. https://doi.org/10.1155/2021/8823273 (2021).

Artículo de Google Scholar

Zhang, J., Ding, G., Zou, Y., Qin, S. & Fu, J. Revisión de la investigación sobre programación de talleres y sus nuevas perspectivas en la Industria 4.0. J. Intel. Fabricante. 30, 1809–1830. https://doi.org/10.1007/s10845-017-1350-2 (2019).

Artículo de Google Scholar

Liu, M., Fang, S., Dong, H. & Xu, C. Revisión del gemelo digital sobre conceptos, tecnologías y aplicaciones industriales. J. Manuf. Sistema. 58, 346–361. https://doi.org/10.1016/j.jmsy.2020.06.017 (2020).

Artículo de Google Scholar

Zhuang, C., Miao, T., Liu, J. & Xiong, H. La connotación del gemelo digital y el método de construcción y aplicación del gemelo digital en el taller. Robot Cim-Int. Fabricante. 68, 102075. https://doi.org/10.1016/j.rcim.2020.102075 (2021).

Artículo de Google Scholar

Pei, F., Tong, Y., Yuan, M., Ding, K. & Chen, X. El gemelo digital del seguimiento y control de calidad en la línea de producción de células solares en serie-ScienceDirect. J. Manuf. Sistema. 59, 127-137. https://doi.org/10.1016/j.jmsy.2021.02.001 (2021).

Artículo de Google Scholar

Zhuang, C., Liu, J. & Xiong, H. Marco de control y gestión de producción inteligente basado en gemelos digitales para el complejo taller de ensamblaje de productos. En t. J. Adv. Fabricante. Tecnología. 96, 1149-1163. https://doi.org/10.1007/s00170-018-1617-6 (2018).

Artículo de Google Scholar

Liu, D., Huang, H., Wang, B., Zhou, T. y Luo, S. Paradigma de operación para la remanufactura en el taller basado en un gemelo digital. CIMS 25, 1515-1527. https://doi.org/10.13196/j.cims.2019.06.019 (2019).

Artículo de Google Scholar

Leng, J. y col. Puesta en marcha semifísica remota basada en gemelos digitales de sistemas de fabricación inteligentes de tipo flujo. J. Productos limpios. 306, 127278. https://doi.org/10.1016/j.jclepro.2021.127278 (2021).

Artículo CAS PubMed PubMed Central Google Scholar

Li, H. y col. El método de modelado de los gemelos digitales comprobables para la línea de producción automática de soldadura de cuerpo blanco. Universidad J. Zhongyuan. Tecnología. 1, 1–7. https://doi.org/10.3969/j.issn.1671-6906.2021.01.001 (2021).

Artículo CAS Google Scholar

Yan, D. y col. Diseño personalizado rápido y digital impulsado por gemelos de una línea de producción de muebles tipo tablero. J. Computación. inf. Ciencia. Ing. 21, 1–34. https://doi.org/10.1115/1.4050617 (2021).

ADS del artículo Google Scholar

Son, YH, Park, KT, Lee, D., Jeon, SW y Sang, DN Sistema ciberfísico basado en gemelos digitales para líneas de producción de carrocerías de automóviles. En t. J. Adv. Fabricante. Tecnología. 115, 1–20. https://doi.org/10.1007/s00170-021-07183-3 (2021).

Artículo de Google Scholar

Zidek, K. y col. Capacitación CNN utilizando modelos virtuales 3D para montaje asistido con realidad mixta y robots colaborativos. Aplica. Sci.-Basilea 11, 16. https://doi.org/10.3390/app11094269 (2021).

Artículo CAS Google Scholar

Zhang, X. y col. Método de mantenimiento auxiliar de equipos electromecánicos integrando tecnología de gemelo digital y realidad mixta. CIMS 27, 2187–2195. https://doi.org/10.13196/j.cims.2021.08.002 (2021).

Artículo de Google Scholar

Mura, M. & Dini, G. Un enfoque de realidad aumentada para apoyar la alineación de paneles en el ensamblaje de carrocerías. J. Manuf. Sistema. 59, 251–260. https://doi.org/10.1016/j.jmsy.2021.03.004 (2021).

Artículo de Google Scholar

Liu, S. y col. Método de seguimiento orientado al proceso de mecanizado basado en gemelo digital mediante realidad aumentada. En t. J. Adv. Fabricante. Tecnología. 113, 3491–3508. https://doi.org/10.1007/s00170-021-06838-5 (2021).

Artículo de Google Scholar

Wang, S., Guo, R., Dong, Z., Wang, H. y Zhang, X. Método de mejora de datos para el aprendizaje profundo en la inspección de ensamblajes de realidad mixta. CIMS 27, 716–727. https://doi.org/10.13196/j.cims.2021.03.006 (2021).

Artículo de Google Scholar

Zhou, Q. y col. Un sistema automático de inspección de defectos de superficie para automóviles que utiliza métodos de visión artificial. Sens.-Basilea 19, 644. https://doi.org/10.3390/s19030644 (2019).

ADS del artículo Google Scholar

Ponsa, D., Benavente, R., Lumbreras, F., Martinez, J. & Roca, X. Control de calidad de cinturones de seguridad mediante inspección por visión artificial para producción en tiempo real. Optar. Ing. 42, 1114-1120. https://doi.org/10.1117/1.1556391 (2003).

ADS del artículo Google Scholar

Yin, S. y col. Revisión sobre la aplicación de la visión artificial en la fabricación de automóviles modernos. Acta Óptica Sínica 38, 0815001. https://doi.org/10.3788/AOS201838.0815001 (2018).

Artículo de Google Scholar

Ou, Y. et al. Construcción de base de conocimientos para el mantenimiento de centros comerciales de energía fotovoltaica distribuida. CIMS 26, 3205–3215. https://doi.org/10.13196/j.cims.2020.12.003 (2020).

Artículo de Google Scholar

Bochkovskiy, A., Wang, C. & Liao, HM Yolov4: Velocidad óptima y precisión de detección de objetos. https://arxiv.org/abs/2004.10934 (2020).

Mahto, P., Garg, P., Seth, P. y Panda, J. Refinamiento de Yolov4 para la detección de vehículos. IJARET 11, 409–419. https://doi.org/10.34218/IJARET.11.5.2020.043 (2020).

Artículo de Google Scholar

Cai, S., Sun, Z., Liu, H., Wu, H. & Zhuang, Z. Metodología de detección en tiempo real de obstáculos en huertos utilizando Yolov4 mejorado. Trans. Mentón. Soc. Agrícola. Ing. 37, 36–43. https://doi.org/10.11975/j.issn.1002-6819.2021.2.005 (2021).

Artículo de Google Scholar

Jiang, J., Huang, Z., Qian, W., Zhang, Y. & Liu, Y. Tecnología de registro de realidad aumentada en medicina oral: una revisión. Acceso IEEE 7, 53566–53584. https://doi.org/10.1109/ACCESS.2019.2912949 (2019).

Artículo de Google Scholar

Descargar referencias

Este trabajo de investigación cuenta con el apoyo de la Fundación Nacional de Ciencias Naturales de China (Grand no. 52175256 y 51905494).

Laboratorio clave de fabricación inteligente de equipos mecánicos, Universidad de Industria Ligera de Zhengzhou, Zhengzhou, 450002, China

Hao Li, Bing Li, Gen Liu, Xiaoyu Wen, Haoqi Wang, Xiaocong Wang y Wenchao Yang

Universidad de Greenwich, Park Row, Londres, SE10 9LS, Reino Unido

Shuai Zhang

Tianjin Miracle Intelligent Equipment Co. LTD, Tian Jin, 300131, China

Zhongshang Zhai

También puedes buscar este autor en PubMed Google Scholar.

HL, BL y GL diseñaron y realizaron el trabajo experimental. XW, HW, XW, ZZ y WY analizaron los datos, redactaron y revisaron críticamente el manuscrito, SZ jugó un papel importante en la revisión y mejora de la parte experimental. Todos los autores discutieron los resultados y comentaron el manuscrito.

Correspondencia a Xiaoyu Wen.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado al autor(es) original(es) y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Li, H., Li, B., Liu, G. et al. Un método de detección y configuración para la integridad de la soldadura en el panel de carrocería en blanco del automóvil basado en un gemelo digital. Informe científico 12, 7929 (2022). https://doi.org/10.1038/s41598-022-11440-0

Descargar cita

Recibido: 26 de enero de 2022

Aceptado: 21 de abril de 2022

Publicado: 13 de mayo de 2022

DOI: https://doi.org/10.1038/s41598-022-11440-0

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Informes Científicos (2022)

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.