La Inteligencia Artificial (IA) y el Machine Learning (ML) son tecnologías en rápido crecimiento que nos permiten inventar cosas increíbles. Piensa en un automóvil de conducción autónoma o en la función de identificación facial de tu smartphone. ¿Has pensado alguna vez en cómo funciona realmente?
Para que una máquina pueda tomar la decisión de no chocar con el árbol que está enfrente, hay que entrenarla para que comprenda información específica. Para desarrollar este tipo de máquinas y aplicaciones automatizadas, se necesita una enorme cantidad de datos para el entrenamiento. Las empresas pueden comprar datos para el entrenamiento o contratar a un equipo experto conocidos como anotadores de datos que sean capaces de trabajar con datos sin procesar.
En general, la anotación de datos es un proceso complejo y costoso que debe ser llevado a cabo por expertos para lograr un resultado satisfactorio.
Muchas empresas que se dedican a la IA tienen problemas con la anotación de datos y no saben por dónde empezar. Por ello, en este blog explicaremos qué es la anotación de datos, qué tipos de métodos de anotación de datos existen y, a continuación, analizaremos por qué la anotación de datos es tan necesaria hoy en día.
Comencemos.
¿Qué es la anotación de datos?
En pocas palabras: la anotación de datos es el proceso de clasificación de los datos disponibles en un vídeo, una imagen o un texto. Los datos se clasifican para que los modelos puedan comprender fácilmente una fuente de datos determinada y reconocer ciertos formatos, objetos, información o patrones en el futuro.
Para que el modelo comprenda y le dé sentido a las imágenes, vídeos y otros formatos presentados, utiliza computer vision. El computer vision es un subcampo de la Inteligencia Artificial (IA) que le permite al software y a los ordenadores observar y dar sentido a la información visual digital. Pero, ¿cómo se relaciona esto con la anotación de datos?
Para enseñarle al computer vision a reconocer objetos, patrones u otra información, los datos deben estar anotados con precisión o, en términos más técnicos, deben estar equipados con un modelo de Machine Learning establecido. Esto se consigue utilizando métodos y herramientas adecuadas.
En general, independientemente de si la anotación de datos se realiza de forma manual o automática, el proceso consta de dos pasos:
- Clasificación de datos
- Controles de calidad y auditorías
El primer paso de la anotación de datos es clasificar los datos de imágenes, vídeos o texto. En este contexto, clasificar los datos significa añadir una o más etiquetas informáticas a los datos sin procesar (imágenes, texto, vídeo, etc.), para proporcionar un contexto, de modo que un modelo de machine learning pueda aprender. Como en la imagen de abajo, los semáforos, los peatones, los vehículos y los edificios se clasifican para entrenar al modelo.
El segundo paso comienza una vez que los datos se han clasificado. Aquí se verifica la autenticidad y la precisión de los datos registrados. Este paso es muy importante. De lo contrario, el modelo establecido se entrena con datos incorrectos, lo que puede llevar a procesos de re-entrenamiento costosos.
Ahora que tenemos una idea general sobre la anotación de datos, queremos examinar más de cerca los diferentes tipos de anotación.
Tipos de anotación de datos
Según lo mencionado anteriormente, el proceso de anotación de datos puede aplicarse a varios tipos de formatos. Esto significa que se utilizan diferentes métodos de anotación de datos. Para facilitar la lectura del blog, nos centraremos en tres de los métodos de anotación de datos. Hay que tener en cuenta que esta lista no es exhaustiva:
- Anotación de imágenes
- Anotación de vídeo
- Anotación de texto
Anotación de imágenes
Para una gran variedad de aplicaciones, como computer vision, robotic vision, el reconocimiento facial y las soluciones que se basan en la IA, la anotación de imágenes hace posible la interpretación de dichas imágenes. Sin embargo, antes de que esto sea aplicable, el modelo de IA debe ser entrenado con miles de imágenes clasificadas.
El entrenamiento puede realizarse asignando metadatos, como identificadores, títulos y palabras clave, a cientos de imágenes. Con un entrenamiento eficaz, la precisión del modelo de IA aumenta y te permite utilizarlo para diversos fines (por ejemplo, vehículos de conducción autónoma, condiciones médicas de identificación automática).
La anotación de imágenes en sí tiene nuevamente diferentes tipos de métodos de anotación, como:
- Cuadros de contorno → Se dibuja un rectángulo alrededor del objeto que quieres anotar en una imagen. Los bordes del cuadro de contorno deben tocar los píxeles del extremo de la imagen clasificada para garantizar la mayor precisión posible.
- Cuboides 3D → Este método es muy similar a la anotación de cuadros de contorno. La única diferencia es que el usuario tiene que tener en cuenta el factor de profundidad. Puede utilizarse para anotar planos o automóviles en una imagen.
- Polígonos → Al utilizar los cuadros de contorno o los cuboides 3D, es posible que se incluyan involuntariamente varios objetos en el área anotada. Con la herramienta de polígono, se puede dibujar una línea alrededor del elemento específico de la imagen que debe anotarse.
- Herramienta de puntos clave → Un objeto puede ser anotado por una serie de puntos. Esto se suele utilizar para la detección de gestos o el seguimiento del movimiento.
Teniendo esto en cuenta, veamos ahora la anotación en vídeo.
Anotación de vídeo
La anotación de vídeo se realiza cuadro a cuadro para que los objetos anotados sean reconocibles para los modelos de machine learning. En general, utiliza las mismas técnicas que la anotación de imágenes (por ejemplo, cuadros de contorno) para detectar o identificar los objetos deseados.
Este método de anotación es una técnica esencial para las tareas de computer vision, como la de localización y seguimiento de objetos, en las que un algoritmo puede seguir el movimiento de un objeto. Por lo tanto, la anotación de vídeo es útil para varias industrias, como el sector médico, la industria de fabricación y la gestión del tráfico.
Como último tipo de anotación de datos, queremos hablar de la anotación de texto. El texto es la categoría de datos más utilizada, ya que la mayoría de las empresas dependen mucho del texto en diversos procesos empresariales.
Anotación de texto
La anotación de texto se refiere a la incorporación de metadatos o clasificaciones a los fragmentos de un texto. Veamos con más detalle lo que significa.
Incorporación de metadatos
Añadir metadatos significa proporcionar información relevante que el algoritmo de aprendizaje puede utilizar. De este modo, puede priorizar y centrarse en determinadas palabras.
Ejemplo: “Aquí está la factura (tipo_de_documento) del nuevo ordenador (pedido) que pediste ayer (hora).”
Los metadatos añadidos en los paréntesis le proporcionan la información relevante al algoritmo de aprendizaje, asegurándose de que en el futuro pueda detectar la información para la que ha sido entrenado.
Clasificación
Al añadir clasificaciones, se pueden asignar palabras a una oración que describan su tipo. Una oración puede, por ejemplo, describirse con sentimientos o aspectos técnicos.
Ejemplo: “El producto no satisface mis necesidades, quiero devolverlo”. Aquí podría asignarse la clasificación “descontento”.
Esto ayuda al algoritmo a entender el sentimiento y la intención de un texto y está muy relacionado con el reconocimiento de entidades nombradas. Veamos por qué.
Reconocimiento de entidades nombradas (NER)
El reconocimiento de entidades nombradas se utiliza para buscar palabras en base a su significado. Su objetivo es detectar entidades con nombre y expresiones predefinidas en una oración. En general, el NER es útil para extraer, clasificar y categorizar información.
Tomemos el ejemplo de una factura. Si se entrena al modelo para que conozca la palabra “Número de factura” más las características de un número de factura (por ejemplo, la cantidad de dígitos), puede clasificar el documento como una factura. Lo mismo funciona para diferentes palabras en diferentes documentos, lo que significa que puedes utilizar el método NER para clasificar varios documentos en base a sus respectivos datos.
Además, un algoritmo de IA puede ser entrenado específicamente para entender el sentimiento y la intención de una oración, ya que esto es muy importante para entender el comportamiento humano. Veamos qué significa esto.
Anotación de sentimiento
Como se ha mencionado anteriormente, la anotación de sentimiento se realiza asignando clasificaciones a textos que representan emociones humanas. Para ello, se utilizan categorías como triste, feliz, frustrado o enfadado. De este modo, se puede utilizar para el análisis de sentimiento en, por ejemplo, la industria de ventas para entender la satisfacción del cliente.
Anotación de intención
La anotación de intención significa básicamente que se asignan clasificaciones a las oraciones que expresan una determinada intención o necesidad. Esto puede ser muy útil, por ejemplo, para el servicio de atención al cliente.
Tomemos como ejemplo a un chatbot. Cuando un cliente envía la oración “Tengo problemas a la hora de pagar con mi tarjeta de crédito”, la persona puede ser dirigida inmediatamente al equipo financiero.
Esto es posible porque el algoritmo ha sido entrenado con cientos de frases que plantean una necesidad similar.
Palabras como “problema” expresan una emoción (sentimiento) del cliente. Además, palabras como “tarjeta de crédito” se clasificaron previamente como “método de pago” de forma similar, lo que permite que el algoritmo dirija al cliente al departamento financiero.
Antes de explicar por qué necesitas la anotación de datos, queremos explorar la diferencia entre la anotación de datos automatizada y la anotación de datos manual.
Anotación de datos automatizada vs. anotación de datos manual
La anotación manual de datos, como su nombre indica, implica a seres humanos y funciona de la siguiente manera:
- El anotador de datos recibe una serie de datos sin procesar (vídeos, imágenes, texto, etc.) para anotarlos.
- En función de las especificaciones y el resultado deseado, los anotadores saben qué método (cuadro de contorno, herramienta de puntos clave, etc.) deben utilizar para anotar los elementos pertinentes
- El experto en anotación de datos clasifica manualmente todos los elementos necesarios
- Después de esto, el juego de datos está listo para ser utilizado en el entrenamiento de un modelo.
Anotar una imagen puede llevar hasta 15 minutos dependiendo de la calidad del documento proporcionado, la herramienta de anotación y los requisitos. Imagina que tienes un proyecto con hasta 50.000 imágenes. Esto significa que un anotador experto pasa 12.500 horas anotando estas imágenes. Tiene que haber una forma mejor de hacerlo.
Anotación de datos automatizada
Para acelerar el proceso de anotación de datos, los modelos de clasificación de datos automatizada son cada vez más importantes. Con la clasificación automática de datos, los sistemas de IA se encargan del proceso de anotación de datos.
Esto funciona gracias a las reglas y condiciones predefinidas por los humanos. Un juego de datos se examina con estas reglas predefinidas para validar una clasificación específica. Aunque esto es más eficiente, sigue habiendo un problema. Una vez que las estructuras de datos cambian con frecuencia, establecer condiciones y reglas se vuelve difícil, lo que hace que sea casi imposible que un modelo tome una decisión informada.
Por esta razón, un esfuerzo combinado de inteligencia humana e inteligencia artificial probablemente te dará el mejor resultado posible. Con la ayuda de un human-in-the-loop (humano de por medio), los resultados del modelo de IA se validan, verifican y optimizan constantemente, mientras que el modelo se encarga de clasificar los datos.
Para dar una descripción general de la diferencia entre la anotación de datos automatizada y la manual, ofrecemos la siguiente tabla.
Pero, ¿por qué debería importarte todo esto? Bueno, hay un par de razones por las que se necesita la anotación de datos. Echemos un vistazo.
Por qué necesitas la anotación de datos
Nuestra constante necesidad de innovación hace necesaria la anotación de datos. Si no, ¿cómo podría un automóvil conducirse solo? Sin la anotación de datos, todas las imágenes serían iguales para las máquinas, ya que no tienen ningún conocimiento propio sobre el mundo.
Eso significa que, sin entrenar al modelo sobre lo que es un vehículo, la calle, la vereda o el peatón, el automóvil de manejo automático simplemente conduciría sin sentido contra todo lo que se cruce en su camino.
Del mismo modo, muchas empresas entrenan a modelos de IA para identificar tipos de documentos para automatizar los procesos de categorización y extracción de datos. Como muchas empresas trabajan con proveedores, tomemos como ejemplo las facturas. Para que el modelo categorice correctamente el tipo de documento, primero se clasifican las características de una factura y luego se introducen al algoritmo.
Esto no se limita a las facturas y puede aplicarse a cualquier tipo de documento. Para ti, eso significa que todos tus flujos de trabajo relacionados a documentos podrían ser optimizados y liberar a tu equipo de la tarea de identificar y categorizar los documentos por sí mismos.
Teniendo esto en cuenta, echemos un vistazo a las principales ventajas de la anotación de datos.
Las principales ventajas de la anotación de datos
Además de ahorrar tiempo y dinero, la anotación de datos tiene un par de beneficios más. Estos beneficios son los siguientes:
- Mayor eficiencia → La clasificación de los datos permite entrenar mejor a los sistemas de Machine Learning, lo que los hace más eficientes a la hora de reconocer objetos, palabras, sentimientos, intenciones, etc.
- Un mayor grado de precisión → La clasificación correcta de datos lleva a datos más precisos para entrenar a un algoritmo. Y esto conducirá a un mayor grado de precisión en la extracción de datos en el futuro.
- Menor intervención humana → Cuanto mejor sea la anotación de los datos, mejor será el resultado del modelo de IA. Un resultado preciso del algoritmo significa que se necesita menos intervención humana, lo que reduce los costos y ahorra tiempo.
- Escalabilidad → Esto se aplica a la anotación de datos automatizada, que te permite escalar los proyectos de anotación de datos para mejorar los modelos de IA y ML.
Junto a las ventajas, cada solución tiene sus desventajas. Por lo tanto, para entender mejor la situación, es importante hablar de ellas.
Las desventajas de la anotación de datos
Aunque la anotación de datos es esencial para el entrenamiento de modelos de IA y ML, también tiene sus limitaciones. Veamos cuáles son:
- Los modelos de IA y ML requieren una gran cantidad de datos clasificados para poder aprender. Por lo tanto, las empresas tienen que contratar una enorme cantidad de empleados para generar esta enorme cantidad de datos. Esto no sólo es caro, sino que también limita la eficiencia y la productividad de esas empresas.
- A menudo, las empresas tienen un acceso limitado a las herramientas y la tecnología adecuadas para llevar a cabo un proceso de anotación de datos preciso. Eso significa que esas empresas se quedan con datos imprecisos y con un proceso de entrenamiento de modelos lento.
- Los modelos de ML son muy sensibles. Incluso el más mínimo error puede costarle mucho a las empresas. Si el modelo se entrena con datos inexactos, aprenderá de forma equivocada y, por lo tanto, producirá datos incorrectos en el futuro.
- La falta de conocimiento de los procesos puede hacer que no se cumplan las normas de seguridad de datos. A menudo, las empresas tienen que manejar datos sensibles, como la identificación de personas, que deben ser procesados con la mayor seguridad. Si la clasificación de los datos se hace mal, la información errónea o los errores pequeños pueden llevar a resultados no deseados.
Puedes ver que la anotación de datos es un proceso delicado que puede llevar a modelos de IA mal entrenados. Si eso ocurre, tu automóvil de conducción autónoma se estrellará contra el siguiente árbol o atropellará a un peatón inocente. Como definitivamente no queremos que eso ocurra, es inteligente hacer uso de otras empresas que tienen horas de experiencia en la anotación de datos.
Klippa es una de las empresas que ha pasado miles de horas anotando datos para mejorar nuestro software basado en IA.
Qué puede hacer Klippa por ti
En Klippa, entrenamos a nuestros modelos para ayudar a las empresas a automatizar el procesado de documentos. Con muchos años de entrenamiento de nuestro motor de OCR impulsado por IA, puedes estar seguro de que nuestro software, DocHorizon, funciona de forma fiable y precisa. Utilizando nuestra solución, podrás ahorrarte la ardua tarea de la anotación de datos y seguir aprovechando todos los beneficios.
Klippa DocHorizon
En general, Klippa DocHorizon puede convertir cualquier imagen a un texto. Además, este software inteligente puede extraer, clasificar y verificar datos de todo tipo de documentos, como recibos, facturas, pasaportes y documentos de identidad. Esto significa que puedes conseguir que cualquier campo de datos se extraiga automáticamente y se almacene en tu base de datos.
Antes de almacenar los datos en tu base de datos, nuestro software de procesamiento inteligente de documentos (IDP) es capaz de detectar el fraude en documentos y de enmascarar datos confidenciales para cumplir con los requisitos reglamentarios.
En caso de que quieras complementar tu software actual o extraer datos de otros objetos que no sean documentos, sin duda podemos ayudarte.
SDK de detección de objetos
Nuestro SDK de detección de objetos puede ser entrenado para reconocer cualquier cosa que necesites. Desde un medidor de servicios hasta una factura, con suficientes datos clasificados nuestro equipo de anotación de datos puede ayudar a los clientes a entrenar a nuestro modelo de detección de objetos para que reconozca cualquier objeto que necesites.
Esto significa que puedes proporcionarle a tu equipo una solución que es fiable y te permite capturar datos con el uso de teléfonos móviles.
¿Tienes curiosidad por nuestra solución y quieres ver más? Déjanos mostrarte como funciona nuestro software. Simplemente programa una demostración gratuita más abajo o ponte en contacto con uno de nuestros expertos para obtener más información.