Reconocimiento óptico de caracteres (OCR)

Cualquier persona moderna que trabaje constantemente con documentos de vez en cuando se hace una pregunta candente: ¿por qué volver a escribir el texto si alguien ya lo ha hecho antes? A muchos usuarios, una tarea tan repetida les provoca irritación con un dejo de resentimiento por tener que duplicar inútilmente el trabajo de otra persona. Naturalmente, los desarrolladores de software no podían permanecer indiferentes ante una situación tan típica, cuya eliminación también prometía beneficios sustanciales. Así funcionan los sistemas conocidos en Rusia como sistemas ópticos de reconocimiento de texto, y en países de habla inglesa, como LOC.

Hoy en día, el alcance del software OCR se ha ampliado significativamente: al principio se usaba principalmente en el sector financiero y bancario, resolviendo tareas específicas de automatización para ingresar datos personales y de encuestas, pero hoy en día los programas OCR se usan en todas partes para trabajar con cualquier documento. Es difícil sobreestimar la importancia de los sistemas OCR, que se han convertido en un software tan necesario tanto para los ordenadores de oficina como para los domésticos.

Repasemos brevemente todos ellos. Principales sistemas OCR del mercado. y resaltar los rasgos principales y característicos de los mismos.

Antes de comenzar a considerar los sistemas OCR, primero demos al menos una clasificación mínima de ellos para facilitar una mayor consideración. actualmente asignado Sistemas OCR (Reconocimiento óptico de caracteres OCR) también Sistemas ICR(Reconocimiento Inteligente de Caracteres, ICR). Para simplificar un poco la esencia de las diferencias entre ellos, podemos considerar que los sistemas ICR son la próxima generación en el desarrollo de sistemas OCR. Las capacidades de la inteligencia artificial se utilizan de manera mucho más activa y seria; en particular, los sistemas ICR se utilizan a menudo. reconocer textos escritos a mano, fuentes decorativas inestables y también, como ejemplo más llamativo, superar los mismos sistemas de protección contra spam bots: captcha ( captcha). El tercer nivel, todavía sólo teórico, de la calidad del reconocimiento de texto, es IWR(Reconocimiento inteligente de palabras, IWR), en el que no se leen ni reconocen caracteres o puntos individuales, sino que se leen y reconocen frases enteras y coherentes.

Existen varios sistemas que se clasifican como ICR. Esto es, en primer lugar, , FineReader, OmniPage Professional, Readiris Corporate, Type Reader Desktop. Comparémoslos todos y veamos posibles alternativas.

Productos nacionales famosos.

Productos extranjeros

Otros tres productos muy conocidos, que se han difundido poco en la CEI debido a la ausencia total de representantes y a la escasa comercialización en estos vastos territorios cirílicos, pero que son conocidos en Occidente y merecen al menos una breve mención, aunque sólo sea porque también se posicionan como productos de clase ICR. En el nicho del reconocimiento no cirílico, pueden competir fácilmente incluso con el líder del mercado: FineReader.

El primero de ellos es un paquete de la empresa I.R.I.S. Group es un producto de OCR muy serio. Baste decir que desde septiembre de 2006, la tecnología de la empresa I.R.I.S. ha sido licenciado y utilizado en productos de sistemas Adobe. Según pruebas internas realizadas por la propia Adobe, esta tecnología resultó ser la más exitosa de todas las consideradas en el mercado.

Cabe señalar que esta exitosa solución de terceros "enterró" el propio desarrollo de Adobe, el motor OCR nativo, que se suministró durante muchos años como parte de la solución, y ahora el nuevo Adobe OCR está disponible por separado en otros populares Productos acróbatas. La última versión de Readiris v12 es compatible con todas las versiones de Windows y MacOS X y, en total, admite más de 120 idiomas.

El próximo gran avance de una empresa estadounidense es . Este motor fue desarrollado en estrecha colaboración con la Universidad de Nevada, Las Vegas. Este motor se está extendiendo por todo el mundo de muchas formas a la vez, desde su integración en los grandes sistemas de gestión de documentos occidentales (Document Imaging Management, DIM) hasta la participación en muchos programas estadounidenses para el procesamiento automático de formularios (Forms Processing Services, FPS).

Por ejemplo, en 2008 el periódico Los Ángeles Times Después de realizar sus propias pruebas del OCR líder en el mundo, eligió TypeReader para su uso interno. Me gustaría señalar que este producto está disponible tanto en versión de escritorio tradicional (Windows, MacOS, Linux), como servicio web corporativo, como en forma de aplicación de alquiler en la nube capaz de procesar cualquier volumen de texto reconocido en un formato muy poco tiempo.

Soluciones de OCR gratuitas

Google también está desarrollando su propio motor interesante. es un motor OCR comercial originalmente cerrado que fue creado por Hewlett-Packard, trabajando en él entre 1985 y 1995. Pero después de que se cerró el proyecto y se detuvo su desarrollo, HP lanzó su código como fuente abierta en 2005. El desarrollo fue inmediatamente retomado por Google, licenciando su producto bajo la licencia gratuita Apache. Por el momento, Tesseract se considera uno de los motores gratuitos más precisos y de mayor calidad que existen.

Es necesario entender claramente que Tesseract es un OCR clásico para el procesamiento de texto "sin formato", es decir. no tiene un shell gráfico para un control conveniente del proceso ni muchas otras funciones adicionales. Esta es una utilidad de consola normal (hay versiones para Windows, MacOS, Linux), cuya entrada es una imagen en formato TIFF y la salida de Tesseract es "texto puro". Sin embargo, aquí no se realiza ningún análisis del diseño del texto o de los estilos de diseño; este es un proceso de reconocimiento en su forma más simple.

Para mayor comodidad de trabajo, como interfaz gráfica, se pueden utilizar muchas utilidades con este motor, por ejemplo la conocida o . Pero todavía me gustaría señalar que la calidad del software gratuito C uneiForm/OpenOCR es ligeramente superior a la de Tesseract, aunque en muchos aspectos son productos completamente similares.

Además del Tesseract gratuito, también vale la pena mencionarlo. SimpleOCR es una solución muy valiosa para OCR y, aunque no se ha desarrollado desde 2008, al menos no es inferior a Tesseract. El producto es gratuito para cualquier uso no comercial y está disponible para todas las versiones de Windows. Una de las grandes desventajas es que sólo admite dos idiomas: inglés y francés.

Además de las soluciones tradicionales gratuitas de escritorio, existen muchos servicios alternativos en línea que ofrecen una calidad de reconocimiento OCR gratuito significativamente inferior a la de sus homólogos comerciales. Para resolver con éxito problemas comerciales (y otros problemas cotidianos graves), es mejor centrarse en los sistemas comerciales de clase ICR, que se analizaron en la primera mitad de este artículo.

Reconocimiento óptico de caracteres Es la traducción mecánica o electrónica de imágenes de texto escrito a mano, mecanografiado o impreso en una secuencia de códigos utilizados para su presentación en un procesador de textos. El OCR se utiliza ampliamente para convertir libros y documentos a formato electrónico, automatizar sistemas de contabilidad empresarial o publicar texto en una página web. OCR le permite editar texto, buscar una palabra o frase, almacenarlo en una forma más compacta, mostrar o imprimir material sin perder calidad, analizar información y aplicar traducción electrónica, formato o conversión a voz a una prueba. Actualmente, los más comunes son los sistemas llamados “inteligentes”, que reconocen la mayoría de fuentes con un alto grado de precisión. Algunos sistemas OCR son capaces de restaurar el formato original del texto, incluidas imágenes, columnas y otros componentes que no son de texto.

Actualmente, el reconocimiento preciso de caracteres en texto impreso solo es posible si se dispone de imágenes claras, como documentos impresos escaneados. La precisión con esta formulación del problema supera el 99%; la precisión absoluta sólo se puede lograr mediante la edición humana posterior.

Para resolver problemas más complejos en el campo del reconocimiento se suelen utilizar sistemas de reconocimiento inteligentes, como por ejemplo redes neuronales artificiales.

En la etapa de preparación y procesamiento de información, especialmente durante la informatización de una empresa y la automatización de la contabilidad, surge la tarea de ingresar una gran cantidad de información textual y gráfica en una PC. Los principales dispositivos para ingresar información gráfica son: un escáner, un módem fax y, con menos frecuencia, una cámara digital. Además, utilizando programas de reconocimiento óptico de texto, también puede ingresar (digitalizar) información de texto en una computadora. Los sistemas modernos de software y hardware permiten automatizar la entrada de grandes cantidades de información en una computadora, utilizando, por ejemplo, un escáner de red y reconocimiento de texto paralelo en varias computadoras simultáneamente.

La mayoría de los programas de reconocimiento óptico de caracteres (OCR Optical Character Recognition) funcionan con una imagen rasterizada que se recibe a través de un módem de fax, un escáner, una cámara digital u otro dispositivo. En el primer paso, el OCR debe dividir la página en bloques de texto según las características de alineación derecha e izquierda y la presencia de múltiples columnas. A continuación, el bloque reconocido se divide en líneas. A pesar de su aparente simplicidad, esta no es una tarea tan obvia, ya que en la práctica la distorsión de la imagen de la página o de los fragmentos de la página cuando está plegada es inevitable. Incluso una ligera inclinación hace que el borde izquierdo de una línea quede más bajo que el borde derecho de la siguiente, especialmente con un espacio entre líneas ajustado. Como resultado, surge el problema de determinar la línea a la que pertenece tal o cual fragmento de imagen. Por ejemplo, para las letras j, И, ё, con una ligera inclinación, ya es difícil determinar a qué línea pertenece la parte superior (separada) del carácter (en algunos casos se puede confundir con una coma o un punto) .

Luego, las líneas se dividen en áreas de imagen continua, que normalmente corresponden a letras individuales; el algoritmo de reconocimiento hace suposiciones sobre la correspondencia de estas áreas con los caracteres; y luego se hace una selección de cada carácter, con el resultado de que la página se reconstruye en caracteres de texto y, por regla general, en el formato adecuado. Los sistemas OCR pueden lograr la mejor precisión de reconocimiento de más del 99,9% para imágenes limpias compuestas por fuentes normales. A primera vista, esta precisión de reconocimiento parece ideal, pero la tasa de error sigue siendo deprimente, porque si hay aproximadamente 1500 caracteres en una página, incluso con una tasa de éxito de reconocimiento del 99,9%, hay uno o dos errores por página. En tales casos, el método de verificación del diccionario viene al rescate. Es decir, si una palabra no está en el diccionario del sistema, entonces utiliza reglas especiales para intentar encontrar una similar. Pero esto todavía no permite corregir el 100% de los errores, lo que requiere un control humano de los resultados.

Los textos que se encuentran en la vida real suelen estar lejos de ser perfectos y la tasa de error de reconocimiento de textos sucios suele ser inaceptablemente alta. Las imágenes sucias son el problema más obvio aquí, porque incluso las pequeñas imperfecciones pueden oscurecer partes definitorias de un personaje o transformar unas en otras. Otro problema es el escaneo inexacto debido a un error humano, ya que el operador sentado frente al escáner simplemente no puede suavizar cada página que se escanea y alinearla con precisión con los bordes del escáner.

Si el documento ha sido fotocopiado, es frecuente que se produzcan roturas y fusiones de caracteres. Cualquiera de estos efectos puede hacer que el sistema cometa errores porque algunos sistemas OCR suponen que un área contigua de la imagen debe tener un solo carácter.

Una página desalineada o torcida produce imágenes de caracteres ligeramente distorsionadas que el OCR puede confundir.

El objetivo principal de los sistemas OCR es analizar información rasterizada (símbolo escaneado) y asignar el símbolo correspondiente a un fragmento de una imagen. Después de completar el proceso de reconocimiento, los sistemas OCR deben poder preservar el formato de los documentos originales, asignar un atributo de párrafo en el lugar correcto, guardar tablas, gráficos, etc. Los programas OCR modernos admiten todos los formatos conocidos de texto, imágenes y hojas de cálculo, y algunos formatos compatibles, como HTML y PDF.

Trabajar con sistemas OCR, por regla general, no debería causar ninguna dificultad particular. La mayoría de estos sistemas tienen un modo simple de escaneo y reconocimiento automático (Scan&Read). Además, también admiten el modo de reconocimiento de imágenes a partir de archivos. Sin embargo, para lograr los mejores resultados posibles para un sistema determinado, es recomendable (y a menudo obligatorio) configurarlo primero manualmente para un tipo de texto, diseño de formulario y calidad de papel específicos.

Muy importante cuando se trabaja con un sistema OCR es la comodidad a la hora de elegir el idioma de reconocimiento y el tipo de material a reconocer (máquina de escribir, fax, impresora matricial, periódico, etc.), así como la claridad intuitiva de la interfaz de usuario. Al reconocer textos que utilizan varios idiomas, la eficacia del reconocimiento depende de la capacidad del sistema OCR para formar grupos de idiomas. Al mismo tiempo, algunos sistemas ya cuentan con combinaciones para los idiomas más utilizados, por ejemplo: ruso e inglés.

Por el momento, existe una gran cantidad de programas que admiten el reconocimiento de texto como una de las capacidades.

FineReader, además de conocer una gran cantidad de formatos para guardar, incluido PDF, tiene la capacidad de reconocer directamente archivos PDF. La nueva tecnología de filtrado inteligente de fondo filtra información sobre la textura del documento y el ruido de fondo en una imagen, a veces usando un fondo gris o de color para resaltar el texto en un documento. Esto no impide que una persona lea, pero los algoritmos convencionales de reconocimiento de texto experimentan serias dificultades cuando trabajan con letras ubicadas sobre dicho fondo. FineReader puede identificar áreas que contienen texto similar separando el texto del fondo del documento, buscando puntos que sean más pequeños que un tamaño determinado y eliminándolos. En este caso, se conservan los contornos de las letras, de modo que los puntos de fondo situados cerca de estos contornos no introduzcan ruido que pueda degradar la calidad del reconocimiento del texto. Incluso las tablas se reconocen con la máxima precisión, manteniendo al mismo tiempo capacidades de edición completas.

ABBYY FormReader es un programa diseñado para reconocer y procesar formularios que se pueden completar manualmente. ABBYY FormReader puede manejar tanto formularios con un diseño fijo como formularios cuya estructura puede cambiar.

OCR CuneiForm es capaz de reconocer cualquier tipo de letra impresa y mecanografiada de todos los estilos y fuentes recibidas de las imprentas, con excepción de las decorativas y manuscritas. El programa también es capaz de reconocer tablas de diversas estructuras, incluidas aquellas sin líneas ni bordes; editar y guardar resultados en formatos tabulares comunes. La capacidad de exportar resultados directamente a MS Word y MS Excel simplifica enormemente el trabajo (para hacer esto, ya no necesita guardar el resultado en un archivo RTF y luego abrirlo usando MS Word).

El programa también está equipado con capacidades de entrada masiva, escaneo por lotes, incluido el escaneo las 24 horas desde computadoras remotas en la red local y la organización del escaneo paralelo distribuido en la red local.

Readiris Pro7 es un programa de reconocimiento de texto profesional. Se diferencia de sus análogos en la mayor precisión para convertir documentos impresos ordinarios (cotidianos), como cartas, faxes, artículos de revistas, recortes de periódicos, en objetos accesibles para editar (incluidos archivos PDF). Las principales ventajas del programa son: la capacidad de reconocer con mayor o menor precisión imágenes comprimidas al máximo (con la máxima pérdida de calidad) utilizando el método JPEG, soporte para cámaras digitales y detección automática de la orientación de la página. Admite hasta 92 idiomas (incluido el ruso).

OmniPage11: el programa reconoce documentos impresos con casi un 100% de precisión y restaura su formato, incluidas columnas, tablas, guiones (incluidos guiones de partes de palabras), encabezados, títulos de capítulos, firmas, números de página, notas a pie de página, párrafos, listas numeradas, rojo. Líneas, gráficos e imágenes. Es posible guardar en Microsoft Office, PDF y otros 20 formatos, reconocer archivos PDF y editar directamente en formato PDF. El sistema de inteligencia artificial permite detectar y corregir errores automáticamente tras la primera corrección manual. El nuevo módulo Despeckle especialmente desarrollado le permite reconocer documentos con calidad degradada (faxes, copias, copias de copias, etc.). Las ventajas del programa son la capacidad de reconocer texto en color y la capacidad de corregirlo con la voz.

Aunque los avances realizados en inteligencia artificial (IA) en los últimos 50 años no han acercado ni un ápice a las máquinas inteligentes a las capacidades cognitivas humanas, sería injusto negar por completo los avances en esta dirección. El ejemplo más obvio y sorprendente es el ajedrez (sin mencionar los juegos más simples). Una computadora aún no puede imitar nuestro pensamiento, pero es bastante capaz de compensar esta brecha con una gran cantidad de memoria especializada y velocidad de búsqueda. Vladimir Kramnik describió el juego del programa Deep Fritz que lo derrotó en 2006 como “inhumano” en el sentido de que a menudo contradecía las reglas (humanas) establecidas de estrategia y táctica.

Y hace poco más de un año, otra creación de IBM, que en un momento sentó las bases para las victorias triunfales en el ajedrez de las computadoras (el famoso Deep Blue), llamada Watson, logró un nuevo avance al derrotar a dos campeones del popular concurso estadounidense Jeopardy. por un amplio margen. Es significativo, sin embargo, que aunque Watson expresó las respuestas de forma independiente, las preguntas le fueron transmitidas en forma de texto. Esto sugiere que los éxitos en muchas áreas de la aplicación de la IA (reconocimiento de voz e imágenes, traducción automática) son bastante modestos, aunque esto no nos impide utilizarlos en la práctica hoy en día. Quizás los mayores éxitos los demuestren los sistemas de reconocimiento óptico de caracteres (OCR, Optical Character Recognition), con los que casi todos los usuarios de PC probablemente estén familiarizados de una forma u otra. Además, los avances rusos en este ámbito ocupan un lugar digno en el mundo: me refiero a ABBYY FineReader.

Una pequeña historia

La versión actual de ABBYY FineReader es la número 11, es decir, la aplicación ha recorrido un largo camino de desarrollo, e incluso la historia de este proceso es de cierto interés. Sin pretender ser una crónica exhaustiva, sólo daré los principales hitos de la última década, durante la cual seguí más o menos FineReader:

Naturalmente, al mismo tiempo, FineReader amplió el soporte para formatos de documentos, mejoró las herramientas y la interfaz integradas, mejoró la reconstrucción de la estructura de los originales, etc. Sin embargo, los puntos resaltados están directamente relacionados con las tecnologías OCR y demuestran bien el espasmódico proceso de desarrollo. característico de sistemas complejos intensivos en conocimiento cuando después del siguiente "avance" sigue un cierto período de "tranquilidad", necesario para mejorar nuevos algoritmos. Representan el valor principal de cualquier programa OCR y, por lo tanto, la información detallada sobre ellos rara vez llega a los usuarios. Sin embargo, ABBYY tuvo la amabilidad de levantar el velo del secreto y hoy tenemos la oportunidad de echar un vistazo al lugar santísimo de FineReader.

Principios básicos

Entonces, dado que el OCR pertenece al campo de la IA, es lógico que los desarrolladores se esfuercen por imitar, al menos hasta cierto punto, la actividad de nuestro cerebro. Por supuesto, la estructura de nuestro sistema visual es increíblemente compleja, pero los principios básicos de su funcionamiento en "bloques grandes" han sido suficientemente estudiados, por lo general hay tres de ellos:

1. Integridad- un objeto se considera como una colección de sus partes y (para imágenes visuales) las relaciones espaciales entre ellas. A su vez, las partes reciben interpretación sólo como parte del objeto total. Este principio ayuda a construir y aclarar hipótesis, eliminando rápidamente las improbables.
2. Decisión- Dado que cualquier interpretación de datos persigue un objetivo específico, el reconocimiento es un proceso de plantear hipótesis sobre un objeto y probarlas intencionadamente. Un sistema que funcione de acuerdo con este principio no sólo utilizará la potencia informática de forma más económica, sino que también cometerá menos errores.
3. Adaptabilidad- el sistema guarda la información acumulada durante el funcionamiento y la reutiliza, es decir, la aprende por sí mismo. Este principio permite crear y acumular nuevos conocimientos y evitar resolver repetidamente los mismos problemas.

FineReader es el único sistema OCR del mundo que funciona de acuerdo con los principios descritos anteriormente en todas las etapas del procesamiento de documentos. La tecnología correspondiente se llama API- según las primeras letras de los términos en inglés. Por ejemplo, según el principio de integridad, un fragmento de una imagen se interpretará como un símbolo sólo si contiene todas las partes estructurales de objetos similares y aquellas que se encuentran en determinadas relaciones. Esto ayuda a sustituir la búsqueda de una gran cantidad de estándares (en busca de uno más o menos adecuado) por una prueba específica de un número razonable de hipótesis, basándose en información previamente acumulada sobre las posibles líneas de un personaje en un documento reconocido. .

Sin embargo, los principios de IPA se aplican al analizar no sólo fragmentos correspondientes a (presumiblemente) caracteres individuales, sino también la imagen fuente completa de la página. La mayoría de los sistemas OCR se basan en reconocer la estructura jerárquica de un documento, es decir, la página se divide en elementos estructurales básicos como tablas, imágenes, bloques de texto, que, a su vez, se dividen en otros objetos característicos (celdas, párrafos) y y así sucesivamente, hasta llegar a los personajes individuales.

Un análisis de este tipo puede realizarse de dos formas principales: de arriba hacia abajo, es decir, desde los elementos constitutivos hasta los personajes individuales, o, por el contrario, de abajo hacia arriba. Uno de ellos es el más utilizado, pero ABBYY ha desarrollado un algoritmo especial MDA(análisis de documentos multinivel), que combina ambos. En resumen, se ve así: la estructura de la página se analiza de arriba hacia abajo y la reconstrucción del documento electrónico una vez completado el reconocimiento se realiza de abajo hacia arriba, pero en todos los niveles existe un mecanismo de retroalimentación adicional. Como resultado, se reduce drásticamente la probabilidad de errores graves asociados con el reconocimiento incorrecto de objetos de alto nivel.

ADRT

Históricamente, los sistemas OCR han evolucionado a partir del reconocimiento de caracteres individuales. Esta tarea sigue siendo la más importante y la más difícil; a ella se asocian los algoritmos más complejos. Sin embargo, pronto quedó claro que la información de nivel superior (por ejemplo, sobre el idioma del documento y la ortografía correcta de las palabras reconocidas) podría ayudar a resolver este problema; así es como aparecieron las verificaciones contextuales y de diccionario. Luego, el deseo de preservar el formato y recrear la estructura física (es decir, las posiciones relativas de varios objetos) de un documento llevó a la necesidad de un análisis detallado de una página completa. Está claro que esto también afecta significativamente la calidad general del reconocimiento, ya que ayuda a procesar correctamente el diseño de varias columnas, tablas y otros métodos de disposición de texto "no lineal".

La mayoría de los OCR modernos operan precisamente en estos tres niveles (caracteres, palabras, páginas) practicando, como ya se mencionó, enfoques de arriba hacia abajo o de abajo hacia arriba. Sin embargo, ABBYY, de acuerdo con los principios de IPA, introdujo otro nivel en FineReader: el documento completo de varias páginas. En primer lugar, era necesario reproducir correctamente la estructura lógica, que en los documentos modernos se vuelve cada vez más compleja. Pero hay ventajas adicionales: mayor precisión y procesamiento más rápido de objetos repetidos, identificación (y por lo tanto reconocimiento) más correcta de los objetos que "fluyen" de una página a otra.

Esta es exactamente la razón por la que fue desarrollado. ADRT(Tecnología adaptativa de reconocimiento de documentos): tecnología para el análisis y síntesis de documentos a nivel lógico. En última instancia, ayuda a que el resultado de FineReader funcione lo más similar posible al original. Para ello, se analiza la imagen de todo el documento y las palabras reconocidas se combinan en grupos (clusters) según el estilo, entorno y ubicación en la página. De esta forma, el programa parece ver la “lógica” del marcado del documento y posteriormente puede unificar el diseño del resultado.

Gracias a ADRT, FineReader, a partir de la versión 9.0, ha aprendido a detectar, reconocer y reproducir las siguientes partes estructurales y elementos de formato de documentos:

• texto principal;
• encabezados y pies de pagina;
• número de páginas;
• encabezados del mismo nivel;
• Tabla de contenido;
• inserciones de texto;
• pies de foto para dibujos;
• mesas;
• notas a pie de página;
• zonas de firma/sello;
• fuentes y estilos.

Proceso de reconocimiento

De acuerdo con el algoritmo MDA, el reconocimiento real comienza de arriba a abajo, desde el nivel de la página. Está claro que cuantas más decisiones equivocadas se tomen en las primeras etapas de este proceso, más las habrá en las siguientes. Por eso la precisión del reconocimiento depende tanto de la calidad de los originales, pero sus algoritmos de preprocesamiento también pueden tener un impacto significativo. Así, a medida que crecía la popularidad de los documentos en color en FineReader, apareció un procedimiento de binarización adaptativa. AB). Si escanea un documento inmediatamente en modo blanco y negro, donde hay marcas de agua o el texto está ubicado sobre un sustrato texturizado o de color, invariablemente aparecerá "basura" en la imagen, que luego será bastante difícil de separar de la " útil” (ya que la información original sobre él ya se ha perdido). Es por eso que FineReader prefiere trabajar con imágenes en color o en escala de grises, convirtiéndolas usted mismo en blanco y negro (este proceso se llama binarización). Pero eso no es todo. Dado que los colores del texto y del fondo pueden variar dentro de la página e incluso dentro de líneas individuales, AB identifica palabras con más o menos las mismas características y selecciona los parámetros de binarización óptimos para cada una desde el punto de vista de la calidad del reconocimiento. Ésta es precisamente la adaptabilidad del algoritmo, que por tanto es un ejemplo del uso de retroalimentación en MDA. Está claro que la efectividad de AB depende en gran medida del diseño de los documentos fuente: según la base de pruebas de ABBYY, este algoritmo proporcionó un aumento en la precisión del reconocimiento en un 14,5%.

Pero lo más interesante, por supuesto, comienza cuando el proceso de reconocimiento desciende a los niveles más bajos. El llamado procedimiento de división lineal divide las líneas en palabras y las palabras en letras individuales; luego, de acuerdo con el principio IPA, genera un conjunto de hipótesis (es decir, posibles opciones sobre qué tipo de símbolo es, en qué símbolos se divide la palabra, etc.) y, proporcionando a cada uno una estimación de probabilidad, la pasa. a la entrada del mecanismo de reconocimiento de caracteres. Este último consiste en una serie de los llamados clasificadores, cada una de las cuales también genera una serie de hipótesis clasificadas según su grado de probabilidad esperado. La característica más importante de cualquier clasificador es la posición promedio de la hipótesis correcta. Está claro que cuanto más alto sea, menos trabajo habrá para los algoritmos posteriores, por ejemplo, la comprobación del diccionario. Pero los clasificadores suficientemente bien establecidos suelen evaluar características como la precisión del reconocimiento basándose en las tres primeras hipótesis o sólo en la primera, es decir, en términos generales, la capacidad de adivinar la respuesta correcta en tres o un intento. ABBYY utiliza los siguientes tipos de clasificadores en sus sistemas: ráster, característica, diferencial de características, contorno, estructural y diferencial estructural, que se agrupan en dos niveles lógicos.

Principio de operación RK, o clasificador ráster, se basa en una comparación píxel por píxel de la imagen de un personaje con estándares. Estos últimos se forman como resultado de promediar imágenes del conjunto de entrenamiento y reducirlas a una determinada forma estándar; En consecuencia, el tamaño, el grosor de los elementos y la pendiente también están prenormalizados para la imagen reconocida. Este clasificador se caracteriza por su facilidad de implementación, velocidad de operación y resistencia a defectos de imagen, pero proporciona una precisión relativamente baja y es por eso que se utiliza en la primera etapa: para generar rápidamente una lista de hipótesis.

Clasificador de características ( ordenador personal), como su nombre indica, se basa en la presencia de signos de un símbolo concreto en la imagen. Si hay N características de este tipo en total, entonces cada hipótesis puede representarse mediante un punto en el espacio N-dimensional; en consecuencia, la precisión de la hipótesis se evaluará por la distancia desde ésta hasta el punto correspondiente al estándar (que también se desarrolla en la muestra de entrenamiento). Está claro que los tipos y la cantidad de funciones determinan en gran medida la calidad del reconocimiento, por lo que suele haber bastantes. Este clasificador también es relativamente rápido y simple, pero no es muy resistente a varios defectos de imagen. Además, la PC no funciona con la imagen original, sino con un determinado modelo, una abstracción, es decir, no tiene en cuenta parte de la información: digamos, el hecho mismo de la presencia de algunos elementos importantes no lo dice. nada sobre su posición relativa. Por esta razón, el PC no se utiliza en lugar del RK, sino junto con él.

Clasificador de contorno ( control de calidad) es un caso especial de PC y se diferencia en que analiza los contornos del personaje deseado extraído de la imagen original. En general, su precisión es menor que la de una PC completa.

Clasificador diferencial de características ( MPC) también es similar a PC, pero se usa únicamente para distinguir entre objetos similares como "m" y "rn". En consecuencia, analiza sólo aquellas áreas donde las diferencias están ocultas y recibe como entrada no sólo las imágenes originales, sino también las hipótesis formadas en las primeras etapas del reconocimiento. El principio de funcionamiento, sin embargo, es algo diferente al de un PC. En la etapa de entrenamiento se forman dos “nubes” (grupos de puntos) de posibles valores para cada una de las dos opciones en un espacio N-dimensional, luego se construye un hiperplano que separa las “nubes” entre sí y es aproximadamente equidistante de ellos. El resultado del reconocimiento depende de en qué semiespacio se encuentre el punto correspondiente a la imagen original.

El propio MPC no plantea hipótesis, sino que simplemente perfecciona las existentes (cuya lista generalmente se ordena mediante el método de la burbuja), de modo que no se realiza una evaluación directa de su eficacia, sino que indirectamente se la equipara con las características del primer nivel completo de reconocimiento OCR. Sin embargo, está claro que depende de la exactitud de las características seleccionadas y de la representatividad de la muestra de normas, lo que supone una tarea bastante laboriosa.

Clasificador diferencial estructural ( KFOR) se utilizó originalmente para procesar textos escritos a mano. Su tarea es distinguir entre objetos similares como "C" y "G". Así, SDK se basa en rasgos característicos de cada par de caracteres, su proceso de aprendizaje es incluso más complejo que el de MDC y su velocidad de funcionamiento es menor que la de todos los clasificadores anteriores.

Clasificador estructural ( SK) es un motivo de orgullo para ABBYY; fue desarrollado originalmente para reconocer el llamado texto escrito a mano, es decir, cuando una persona escribe en letras "impresas", pero luego se utilizó para imprimir. Se utiliza en las etapas finales del reconocimiento y entra en vigor muy raramente, es decir, sólo cuando al menos dos hipótesis con probabilidades suficientemente altas lo alcanzan.

Las características cualitativas de todos los clasificadores se recogen en la siguiente tabla. Sin embargo, sólo permiten evaluar la eficacia de los algoritmos entre sí, ya que no son absolutos, sino que se obtienen a partir del procesamiento de una muestra de prueba específica. Puede parecer que en las últimas etapas del reconocimiento la lucha es literalmente por una fracción de un porcentaje, pero de hecho, cada clasificador hace una contribución significativa para aumentar la precisión del reconocimiento; por ejemplo, el SC reduce el número de errores en un notable 20%.

* evaluación de todo el primer nivel del algoritmo ABBYY OCR
** evaluación de todo el algoritmo después de agregar el clasificador apropiado

Es curioso, sin embargo, que a pesar de la precisión bastante alta, el algoritmo de reconocimiento por sí solo no tome la decisión final. De acuerdo con el principio MDA, las hipótesis se plantean en cada nivel lógico y su número puede crecer exponencialmente. En consecuencia, es poco probable que las pruebas secuenciales de todas las hipótesis sean efectivas y, por lo tanto, los sistemas ABBYY OCR utilizan el método de estructurar hipótesis, es decir, asignarlas a uno u otro modelo. Hay un par de docenas de estos últimos, aquí se muestran solo algunos de sus tipos: palabra de diccionario, palabra que no está en el diccionario, números arábigos, números romanos, URL, expresión regular, y cada uno puede incluir muchos modelos específicos (por ejemplo, un palabra en uno de los idiomas conocidos, latín, cirílico, etc.).

Todas las acciones finales se llevan a cabo con hipótesis construidas mediante modelos. Por ejemplo, la verificación contextual determinará el idioma del documento e inmediatamente reducirá significativamente la probabilidad de que los modelos utilicen alfabetos incorrectos, y la verificación del diccionario compensará los errores en el reconocimiento incierto de ciertos caracteres: por ejemplo, la palabra "giro" está presente en el Diccionario de inglés, a diferencia de "tum" (en cualquier caso, no se encuentra entre los populares). Aunque la prioridad del diccionario es mayor que la de cualquier clasificador, no es necesariamente el último recurso y, en general, no impide realizar más comprobaciones: en primer lugar, como se mencionó anteriormente, existe un modelo de palabra que no está en el diccionario, y en segundo lugar, , la organización especial de los diccionarios permite con un alto porcentaje de probabilidades adivinar si alguna palabra desconocida puede pertenecer a un idioma en particular. Sin embargo, la verificación del diccionario (y la integridad de los diccionarios) tiene un impacto significativo en el resultado del reconocimiento y, en las propias pruebas de ABBYY, reduce la cantidad de errores a casi la mitad.

No sólo OCR

Los documentos impresos no son los únicos de interés desde el punto de vista de su digitalización y procesamiento automático. Muy a menudo hay que trabajar con formularios, es decir, documentos con campos predefinidos y fijos que se rellenan manualmente, pero con relativa precisión (los llamados caracteres impresos a mano); varios cuestionarios pueden servir como ejemplo. La tecnología para su procesamiento tiene un nombre aparte: ICR(reconocimiento inteligente de caracteres) - y se diferencia bastante del OCR. Entonces, dado que en este caso la tarea no es recrear todo el documento, sino extraer datos específicos de él, se divide en dos subtareas principales: encontrar los campos necesarios y reconocer su contenido.

Esta es un área bastante específica y ABBYY ofrece un producto de software completamente independiente, ABBYY FlexiCapture, para ella. Está destinado a la creación de sistemas automatizados y semiautomáticos, implica la personalización para tipos específicos de documentos para los cuales se crean plantillas especiales, puede encontrar de manera inteligente varios campos en las páginas y verificar los datos en ellas, etc. Sin embargo, en su núcleo se encuentra el reconocimiento de caracteres. algoritmos similares a los que se utilizan en FineReader, y el esquema general es muy similar:

Sin embargo, todavía hay una diferencia importante: el clasificador estructural es un participante obligatorio en el proceso; esto se debe a las características específicas de los símbolos impresos a mano. Además, el ICR implica una gran cantidad de comprobaciones adicionales específicas: por ejemplo, si un carácter está tachado o si los caracteres reconocidos forman realmente una fecha.

Los sistemas de reconocimiento óptico de caracteres (OCR) están diseñados para ingresar automáticamente documentos impresos en una computadora.

FineReader es un sistema de reconocimiento de texto óptico omnifuente. Esto significa que le permite reconocer textos escritos en casi cualquier fuente sin formación previa. Una característica especial del programa FineReader es su alta precisión de reconocimiento y su baja sensibilidad a los defectos de impresión, que se logra mediante el uso de tecnología de "reconocimiento adaptativo dirigido holístico".

El proceso de ingresar un documento en una computadora se puede dividir en dos etapas:

1. Exploración. En la primera etapa, el escáner desempeña el papel de "ojo" de su computadora: "ve" la imagen y la transmite a la computadora. En este caso, la imagen resultante no es más que un conjunto de puntos negros, blancos o de colores, una imagen que no se puede editar en ningún editor de texto.

2. Reconocimiento. Procesamiento de imágenes mediante sistema OCR.

Veamos el segundo paso con más detalle.

El procesamiento de imágenes por parte del sistema FineReader incluye el análisis de la imagen gráfica transmitida por el escáner y el reconocimiento de cada carácter. Los procesos de análisis del diseño de la página (determinación de áreas de reconocimiento, tablas, imágenes, resaltado de líneas y caracteres individuales en el texto) y el reconocimiento de imágenes están estrechamente relacionados: el algoritmo de búsqueda de bloques utiliza información sobre el texto reconocido para un análisis más preciso de la página. .

Como ya se mencionó, el reconocimiento de imágenes se lleva a cabo sobre la base de la tecnología de "reconocimiento adaptativo dirigido holístico".

Integridad- un objeto se describe como un todo utilizando elementos significativos y relaciones entre ellos.

Enfocar- el reconocimiento se construye como un proceso de plantear y probar hipótesis de manera deliberada.

Adaptabilidad- la capacidad del sistema OCR de autoaprendizaje.

De acuerdo con estos tres principios, el sistema primero plantea una hipótesis sobre el objeto de reconocimiento (un símbolo, parte de un símbolo o varios símbolos pegados) y luego la confirma o refuta, tratando de detectar secuencialmente todos los elementos estructurales y las relaciones. conectándolos. Cada elemento estructural contiene partes que son importantes para la percepción humana: segmentos, arcos, anillos y puntos.

Siguiendo el principio de adaptabilidad, el programa se “adapta” basándose en la experiencia positiva obtenida con los primeros símbolos reconocidos con seguridad. La búsqueda específica y la consideración del contexto permiten reconocer imágenes rotas y distorsionadas, lo que hace que el sistema sea resistente a posibles defectos de escritura.

Como resultado de su trabajo, el texto reconocido aparecerá en la ventana de FineReader, que podrá editar y guardar en el formato que más le convenga.

Nuevas funciones de abbyy FineReader 7.0

Precisión de reconocimiento

La precisión del reconocimiento se ha mejorado en un 25%. Los documentos con diseños complejos se analizan y reconocen mejor, en particular aquellos que contienen secciones de texto sobre un fondo de color o un fondo formado por pequeños puntos, documentos con tablas complejas, incluidas tablas con separadores blancos, tablas con celdas de colores

La nueva versión agrega diccionarios especializados para inglés y alemán, incluidos los términos médicos y legales más utilizados. Esto le permite alcanzar un nivel cualitativamente nuevo en el reconocimiento de documentos legales y médicos.

Soporte de formatoXMLe integración conmicrosoftOficina

FineReader tiene un nuevo formato para guardar: Microsoft Word XML. ¡Ahora los usuarios de la nueva versión de Microsoft Office 2003 podrán trabajar con documentos reconocidos por FineReader, aprovechando todas las ventajas del formato XML!

La integración de FineReader con Microsoft Word 2003 le permite combinar las poderosas capacidades de estas dos aplicaciones para procesar texto reconocido. Puede verificar y editar los resultados del reconocimiento utilizando herramientas familiares de Word y, al mismo tiempo, verificar el texto transferido a Word con la imagen original: la ventana Zoom FineReader se abre directamente en la ventana de Word.

Las nuevas funciones harán que su trabajo sea más cómodo. Al crear un documento de Word, puede llamar a FineReader, reconocer el texto e insertarlo en el lugar del documento donde se encuentra el cursor, es decir, puede recopilar fácilmente información de diferentes fuentes en papel o archivos PDF en un solo documento. Los resultados del reconocimiento ahora se pueden enviar por correo electrónico como un archivo adjunto en cualquiera de los formatos de guardado admitidos.

Desempeño mejoradoBuen lectorConPDFdocumentos

La calidad del reconocimiento de archivos PDF ha mejorado significativamente. La mayoría de los documentos contienen texto además de la imagen de la página. FineReader 7.0 puede extraer este texto y utilizarlo para comprobar los resultados y mejorar la calidad del reconocimiento.

Ahora puede editar documentos PDF reconocidos en la ventana del editor de FineReader: los cambios realizados se guardarán en cualquiera de los modos de guardado de archivos PDF admitidos por el programa.

El formato de los archivos PDF creados por FineReader está optimizado para publicarlos en Internet: el usuario podrá ver el contenido de las primeras páginas mientras se descarga el resto del documento.

Nuevas opciones de ahorro

Nuevo formato para guardar los resultados del reconocimiento. microsoftPowerPoint- le permite crear rápidamente nuevas presentaciones o editar las existentes.

Al guardar en microsoftPalabra Se redujo el tamaño del archivo resultante, se mejoró el formato de los documentos con diferentes delimitadores y aparecieron nuevas opciones para guardar imágenes.

Visualización mejorada de elementos de diseño complejos al guardar

V HTML, por ejemplo, envolver texto alrededor de imágenes no rectangulares. Además, se ha reducido el tamaño del archivo HTML, lo cual es muy importante para publicar documentos en Internet.

Facilidad de uso

Actualizado interfaz de usuario intuitiva. Se ha vuelto más conveniente trabajar en entornos profesionales. Las barras de herramientas de edición se han movido a la ventana donde se muestran los resultados del reconocimiento. Han aparecido herramientas convenientes para administrar las ventanas de FineReader: por ejemplo, puede establecer un nivel de ampliación conveniente en cada ventana.

Actualizado guia practica mejorar la calidad del reconocimiento ayudará a un usuario novato a comenzar rápidamente, y un usuario más experimentado podrá configurar mejor el programa para obtener excelentes resultados al trabajar con cualquier tipo de documentos.

Oportunidades profesionales

Ahora en versión Buen lectorProfesionalEdición aquellas funciones que anteriormente estaban disponibles solo para los usuarios de la versión pasaron a estar disponibles CorporativoEdición:

Reconocimiento mejorado códigos de barras, Se admite el reconocimiento de códigos de barras bidimensionales PDF-417.

Herramienta de división de imágenes. Con él puedes dividir las imágenes en áreas y guardar cada área como una página separada del paquete. Esto hace que sea conveniente reconocer varias tarjetas de presentación escaneadas juntas, libros o impresiones de diapositivas de presentaciones de PowerPoint.

Búsqueda morfológica. Cualquier paquete creado en FineReader se puede utilizar como una pequeña base de datos.

con posibilidad de búsqueda morfológica en texto completo. Entre todas las páginas reconocidas del paquete, puede encontrar aquellas páginas que contienen las palabras especificadas en todas sus formas gramaticales (para 34 idiomas con soporte de diccionario).

Soporte de procesadorIntelusando tecnologíaHiper- Enhebrado. El uso de esta tecnología puede aumentar significativamente la productividad, lo cual es especialmente importante si la tarea es reconocer una gran cantidad de documentos.

FineReader 7.0 también presenta otras funciones profesionales:

Escaneo a doble cara. Escanear un documento con un impreso

con texto en ambos lados utilizando un escáner que admita esta opción, recibirá imágenes del contenido de cada lado en forma de dos páginas separadas del paquete. Si solo necesita escanear una cara de un documento, puede desactivar esta opción.

Se admite la apertura de archivos gráficos del formato. JPEG 2000 y guardar en este formato.

RedposibilidadesversionesEdición corporativa de FineReader

Todas las funciones de instalación y uso de FineReader Corporate Edition en una red corporativa se describen en detalle en la Guía del administrador del sistema, que puede encontrar en la subcarpeta Administrador" sGuía carpetas del servidor donde se instaló FineReader.

Principales mejoras respecto a la versión anterior:

Soporte para métodos básicos de instalación automática desde un servidor a estaciones de trabajo. FineReader Corporate Edition admite todos los métodos principales de instalación automática en una red local: usando Active Directory, Microsoft Systems Management Server o usando la línea de comando.

Trabajar con dispositivos multifuncionales, incluidos los de red. Los dispositivos multifunción que combinan las funciones de escáner, impresora, fotocopiadora y fax son cada vez más populares. Ahora no es necesario instalar a cada empleado su propio escáner: basta con un dispositivo potente con el que trabajan todos los usuarios de la organización. FineReader puede funcionar con dichos dispositivos, tanto conectados a una estación de trabajo como en red. La configuración especial del programa permite al usuario abrir automáticamente imágenes escaneadas desde cualquier lugar de la red local o desde un servidor FTP y reconocerlas.

Varios modelos de licencias por volumen. Además de las licencias basadas en el número de usuarios simultáneos, también están disponibles otros métodos de concesión de licencias. Podrás elegir la opción que mejor se adapte a tus necesidades.

LicenciaGerente- una herramienta para gestionar licencias en la red. EN Buen lectorCorporativoEdición Ha aparecido una cómoda utilidad de gestión de licencias (License Manager). Ayuda a realizar un seguimiento del uso de FineReader en estaciones de trabajo, reservar licencias para estaciones de trabajo y agregar nuevas licencias.