Ingestum: Tu ingesta sana de datos con Python

Descripción completa

Todos conocemos la gran variedad de formatos utilizados hoy en día: el predominante Adobe PDF (una extensión de PostScript), los formatos Microsoft Office tan populares (Word, Excel, PowerPoint), páginas web HTML, archivos XML (que, aún estando bien estructurados, contienen etiquetas arbitrarias por diseño), entre decenas más. El problema está en que la gran mayoría de estos formatos no fueron diseñados para facilitar la extracción de texto, o más precisamente, de texto estructurado. Y, aunque todo el mundo está de acuerdo en que la inteligencia artificial puede transformar el texto procesado en conocimiento a grandes escalas, todavía no fuimos capaces de resolver el problema de cómo lograr alimentar este texto a los modelos de inteligencia artificial de forma robusta. (¡El primer paso, y uno fundamental!) Lógicamente, uno podría escribir un script aislado para, por ejemplo, extraer el texto de PDFs similares (facturas de un mismo proveedor), o de una página HTML, o incluso de redes sociales. Pero eso es ineficiente y no escala. ¿Qué ocurriría si existiese una forma de modelar el proceso de ingestión tal que nuevos modelos puedan ser agregados y los existentes puedan ser actualizados con gran facilidad? Mejor aún, ¿qué pasaría si dicho framework estuviese disponible para todo aquel que necesite extraer texto de documentos desestructurados? Con esto en mente, Ingestum fue diseñado para enfrentar tres desafíos: * Facilitar la escritura de scripts para extraer contenido desestructurado de fuentes y formatos arbitrarios * Proveer un framework para extraer contenido de el diverso universo de formatos fuente existente * Permitir la integración con scripts y servicios de Python con distintos niveles de granularidad.