Pular para o conteúdo principal

01 — ahgAIPlugin: inteligência artificial como camada de processamento do acervo

 

AHG Plugins para AtoM: uma leitura arquivística e tecnológica

01 — ahgAIPlugin: inteligência artificial como camada de processamento do acervo

Por Daniel Flores — Líder do Grupo de Pesquisa PDS & Ged/A – UFAL

O Grupo de Pesquisa PDS & Ged/A – Documentos Digitais: Transformação Digital da Gestão Documental, Curadoria, Preservação, Acesso e Transparência Ativa em Cadeia de Custódia Digital Arquivística, da Universidade Federal de Alagoas, inicia uma série de estudos dedicada aos AHG Plugins para AtoM, desenvolvidos pelo Archive Heritage Group.

A proposta não é produzir uma sequência de tutoriais de instalação.

Nossa intenção é outra: examinar tecnicamente essas extensões e discutir o que elas representam para os sistemas arquivísticos contemporâneos.

Para isso, estamos realizando uma leitura que combina documentação, código-fonte, arquitetura de software, dependências, modelos de dados, mecanismos de processamento e, sobretudo, uma interpretação à luz da Arquivologia, da gestão documental, da preservação digital e da Cadeia de Custódia Digital Arquivística.

Começamos pelo ahgAIPlugin.

E talvez seja importante explicar por quê.


Não estamos diante de “um plugin de ChatGPT”

A primeira impressão de quem encontra a expressão AI Plugin for AtoM pode ser a de que estamos diante de uma interface conversacional adicionada ao AtoM.

Não é isso.

O ahgAIPlugin constitui uma camada de serviços de processamento que incorpora ao ambiente AtoM diferentes técnicas de Inteligência Artificial e aprendizado de máquina: Named Entity Recognition (NER), tradução, sumarização, correção textual, sugestões de descrição baseadas em LLM, Handwritten Text Recognition (HTR), descrição de objetos digitais e processamento em lote, entre outras funcionalidades.

A arquitetura também contempla diferentes possibilidades de provedores de modelos, incluindo Ollama, OpenAI e Anthropic, além de componentes próprios para gerenciamento de configurações, tarefas, extrações, sugestões e resultados.

Isso muda a pergunta.

Não devemos perguntar apenas:

“Como colocar IA no AtoM?”

A questão mais interessante é:

“Que lugar a IA passa a ocupar dentro do ciclo de tratamento, representação, acesso e uso dos documentos arquivísticos?”

Essa é uma questão muito maior.


O ponto de partida: o documento não é a descrição

Há uma distinção que consideramos fundamental.

Quando um modelo de IA lê um documento e produz um resumo, identifica uma pessoa, reconhece uma instituição, traduz um trecho ou propõe uma descrição, ele está produzindo uma informação derivada do documento.

Isso não significa que tenha produzido automaticamente uma descrição arquivística.

Parece uma diferença pequena.

Não é.

A descrição arquivística não decorre simplesmente da leitura do conteúdo textual de um documento. Ela se relaciona ao contexto de produção, à proveniência, à organicidade, à estrutura do fundo, às funções e atividades, às relações entre agentes e documentos e às decisões de representação realizadas pela instituição arquivística.

Por isso, o potencial do ahgAIPlugin não está em substituir a descrição arquivística por texto produzido por uma máquina.

Está na possibilidade de introduzir novas camadas de processamento e enriquecimento sobre a informação arquivística existente.

Essa distinção, para nós, é essencial.


NER: talvez aqui esteja uma das possibilidades mais interessantes

O Named Entity Recognition permite identificar automaticamente entidades presentes nos conteúdos processados.

Pessoas.

Instituições.

Lugares.

Datas.

Organizações.

Em um acervo extenso, isso pode representar uma mudança importante na capacidade de descoberta.

Pensemos em milhões de páginas digitalizadas.

Tradicionalmente, o pesquisador encontra aquilo que foi descrito e indexado.

Com processamento automático, começamos a caminhar para outra possibilidade:

o próprio conteúdo documental passa a alimentar novas possibilidades de representação e recuperação.

Mas existe uma questão arquivística decisiva.

Suponhamos que a IA encontre:

“João da Silva”.

Ela reconheceu uma entidade.

Mas qual João da Silva?

É o mesmo agente que aparece em outro documento?

É um produtor?

Um destinatário?

Um signatário?

Uma autoridade?

Um homônimo?

A identificação computacional da ocorrência é apenas a primeira etapa.

A segunda é a contextualização arquivística da entidade.

E essa diferença nos parece particularmente importante para o desenvolvimento de sistemas que pretendam avançar de uma lógica documental hierárquica para uma lógica também relacional e semântica.


Do texto à relação

É justamente aqui que o NER começa a adquirir outra dimensão.

O interesse não está somente em produzir uma lista de entidades encontradas.

O que nos interessa é a possibilidade de construir relações:

documento → pessoa

documento → instituição

documento → lugar

pessoa → instituição

pessoa → função

documento → evento

E, posteriormente, relacionar essas entidades ao contexto arquivístico já existente.

É nesse ponto que tecnologias como NER, grafos de conhecimento e modelos semânticos começam a dialogar diretamente com iniciativas contemporâneas como Records in Contexts (RiC/RiC-O).

Ou seja:

a IA pode ser uma tecnologia de extração; a Arquivologia continua sendo necessária para produzir contexto.

Essa distinção é uma das questões que pretendemos acompanhar ao longo desta série.


Uma característica importante: processamento automático

Um aspecto que merece atenção no ahgAIPlugin é sua integração com o próprio ciclo de inserção de objetos digitais.

O plugin contempla mecanismos para que determinados processos sejam acionados após o upload de objetos compatíveis, inclusive utilizando filas de processamento.

Isso é significativo.

Porque desloca a IA de uma ferramenta acionada eventualmente pelo usuário para uma possível etapa do pipeline de processamento documental.

Podemos representar conceitualmente:

objeto digital

extração/processamento

reconhecimento

enriquecimento

revisão

disponibilização/recuperação

A consequência é importante: quando a IA entra no pipeline, seus resultados deixam de ser apenas respostas ocasionais e passam a constituir informação produzida pelo próprio sistema.

E, nesse momento, surge inevitavelmente a questão da proveniência.


Quem produziu a informação produzida pela IA?

Essa talvez seja uma das perguntas que mais nos interessam neste estudo.

Imagine que o sistema produza uma transcrição automática.

Ou uma descrição.

Ou uma tradução.

Ou uma entidade.

Ou um resumo.

Ou, futuramente, um embedding.

Temos então uma nova informação associada ao documento.

Mas:

quem a produziu?

Qual modelo?

Qual versão?

Qual ferramenta?

Em que data?

A partir de qual objeto?

Com qual configuração?

O resultado foi revisado?

Por quem?

Foi posteriormente alterado?

Foi descartado?

Foi substituído por outro resultado?

A questão é particularmente importante porque uma arquitetura arquivística não pode tratar indistintamente:

documento preservado

e

informação produzida computacionalmente a partir desse documento.

São coisas diferentes.


IA e proveniência: uma questão que ainda precisará avançar

Nesse aspecto, consideramos especialmente relevante que o ecossistema AHG também desenvolva mecanismos relacionados à proveniência e auditoria.

A direção arquitetural que estamos observando é interessante porque permite imaginar uma separação entre o objeto arquivístico e as sucessivas camadas de processamento realizadas sobre ele.

Teríamos algo semelhante a:

Objeto digital

→ OCR

→ HTR

→ NER

→ tradução

→ sumarização

→ descrição assistida

→ classificação

→ indexação semântica

→ outros derivados.

Cada uma dessas operações poderia ser entendida como uma transformação ou derivação computacional, e não como alteração do documento original.

Essa perspectiva é particularmente compatível com uma discussão mais ampla sobre cadeia de custódia, autenticidade, proveniência e preservação digital.


E os LLMs?

O ahgAIPlugin também introduz os Large Language Models no ambiente AtoM.

Aqui, novamente, precisamos evitar uma simplificação.

Um LLM não “compreende” necessariamente o arquivo no sentido arquivístico.

Ele processa linguagem e produz inferências a partir do contexto fornecido.

Portanto, uma aplicação arquivística robusta precisa controlar cuidadosamente qual contexto é fornecido ao modelo e qual evidência sustenta sua resposta.

Isso é particularmente importante quando pensamos em:

  • descrição assistida;

  • perguntas sobre acervos;

  • sumarização;

  • classificação;

  • extração de entidades;

  • recuperação semântica.

É exatamente nesse ponto que começamos a nos aproximar da discussão sobre RAG — Retrieval-Augmented Generation.

Mas há uma ressalva:

o ahgAIPlugin não deve ser confundido com uma arquitetura completa de RAG arquivístico.

Ele oferece componentes importantes para chegar lá.

Mas RAG envolve uma arquitetura adicional de recuperação, indexação, representação vetorial, seleção de contexto e geração fundamentada.

Essa diferença será importante em nossos próximos estudos.


Ollama: uma possibilidade especialmente interessante

Entre as opções de integração está o Ollama, permitindo trabalhar com modelos executados localmente.

Para instituições arquivísticas, isso merece atenção.

Não apenas por uma questão de desempenho ou custo.

Mas por questões de:

soberania tecnológica;

governança dos dados;

controle institucional;

privacidade;

documentos restritos ou sensíveis;

dependência de provedores externos.

Não significa que processamento local seja sempre a melhor solução.

Significa que uma arquitetura arquivística contemporânea deve permitir discutir onde o documento será processado e sob qual jurisdição tecnológica.

Essa é uma questão que ainda será muito relevante na implantação institucional de IA em arquivos.


HTR: quando o manuscrito começa a se tornar pesquisável

Outro recurso do plugin que merece atenção é o Handwritten Text Recognition (HTR).

Aqui encontramos uma possibilidade particularmente poderosa para arquivos históricos.

Durante décadas, muitos acervos digitalizados permaneceram acessíveis apenas visualmente.

A imagem existe.

Mas o conteúdo textual não está necessariamente disponível para pesquisa automática.

Com HTR, abre-se a possibilidade de:

manuscrito → reconhecimento → texto → indexação → recuperação.

Isso pode modificar profundamente a experiência de pesquisa em grandes conjuntos documentais.

Mas, novamente, precisamos distinguir:

reconhecimento automático

de

transcrição validada.

O primeiro pode ser extremamente útil.

O segundo exige critérios adicionais de validação.

A diferença não é meramente técnica.

É epistemológica e arquivística.


O que consideramos mais promissor?

Depois de analisar o plugin, nossa impressão é que seu maior potencial não está em uma funcionalidade isolada.

Está na possibilidade de combinar diferentes processos.

Por exemplo:

HTR

produz texto a partir de manuscritos.

NER

identifica entidades.

LLM

pode auxiliar na interpretação e sumarização.

descrição

pode receber sugestões.

indexação

amplia a descoberta.

recuperação semântica

pode aproximar conteúdos relacionados.

O sistema começa, então, a operar não apenas sobre os metadados inseridos pelo arquivista, mas também sobre camadas derivadas do próprio conteúdo documental.

Esse é um movimento muito significativo.


Mas há um limite que não devemos ultrapassar

A automação pode acelerar processos.

Pode ampliar a capacidade de tratamento.

Pode revelar relações que dificilmente seriam percebidas manualmente em grandes volumes.

Pode melhorar o acesso.

Pode auxiliar pesquisadores.

Mas existe uma fronteira que precisa permanecer explícita:

inferência computacional não é contexto arquivístico.

Um modelo pode identificar uma pessoa.

Não significa que compreendeu sua função no contexto de produção documental.

Pode resumir um documento.

Não significa que determinou seu valor arquivístico.

Pode reconhecer uma relação.

Não significa que essa relação seja arquivisticamente válida.

Pode gerar uma descrição.

Não significa que a instituição deva incorporá-la sem avaliação.

É justamente por isso que consideramos fundamental que os resultados produzidos pela IA sejam rastreáveis, distinguíveis e sujeitos a governança.


Nossa leitura crítica

O ahgAIPlugin nos parece uma extensão de grande interesse porque representa uma mudança qualitativa na relação entre AtoM e processamento computacional do conteúdo documental.

Seu mérito principal, a nosso ver, não está em “colocar IA no AtoM”.

Está em começar a construir uma camada de processamento inteligente capaz de transformar conteúdo documental em novas possibilidades de representação, recuperação e exploração.

Ao mesmo tempo, sua adoção institucional exige cautela.

Quanto maior a automação, maior a necessidade de:

proveniência dos resultados;

identificação dos modelos utilizados;

registro das transformações;

separação entre fonte e derivação;

revisão e governança;

controle dos dados enviados a serviços externos;

preservação da evidência que sustenta as inferências.

Em outras palavras:

não basta saber que a IA produziu um resultado. Precisamos saber de onde veio esse resultado, sobre qual documento foi produzido, por qual processo, com qual modelo e sob qual decisão institucional ele passou a integrar o sistema arquivístico.

É aqui que a discussão sobre IA começa a encontrar, de fato, a Arquivologia.


E é justamente por isso que começamos por ele

O ahgAIPlugin permite observar uma transição importante.

O AtoM tradicionalmente organiza e disponibiliza descrições arquivísticas e objetos digitais.

Com extensões desse tipo, começamos a experimentar um ambiente no qual o sistema também pode:

ler → extrair → reconhecer → relacionar → sugerir → enriquecer → recuperar.

A questão para nós, no PDS & Ged/A – UFAL, é compreender como fazer essa transição sem dissolver os princípios que sustentam a informação arquivística.

Porque a transformação digital dos arquivos não pode significar apenas incorporar novas tecnologias.

Ela precisa significar também repensar criticamente como essas tecnologias passam a participar da produção, representação, preservação, acesso e uso dos documentos digitais.

E esse é o objetivo desta série.

Nos próximos posts, continuaremos examinando os AHG Plugins individualmente, procurando ir além da apresentação de funcionalidades: código, arquitetura, instalação, dependências, possibilidades de uso, limitações e implicações arquivísticas.


Daniel Flores
Líder do Grupo de Pesquisa PDS & Ged/A – UFAL
Universidade Federal de Alagoas

Estudo desenvolvido no âmbito das pesquisas do Grupo PDS & Ged/A – Documentos Digitais: Transformação Digital da Gestão Documental, Curadoria, Preservação, Acesso e Transparência Ativa em Cadeia de Custódia Digital Arquivística.

Comentários

Postagens mais visitadas deste blog

Inovação Sustentada

 Inovação Sustentada: Construindo o Futuro com Fundamentos Sólidos No dinâmico cenário da transformação digital, somos constantemente bombardeados com conceitos como "disrupção" e "inovação". Mas, você já se perguntou sobre a Inovação Sustentada e por que ela é tão importante, especialmente em áreas que exigem confiabilidade e estabilidade, como a Arquivologia? O que é Inovação Sustentada? A inovação sustentada é um tipo de inovação que se baseia em referenciais sólidos, ou seja, está profundamente enraizada no arcabouço teórico, epistêmico e metodológico de uma área de conhecimento específica. Em vez de buscar o "novo pelo novo", ela se concentra em aprimorar produtos e serviços já existentes, atendendo às necessidades dos consumidores atuais e seguindo as definições originais de desempenho e qualidade do mercado. Isso significa que a inovação sustentada é o resultado de um estudo minucioso, que harmoniza as demandas do mercado com o rigor científico. Por...

Novas versões do Modelo OAIS (ISO 14721) e normas relacionadas, ISO 16363 e ISO 16919 que foram atualizadas agora no final de 2024

Novas versões do Modelo OAIS (ISO 14721) e normas relacionadas, ISO 16363 e ISO 16919 que foram atualizadas agora no final de 2024 (Links para downloads abaixo): Modelo OAIS - ISO 14721 (versão 2024): CCSDS 650.0-M-3 https://lnkd.in/e2KZHWzn Reference Model for an Open Archival Information System (OAIS) * Modelo de Referência para um Sistema Aberto de Arquivamento de Informações (OAIS) ISO 16363 - Auditoria e Certificação dos RDC's - Repositórios Digitais Confiáveis CCSDS 652.0-M-2 https://lnkd.in/e-fD2Ken Audit and Certification of Trustworthy Digital Repositories (ISO 16363) * Auditoria e Certificação de Repositórios Digitais Confiáveis (ISO 16363) ISO 16919 - Requisitos para Organizações de Auditoria e Certificação baseada na ISO 16363 CCSDS 652.1-M-3 https://lnkd.in/ep-SBg4Q Requirements for Bodies Providing Audit and Certification of Candidate Trustworthy Digital Repositories (ISO 16919) * Requisitos para Organizações que Provém Auditoria e Certificação de Candidatos a Rep...

CNA Salvador 2024

ATENÇÃO! O compromisso bienal dos arquivistas no Brasil  já tem data e local: 14 a 18 de outubro de 2024 no Auditório de Eventos do Quality Hotel e Suítes São Salvador em Salvador/BA! O tema é fundamentado nos cenários que compõem a Epistemologia arquivística, e dentre estes, nas últimas décadas, a Arquivologia tem dialogado de modo profícuo com a Ciência da Informação, Tecnologia da informação e áreas correlatas.  Na contemporaneidade, o movimento na cena da ciência dos arquivos parece apontar para uma nova conjuntura, em que a sua episteme apresenta entrelaços e perspectivas oportunas e desafiadoras com a emergente tecnologia disruptiva, que envolve a Ciência de Dados e a Inteligência Artificial.  Diante dessa possível relação interdisciplinar, cabe à comunidade arquivística fazer os questionamentos:  Como se estabelecem os conceitos de informação e documento arquivístico neste cenário?  Os dados podem constituir-se objeto da área?  Qual o papel do arquiv...