Skip to main content

260611_procédure Komga-PDF par Claude sur StirlingPDF

La procédure Komga-PDF est un script de compression de fichiers PDF pour réduire considérablement la taille du stockage des bibliothéques d'ouvrages de la collection de Julien.
En effet, l'acquisition de fichiers issus de bases de données Intenet accumule des fichiers PDF en haute résolution (images surtout). Ces fichiers sont synchronisés entre les NAS Synology et un disque dur Kdrive INfomaniak de 6 To.

Contexte

Des points de montage Rclone relient alors les répertoires Kdrive et les containers Opensource installés sur le VPS OVH juxjux.ovh. Ces containers lisent les PDF à la volée - permettant ainsi de construire une infrastrucure de très forte densité de connaissances digitales (epub,pdf, images, videos, musiques....) avec une solution serveur d'entrée de  gamme - 10 €uros par mois tout inclus.
Cette architecture réseau fonctionne car les montages webdav évitent le besoin de stockage sur le VPS même (qui est extrêmemt cher) en réservant les gigas du VPS (100 Gigas) aux seules unités logicielles.

Besoins à l'origine de la procédure Komga-PDF 
La lecture des fichiers PDF se réalise principalement sous deux outils Docker : 
1/ Komga pour les magazines et les Bandes Dessinées (BD) 
2/ Kavita pour les livres (romans, essais, manuels universitaires, ouvrages thématiques sur la cuisine, l'art...)

La lecture réseau est multi-support : PC, tablette, téléphone portable.....Elle est aussi nomade, séquentielle (reprises de lecture), pressée....
Donc la rapidité, la legéreté, la facilité sont les maîtres mots de l'architecture de lecture du Jux_VPS. 
Et dans ce cadre, la  compacité des fichiers PDF devient nécessaire afin de difuser rapidement sur les réseaux et être démodulés par les containers Docker. Un fichier PDF qui est un magazine ou un ouvrage sur l'informatique ne doit pas peser 130 Mo - et ce pour etre lu sur un écran de 10 pouces le plus souvent.

Ainsi, l'objectif de la procédure Komga-PDF est d'automatiser la réduction des nouveaux fichiers PDF qui entrent dans la bibliothèque de Julien (skrinking en anglais).

Procédure 

  • les nouveaux PDF sont toujours placés dans le dossier Syncthing du VPS - home/debian/documents/komga-pdf
  • La machine IA (Claude actuellemnent) surveille ce dossier à chaque nouvelle instance et automatise sa compression sur Stirlingpdf, applicaiton avec laquelle la machine a une connexion MCP.
  • une fois la compression effectuée, la machine IA dépose le PDF compressé dans le dossier du NAS sasnexte - volume1/sasnexte/komga/PDF_compressed
  • Julien reclasse lui même les PDF du repertoire PDF_compressed vers le dossier thematique de son choix 
  • la machine IA ne supprime pas les PDF originaux dans home/debian/documents/komga-pdf afin que Julien vérifie et valide la compression effectuée, et le cas échéant, conserve l'original (ouvrage pour lequel la haute résolution est souhaitée par exemple).