un BookScanner à Paris

Post-traitement : Scantailor

Guillaume — 2014-09-03T19:58:14Z

Une fois le livre scanné, on obtient une série d'images (format .tif). On va maintenant optimiser ces images pour la reconnaissance de caractères, grâce Scantailor.

Scantailor peut être lancé :

depuis une machine distante (personnes autorisées)
depuis votre machine

Utiliser Scantailor sur votre machine

Pré-requis

Télécharger et installer Scantailor
Télécharger le projet de livre numérique vers votre ordinateur
— le projet de livre est un répertoire (ex : mon-livre) accessible sur une des machines du réseau (nommée "Platon")

Générer un projet Scantailor

Ouvrir le gestionnaire de bookscanner avec votre navigateur
— si vous êtes au bookscanner, le gestionnaire est à l'adresse http://192.168.0.240
— sinon, utilisez l'adresse http://adresse à compléter
Sélectionner votre projet de livre numérique (ex : mon-livre)
Dans la barre latérale ("Étapes du projet"), aller à "Post-process"
En zone centrale, dans le champ "Substituer", insérer l'adresse du répertoire que vous avez téléchargé précédemment
— sous linux ce dossier est à une adresse comme /home/benjamin/mon-livre par ex.
Faire "Améliorer les images de ce projet avec Scantailor"
RE-télécharger le projet de livre numérique depuis Platon vers votre ordinateur
— le projet a été mis à jour sur Platon, il faut donc le re-télécharger, oui, oui

Lancer Scantailor

Dans le répertoire du projet de livre numérique, ouvrir le fichier .scantailor (ex : mon-livre.scantailor) pour lancer Scantailor

Relinker les fichiers (si besoin)

Au lancement de Scantailor une fenêtre "relinking" peut s'ouvrir. Cela signifie que Scantailor n'a pas trouvé les fichiers. Il faut lui donner l'adresse du bon répertoire. Pour cela :

Fermer Scantailor
Ouvrir le fichier .scantailor dans un éditeur de texte basique (bloc notes, gedit)
Dans la 1ere ligne remplacer l'adresse erronée
— La ligne commence par , suivi de l'adresse erronée, suivie de "booktif". Il FAUT conserver "booktif" à la fin de l'adresse.
Dans la 3e ligne, corriger à nouveau l'adresse des fichiers — La ligne commence par id="1"/>, suivi d'une adresse finissant par "book". Là encore, l'adresse doit finir par "book".
Sauvegarder le fichier .scantailor
Relancer Scantailor

`Définir les zones de texte`


Scantailor va détecter automatiquement les zones de texte.
 Dans la barre latérale, sélectionner directement l'étape 5 "Définir les marges"
 Cliquer le logo "lecture" pour lancer les étapes 1 à 5. Ne plus cliquer dans Scantailor pendant l'opération, cela stoppe tout.
 Dans la barre latérale, sélectionner l'étape 4 (avant 5) pour corriger manuellement les imprécisions de la détection automatique.
 Balayer l'ensemble des pages du projet. Quand nécessaire, redimensionner le cadre bleu pour réduire / augmenter la zone reconnue par Scantailor.

— Si le texte d'une page est hors du cadre bleu, rectifier manuellement la sélection. Si la sélection déborde sur la page voisine, la réduire au texte de la page en cours.

— Répéter l'opération sur chaque page concernée
 Cliquer dans étape 6 "Sortie" et choisir le mode plus approprié : "noir et blanc" est très bien pour du texte ; "couleurs niveaux de gris" pour les images ou cartes. 
— Il est possible d'appliquer un choix à toutes les pages mais la sélection manuelle garantit un meilleur résultat
 Sélectionner la première image du livre
 Cliquer sur l'icône "lecture" de l'étape 6
 Quitter scantailor
Les images optimisées pour la reconnaissance de texte sont disponibles. Elles sont situées dans un répertoire "booktif" à l'intérieur du répertoire de votre projet de livre (ex : mon-livre/booktif). On peut à présent les soumettre à Tesseract, le logiciel de reconnaissance optique de caractères.
Astuce
Le résultat de Scantailor peut ne pas être esthétique (traces, grands espaces blancs). Astuce pour améliorer l'esthétique : relancer Scantailor !
Utilisez le résultat de Scantailor (=vos fichiers prêts pour l'ocr) et utilisez les comme entrée de Scantailor (comme s'il s'agissait d'images non optimisée pour l'ocr). Allez directement à l'étape 6 et mettez le DPI sur **la même résolution** que lors du 1er passage à Scantailor (300 DPI probablement).



Avant de scanner : la préparation matérielle
Guillaume — 2014-07-02T19:18:06Z

		L'espace de scannage
 Éteindre la lumière ambiante ou réduire l'éclairage autour du scanneur
 Éviter de placer des objets pouvant endommager le scanneur autour de lui (eau, sable, vent, animaux, etc.)
Le scanner
Général
 Dépoussiérer le scanner
LED
 Allumer la LED, en la branchant au secteur
Appareils photos
 Vérifier que les appareils sont reliés au secteur
 Installer chacun des appareils dans son pas de vis respectif (voir étiquettes droite / gauche sous les appareils)
 Raccorder les appareils à l'ordinateur par cable USB.
 Allumer les appareils
Vitre
 Nettoyer la vitre (produit nettoyant)


Erreur fréquentes
 Appuyer par erreur sur un bouton de l'appareil photo (après allumage)
L'ordinateur
 Allumer l'ordinateur
 Ouvrir un navigateur web (Iceweasel) : le gestionnaire de projet est en page d'accueil
 Si vous n'accédez pas immédiatement au gestionnaire, tapez http://localhost dans la barre d'adresse
 Penser à passer root puis appeler le daemon des appareils photo :
su
cd /var/www/sh
./camdriver_daemon.sh


Tutoriel : numériser un livre
Laura — 2014-02-19T17:17:30Z

		Préparation matérielle
 Voir l'article détaillé
Création d'un nouveau projet de scan
 Cliquer sur « nouveau projet », l'intituler, remplir les métadonnées (au minimum : titre de l'ouvrage), valider
 les appareils (si vidés des photos précédentes) vont afficher « aucune image » sur leurs écrans —> dans le menu « actions » du logiciel, cliquez « rechercher les appareils photos »
 une fois le message vert affiché, positionner le livre dans son berceau, ouvert sur une double page avec du texte sur chaque page
 cliquer sur « préparer les appareils » et attendre la mise au point.
Calibrage
 vérifier que l'on a bien les marges noires du tissu en dessous qui apparaissent
 pour zoomer et dézoomer, utiliser les boutons sur le logiciel
 soulever le livre jusqu'aux vitres puis appuyer une première fois sur « capturer les images » pour faire un essai. Vérifier l'image sur l'écran des appareils
 veiller à cadrer de façon à ce que l'autre page apparaisse le moins possible
 pour les petits formats, veiller à ne pas trop dézoomer, afin de ne pas avoir de trop grandes marges à corriger par la suite. En gros, pas trop de tissu noir autour de la page.
 Si les premières photos sont floues, il est possible de donner du jeu aux molettes qui tiennent les appareils, en les desserrant ou les resserrant.
Scannage proprement dit
 soulever le berceau, puis appuyer sur le barre d'espace du clavier ce qui enclenche les appareils. Bien attendre le « bip » de chaque appareil avant de rabaisser le berceau. Ils ont quelques secondes de décalage.
enchaînez les pages. Enjoy.
 Faire régulièrement des téléchargements : « bouton télécharger et effacer les fichiers ». Supplément appréciable : garder en tête le numéro de la page à laquelle on s'est arrêté. Lors du premier téléchargement, vérifier vite fait sur le serveur Platon que les photos ne sont pas floues. Après chaque téléchargement la première photo de la nouvelle série doit être prise via le bouton "prendre 2 photos" et non avec la barre d'espace (qui risque de refaire un transfert)
 de manière générale, attendre que chaque étape soient validées par un message de couleur verte. Le vert est votre ami.
 au moindre doute, refaire la photo et noter le numéro de ces pages pour supprimer les doublons à l'étape du post-traitement.
Erreurs fréquentes à éviter :
 ne pas faire le zoom à partir des appareils photos / utiliser les boutons « zoom » « dézoom » dans le logiciel, via l'écran
 ne pas oublier de mettre l'appareil « droite » à droite et le « gauche » à gauche (on insiste)
 ne jamais éteindre les appareils quand le logiciel est en train d'accomplir une tâche (couleur orange)
 surtout ne pas oublier de supprimer les photos doublons, avant toute amélioration via scantailor sous peine de décaler tous les numéros de page, et de vous transformer ainsi en Sisyphe post-moderne.
 que faire en cas de gros plantage ? crier : Benjamin ! Non, en vrai, la réponse en cours de rédaction
 la barre espace du clavier effectue l'action du dernier bouton enclenché
 Vérification des fichiers :
 Ouvrir les répertoires correspondant au livre, via l'explorateur de fichier, vérifier que le nombre de photos est pair (autant de fichier left que right)
 Supprimer les images inutiles : doublons, flous, etc.
 Attendre que le projet soit uploadé sur biblio.bookscanner.fr. Attente d'une procédure
Amélioration des images via scantailor
Voir l'article détaillé
Reconnaissance optique de caractères
Ce qui créera des fichiers en .txt
« D'autres instructions suivront », comme dirait l'autre.
 [1]
		
		
[1] source de la photo : By ServiceComDigne (Own work) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons



Liens & Questions
2013-10-30T06:22:00Z

		Voici une liste de questions et réponses accompagnées bien souvent de liens, sur le fonctionnement du scanneur à livres. Si vous avez d'autres questions, Cliquez sur mon nom et utilisez le formulaire en bas de la page pour me contacter.
Par ailleurs, un autre article, Trucs & astuces pour les personnes utilisant le scanneur à livre est disponible pour des réponses plus techniques sur l'utilisation de notre scanneur.
Réponse aux questions fréquemment posées sur le scanneur à livre 
 Je veux scanner un ou plusieurs livres et j'habite en Île-de-France, est-ce possible ?
Probablement, bien que pour l'instant il n'y ait pas de communauté entourant ce scanneur, cela devrait être possible. Contactez-moi via ce formulaire et nous tenterons de trouver un créneau commun.
 Je veux scanner un ou plusieurs livres et je n'habite pas en Île-de-France, est-ce possible ?
Vous devriez commencer par réfléchir à la possibilité de monter votre propre machine, pour que l'idée de base de Dan Reetz, qui consiste à mettre un bookscanner dans tous les ateliers ouverts (appelés aussi hackerspaces) des États-Unis devienne une réalité ici en France !
Si vraiment vous avez un petit nombre de livres rares ou précieux, nous pouvons envisager de nous retrouver au local de la Quadrature du Net pour les scanner. Contactez-moi via ce formulaire et nous verrons ce que l'on peut faire...
 Je veux participer en venant scanner des livres !
La communauté autour de ce scanneur n'est pas encore formalisée, mais le sera bientôt : commencez par vous inscrire à la newsletter (pas plus d'un mail par mois) du site en envoyant un mail vide à nouvelles-subscribe@bookscanner.fr. Dans les mois à venir, nous organiserons des séances de formations pour ceux souhaitant venir scanner des livres ou participer d'une façon ou d'une autre.
 Quel modèle de scanneur à livre avez-vous construit ? 
Celui de la communauté diybookscanner.org (forum en anglais), créée et animée par Dan Reetz.
 Avez-vous inventé ce scanneur ?
Pas du tout, Dan Reetz l'a inventé ! Mais les schémas de ce scanneur étant librement disponibles, j'ai juste monté le mien dans le sous-sol de la Quadrature du Net, je n'ai inventé que diverses bidouilles autour du scanneur pour le rendre facilement utilisable. Par contre j'ai écrit un logiciel permettant de le piloter industriellement dans le but de scanner de nombreux livres dans de bonnes conditions.
 Quel logiciel utilisez-vous ? 
Uniquement du logiciel libre, dans mon cas, Debian GNU/Linux comme système d'exploitation, CHDK et PTPCAM pour le pilotage des appareils photo numérique canon, PHP et les scripts Bash comme langages pour le logiciel que j'ai créé, et nommé Book Scanner Project Manager. Nous utilisons aussi Scantailor pour l'amélioration des images, et Tesseract OCR pour l'OCR.

Enfin, Djvubind est utilisé pour convertir les images tiff. en fichier djvu. Le format djvu contient une couche texte et une couche image.
 J'habite en Europe, puis-je me procurer les pièces difficiles à trouver ? 
Bien sûr ! Mark, qui a aidé à libérer les schémas du modèle de Dan, et participe activement à la communauté diybookscanner.org, propose à la vente des kit plus ou moins complets permettant de réaliser votre propre scanneur.
 Je n'habite pas en Europe, puis-je me procurer les pièces du scanneur ?
Oui, Dan peut vous fournir les pièces du scanneur dans le monde entier, rendez-vous sur sa microboutique pour cela (c'est ici que je me suis procuré les planches du scanneur)
 Votre scanneur tourne-t-il les pages automatiquement ? 
Hélas non, nous avons fait le choix d'un modèle simple, donc manuel. Il faut tourner les pages à la main. Cela rend le design nettement moins complexe, et la réalisation de votre propre machine envisageable. Enfin, pour des livres fragiles ou anciens, je déconseille toute machine automatique qui risquerait de plier ou déchirer une page en la tournant.
Si vous cherchez un modèle tournant les pages, j'ai pu voir en vrai (mais pas en marche) ce scanneur issu des technologies de Google Books


Création d'un déclencheur à double cable de frein
Benjamin Sonntag — 2013-07-24T18:35:34Z
Mise à jour : joies du bidouillage, cette option a été abandonnée
Devant les problèmes de plantage récurrent du système de déclenchement de la capture des photos via PTPCAM et le bus USB, nous avons décidé de passer à un système manuel.
Ce système présente plusieurs avantages : pas de pilotage logiciel, mais un "clic" "manuel" sur le bouton du déclencheur, donc une compatibilité avec tous les appareils photos
Ensuite, il n'y a désormais plus besoin d'un ordinateur pour faire fonctionner le système de capture, le rendant beaucoup plus simple !
Et qui dit "plus simple" dit souvent "plus fiable" et "plus robuste".
Nous nous sommes donc lancés dans ce montage :


Petits morceaux de bois de 1cm, tige filetée, écrous de 3mm, perceuse ...


Beaucoup de bidouille ... et surtout la fameuse poignée de frein de vélo à double câble (permettant de piloter 2 patins de frein de vélo).
Ce type de poignée est utilisée sur les triporteurs hollandais, ou pour les vélos équipés pour handicapés.


Et voilà ! Après des réglages fins et un peu longs, nous avons un système de déclenchement au point !