Archives du mot-clé télécharger

[Google] Rechercher un type de fichier particulier en accès direct



Le moteur de recherche de Google est un outil merveilleux. On peut s’en servir de plein de façons différentes.

Un de celles que j’utilise le plus consiste à rechercher des fichiers à télécharger directement.

Par exemple, pour trouver un mkv de toto le lapin, on tape :

intitle:index.of? mkv Toto.le.lapin

intitle:index of  veut dire que l’on recherche dans le titre de la page les mots « index of ». C’est le titre qu’il y a la plupart du temps sur les pages web par défaut qui proposent des fichiers en accès direct

Bien sûr, on peut remplacer l’extension mkv par une autre mp3, pdf, cbr, …

On ne trouve pas tout mais parfois ça dépanne.

[Post it] Utiliser wget pour télécharger des fichiers d’un répertoire et de ses sous répertoires

Un post it à vocation personnelle, pour me permettre de me souvenir comment télécharger en une seule fois les fichiers d’un certain type se trouvant dans un dossier et ses sous répertoires.

Avant je faisais ça en graphique avec Firefox et DownThemAll, mais sous Linux à la maison, c’est quand même plus pratique en ligne de commande.

Voici la ligne magique à saisir dans le terminal :

wget -r -np -A.mp3 -A.jpg -nH http://adresse_du_site

Explications :

-r : récursif, télécharge ce qui se trouve dans les répertoires parents et enfants de celui qui est indiqué dans l’url.

-np : bloque le téléchargement dans les répertoires parents. Permet de ne télécharger que dans les sous répertoires de celui indiqué dans l’url.

-A.mp3 : ne télécharge que les fichiers avec une extension correspondant à .mp3 dans cet exemple. On rajoute -A.jpg pour les covers par exemple.

-nH : ne crée pas le répertoire correspondant au nom du serveur.

A cette adresse, vous aurez une bonne idée des possibilités de wget et une explication pour chacune d’elles.

[Firefox du mercredi] YouTube Caption Downloader



Ça faisait trèèèèèès longtemps que je n’avais pas présenté une extension pour Firefox. La première raison à cela, c’est que j’utilise à la maison exclusivement (ou presque) Chromium. Et l’autre, c’est que mes habitudes de surfs sont largement stabilisées et je n’avais pas besoin de plus de fonctionnalité que ce que j’avais présenté jusque là.

Mais cette semaine, j’ai eu un besoin nouveau. Comme vous le savez peut être, Youtube propose désormais des sous titres dans certaines vidéos. Le problème, c’est que lorsqu’on télécharge les vidéos en question (il y a des addons pour ça également car la présence des vidéos sur Youtube n’est malheureusement pas garantie comme éternelle …), on ne récupère pas ces sous titres.

Mais un peu comme pour l’Iphone, dans Firefox, il y a une extension pour ça aussi : YouTube Caption Downloader.

Son fonctionnement est on ne peut plus simple. On l’installe, on redémarre Firefox, et désormais sous la vidéo, à coté du nombre de vues, on a un menu déroulant permettant de choisir la langue du CC (Close Caption, le sous titres) et un bouton qui lance le téléchargement au format srt (certainement le plus répandu à ce jour).

youtube subtitle downloader

[Newsgroups] Utilisation de Pan en SSL sous Ubuntu 10.10

Voici un article que j’ai commis dans le numéro de septembre 2010 de Linux Identity à propos des newsgroups et plus particulièrement de l’utilisation Pan avec le SSL dans Ubuntu 10.10.

Les groupes de nouvelles ou Newsgroups sont l’un des plus anciens réseaux de communication de l’ère informatique. Il ont été créés en 1979, avant même l’invention d’Internet. D’abord immense ensemble de forums, permettant de discuter et d’échanger sur de nombreux sujets, il a été par la suite détourné afin de pouvoir également échanger des données binaires, c’est à dire l’équivalent des pièces jointes par email, par opposition au texte brut des débuts. Par ce biais, on peut donc échanger et mettre à disposition des informations non textuelles (image ISO, musique, documents bureautiques, …) de manière aisée.

Pour accéder aux Newsgroups, il faut utiliser soit un logiciel de messagerie (si on ne veut consulter que des Newsgroups texte. Ils ont tous en général un module gérant le protocole NNTP propre aux groupes de nouvelles), soit un client de news si on veut télécharger des fichiers binaires (ces clients lisent aussi bien sûr les messages texte).
Sous Ubuntu, on peut utiliser Pan qui s’intègre parfaitement dans un environnement de bureau GNOME. Il se trouve dans les dépôts, donc vous pouvez l’installer via Synaptic, la logithèque Ubuntu ou en ligne de commande.
Ce programme supporte le cryptage via le protocole SSL au prix de quelques aménagements, ce qui permet de télécharger de manière anonyme, sans que personne ne sache ce qui va transiter par votre ligne Internet. La sécurisation des données est ainsi assurée.

L’autre pré-requis pour accéder aux Newsgroups est l’adhésion à un fournisseur d’accès (en général payant) et qui supporte le cryptage SSL. En effet, l’accès aux groupes binaires via les fournisseurs d’accès Internet traditionnels n’est plus possible.
Nous allons voir dans un premier temps comment paramétrer Pan pour utiliser un cryptage SSL, puis nous verrons rapidement comment l’utiliser.

Installation et paramétrage du SSL

Nativement, Pan ne permet pas de profiter du cryptage SSL. Il va donc falloir passer par le service stunnel pour pouvoir jouir de cette fonctionnalité. C’est stunnel qui va encrypter les données entrant et sortant de Pan pour les transmettre ensuite au fournisseur d’accès de Newsgroups.

Paramétrage de stunnel

Pour installer stunnel, vous pouvez choisir la méthode que vous préférez, mais recherchez le paquet stunnel4. Par exemple en ligne de commande :
sudo apt-get install stunnel4

Il faut ensuite configurer les options du programme. Pour cela, ouvrez avec les droits de super utilisateur le fichier /etc/stunnel/stunnel.conf dans un éditeur de texte (figure 1).
sudo gedit /etc/stunnel/stunnel.conf

stunnel.conf (-etc-stunnel) - gedit_001

Dans le fichier qui va s’ouvrir, les zones que vous devez modifier sont celles en gras ci-dessous :

; Certificate/key is needed in server mode and optional in client mode
;cert = /etc/ssl/certs/stunnel.pem
;key = /etc/ssl/certs/stunnel.pem

; Some debugging stuff useful for troubleshooting
debug = 7
output = /var/log/stunnel4/stunnel.log

; Use it for client mode
client = yes

; Service-level configuration
[nntp]
accept = localhost:119
connect = news.z51.biz:563

En résumé, on commente la ligne « cert = /etc/ssl/certs/stunnel.pem  » en mettant un « ; » devant et on décommente les lignes sur le debugging, le mode client, en enlevant le « ; » qui se trouve devant ces lignes dans le fichier d’origine.
Enfin, il faut ajouter les lignes du pavé [nntp] (voir ci-dessus) à la fin du fichier, entre le pavé [https] et « ; vim:ft=dosini ».
La ligne « accept » définit que l’on va passer par localhost sur le port 119 pour le client et « connect » que l’on va se connecter à l’adresse du fournisseur de Newsgroups (ici « news.z51.biz ») sur le port 563. Attention, certains fournisseurs ont des adresses différentes pour le SSL et le non SSL, renseignez bien l’adresse adéquate.
Enregistrez et fermez le fichier.

Petite aparté pour ceux qui ne sont pas familiers avec les fichiers de configuration au format texte, les points virgules (;) devant certaines lignes servent à les commenter, c’est à dire à ne pas les faire prendre en compte lors des traitements. Cela peut servir à ne pas activer certaines fonctionnalités ou à laisser des commentaires ou des indications sur la façon de se servir du fichier. Vous rencontrerez également le caractère dièse (#) avec ce rôle.

Une fois paramétré, il faudra activer le service stunnel. Pour cela, il faut encore modifier un fichier de configuration en mode texte, toujours avec les droits de super utilisateur (figure 2).
sudo gedit /etc/default/stunnel4

stunnel4 (-etc-default) - gedit_002

Le changement à apporter est en gras :

# Change to one to enable stunnel automatic startup
ENABLED=1
FILES= »/etc/stunnel/*.conf »
OPTIONS= » »

Il faut mettre la valeur ENABLED (sous la ligne « # Change to one to enable stunnel automatic startup  ») à 1 au lieu de 0.
On enregistre le fichier et on le ferme. On peut désormais lancer le service stunnel pour qu’il soit opérationnel. Cela se fait en ligne de commande en tapant :
sudo /etc/init.d/stunnel4 start

Si tout se passe bien stunnel devrait se lancer à chaque démarrage. Si toutefois vous aviez un problème de lancement du service, vous pouvez utiliser la commande suivante pour relancer stunnel :
sudo /etc/init.d/stunnel4 restart

Paramétrage de Pan

Pan devant déjà être installé, il faut le lancer, via le menu Applications > Internet > Pan Newsreader. (figure 3)

Menu_003

Si c’est la première fois que vous utilisez Pan, il va vous demander d’ajouter un serveur de news. Sinon, vous pouvez arriver au même résultat en passant par le menu Edit > Edit New Servers.(figure 4)

Menu_004

Dans le pavé qui s’affiche, vous allez remplir « Address » avec « Localhost » et le port avec « 119 ». En effet, c’est à travers cette adresse (que nous avons renseignée dans le fichier de configuration de stunnel) que nous allons faire passer les données via SSL. C’est la raison pour laquelle vous ne rentrez pas l’adresse de votre fournisseur ici. Ensuite, renseignez vos login et mot de passe pour accéder aux Newsgroups.

Pan_ Add a Server_006

Les 3 derniers choix sont à votre convenance. Toutefois, si vous pouvez télécharger avec plus que 4 connexions simultanées (Connection Limit), il vous faudra éditer le fichier /home/votre_nom_d_utilisateur/.pan2/servers.xml et de remplacer 4 par le nombre de connexions auxquelles vous avez droit avec la propriété .

Ce qui donnera pour 5 connexions :

5

En revanche, faites attention après cela à ne pas changer vos paramétrage en passant par le menu « Edit Server » de Pan, car vous devriez recommencer cette manipulation.

Utilisation de Pan

Une fois le SSL et Pan paramétrés, il reste à l’utiliser pour télécharger. Pour cela, il y existe deux solutions complémentaires. Soit vous choisissez de regarder les sujets dans les groupes de discussion qui vous intéressent, soit vous passez par un moteur de fichiers nzb, qui sont un peu l’équivalent des annuaires de fichiers torrent.

Téléchargement directement dans les groupes de discussions

La première chose à faire est de mettre à jour la liste des groupes. Pour cela, aller dans le menu Groups > Refresh Group List. (figure 5)

Menu_001

Dans mon cas, c’est plus de 70 000 groupes qui sont récupérés et qui s’affichent dans la zone de gauche de l’interface (figure 6). Mais pas de panique, on peut facilement faire le tri dans ceux qui vont nous intéresser. En effet, les groupes ont une règle de nommage assez précise et qui facilite les choses.

Pan_002

Le pavé de saisie qui est juste au dessus de la partie gauche de l’interface (« Group Name ») permet de filtrer au fur et à mesure de la saisie. Donc si on tape « linux », le choix se resserre. Reste à savoir à quoi on a affaire. Pour effectuer un téléchargement, il faut choisir les groupes qui comportent dans leur nom le terme « binaries » (binaire en français). Les autres seront des groupes texte, de discussion pure.

Si on clique sur le nom du groupe, Pan propose alors de télécharger les en-têtes (headers) du groupe de plusieurs façons : pour les N derniers jours, les nouveaux en-têtes, tous les en-têtes du groupe (attention sur certains groupes ça peut être très long) et les N derniers en-têtes (figure 7).

Pan_ alt.comp.linux_004

En général, il vaut mieux télécharger lors de la première fois, les en-têtes des N derniers jours (en fonction de la rétention de votre fournisseur de Newsgroups). Et par la suite, choisir de rapatrier les nouveaux en-têtes.

Une fois qu’ils sont récupérés, la partie droite de l’interface se remplit de messages, qui vont vous permettre d’effectuer la recherche permettant de trouver ce que nous cherchons. Le plus simple pour cela est encore une fois d’utiliser la zone de saisie qui contient une petite loupe (« Subject or Author »). Par exemple, j’ai ici saisi « unet » et on voit qu’il me remonte des lignes qui contiennent les sources d’Unetbootin (un programme de création de clé usb bootable). (figure 8)

Pan_ alt.binaries.linux_003

Pour le télécharger, il suffit de sélectionner ces lignes (avec Ctrl + A, ou clic souris en maintenant Ctrl appuyé ou avec le clavier), de cliquer droit et de choisir « Save Articles ». Il ne reste plus qu’à sélectionner le dossier de sauvegarde et de cliquer sur « Save » et c’est fini. (figure 9)

Pan_ Save Articles_006

Les téléchargements se retrouvent dans la file d’attente que l’on peut afficher en cliquant sur le bouton « Tasks » qui se trouve en bas à gauche.

Le gros avantage de ce type de fonctionnement est qu’on peut voir tout ce qui se passe sur un groupe donné. L’inconvénient est que si ce groupe comporte énormément d’en-têtes, ça peut prendre beaucoup de temps. Heureusement, il existe une autre méthode, qui consiste à passer par des sites recensant des fichiers nzb.

Téléchargement grâce aux fichiers nzb

Un fichier nzb est un fichier (codé en langage xml) qui reprend toutes les informations nécessaires à Pan (et à tout logiciel de Newsgroups) pour récupérer des fichiers binaires (non des en-têtes, serveur, groupe de nouvelles, …).

Je vous laisse chercher par vous même un annuaire de fichiers nzb, vous devriez trouver facilement en tapant dans un moteur de recherche les termes nzb, annuaire, télécharger, Newsgroups.

Une fois ce site trouvé, tapez simplement dans la barre de recherche la requête que vous désirez, « Ubuntu » par exemple et vous devriez avoir une liste de résultats si des fichiers correspondent à votre demande. La manœuvre exacte va varier en fonction des sites, mais il y aura une option permettant de générer un fichier nzb avec les résultats remontés.

Quand ce fichier aura été sauvegardé sur votre disque dur, ouvrez Pan, puis via le menu File > Import NZB file, vous choisissez votre fichier nzb, puis le dossier de sauvegarde des fichiers à télécharger.(figure 10)

Menu_007

Cette manière de faire est très pratique, beaucoup plus rapide que celle précédemment décrite. Elle est très efficace si vous savez ce que vous cherchez. L’inconvénient est que ces sites ne recensent en général pas tous les fichiers postés.

Pour conclure, le téléchargement via les Newsgroups est très efficace, très bien sécurisé si on implémente le protocole SSL. De plus, cela peut être très rapide en fonction de votre connexion Internet, car en général on télécharge au maximum de son débit descendant avec cette méthode, ce qui n’est pas toujours le cas, même lorsqu’on télécharge via un site web en http, par exemple des distributions GNU/Linux, en fonction des sites miroirs utilisés.

TVDownloader 0.6 est sorti

Si vous êtes « abonné » au PPA de TVDownloader, ce programme tout à fait recommandable permettant de télécharger les émissions proposées sur les sites de catch-up TV du PAF, vous avez pu mettre à jour vers la version 0.6.

Il y a quelques améliorations au menu :

  • Distinction des téléchargements et de l’affichage des programmes pour un « canal » donné grâce à 2 onglets distincts
  • Apparition des images et / ou présentation de l’émission
  • Case à cocher pour choisir les émissions à télécharger

Le développement du logiciel avance vite, c’est bien (la dernière version en cours est la 0.7.2, mais pas encore dans le PPA).
Malgré tout, un petit tour rapide m’a permis de voir que Pluzz ne fonctionne plus (sniff), mais cette fois, j’ai fait une remontée de bug. Dans les historiques des issues, je vois que je ne suis pas le seul, la prochaine mise à jour devrait corriger ce problème.

Ça reste malgré tout une appli super pratique, merci aux développeurs.

Photo en provenance du site officiel.

[Firefox du mercredi] DownThemAll!

Pour reprendre en douceur ces éditions du Firefox du mercredi (et je vous rappelle que tous mes billets traitant de Firefox se trouvent sur cette page), voici une extension qui figure dans mes indispensables depuis plusieurs années. Il s’agit de DownThemAll! (DTA pour les intimes). Comme son nom l’indique, il s’agit d’un addon servant exclusivement à gérer les téléchargements et les faciliter.
Vous autres, les fous du téléchargement (de n’importe quel type de fichier hein, je ne parle pas de téléchargement illégal !!!), vous allez me remercier car cette extension va vous faire aller beaucoup plus vite.

ON LA TROUVE OU ?

Comme d’habitude sur le site des extensions de Firefox. Ou alors sur le site officiel de l’extension.

CA FAIT QUOI EXACTEMENT ?

L’extension présente par défaut des boutons qui vont permettre de choisir de télécharger certains fichiers de la page en cours, selon des filtres que l’on aura défini auparavant (jpg, gif, avi, wmv, mp3, au choix et tout cela pouvant s’additionner bien entendu).
Cette possibilité est aussi donnée via un clic droit dans la page dans le menu contextuel.

ET CA MARCHE COMMENT ?

Faisons un petit tour des préférences :

  • Onglet  »Principales » :

Dans la partie Téléchargements, on va pouvoir régler le nombre simultané de téléchargements. 10 au maximum, en général, je le règle à 3, ma connexion n’étant pas terrible. Rien n’empêche de le mettre au taquet, ça dépend de ce que vous téléchargez, de votre patience et de votre connexion.

On peut choisir de renommer le fichier à l’arrivée si un autre fichier porte le même nom dans le dossier de destination.

On peut également choisir de réessayer quand un fichier échoue, choisir le délai au bout duquel on réessaie et le nombre tentatives pour le retélécharger.

Enfin, on a le comportement de l’extension lorsque tous les téléchargements sont finis (son, notification, fermeture).

  • Onglet « Filtres » :

J’avoue, celui-là est assez indigeste. Il permet de régler les extensions des fichiers qui seront automatiquement mis en file d’attente de téléchargement (voir plus bas dans l’exemple pratique). Je ne me suis jamais penché sur la question puisque les filtres par défaut me vont parfaitement bien.

En cliquant sur ajouter un nouveau filtre, on peut ajouter de nouvelles extensions de fichier et la syntaxe doit permettre de prendre en compte des variations.

  • Onglet « Vie privée » :

Ici on peut régler quelques paramètres qui ne sont pas les plus indispensables, mais qui peuvent s’avérer utiles si l’ordinateur dont vous vous servez n’est pas que le vôtre : actions lors de la fermeture du gestionnaire de téléchargement (éléments à effacer notamment), la présence de logs et les éléments des menus déroulants.

  • Onglet « Interface utilisateur » :

La façon dont l’extension apparait peut être un peu customisée. On peut choisir de n’afficher que les noms des fichiers dans le gestionnaire de téléchargement, et / ou afficher des info bulles, démarrer en mode réduit, réduire vers la zone de notification (un autre module devra être téléchargé dans ce cas), ajouter DTA à la fenêtre d’enregistrement classique de Firefox. On peut également choisir les entrées devant apparaitre dans les menus contextuels et outils.

  • Onglet « Avancées » :

Dans cet onglet, on rentre dans le domaine du pinaillage et des réglages fins. On contrôle la taille des segments de téléchargement (qui détermine en combien de petits morceaux le fichier téléchargé est divisé), le dépassement de délai encas de connexion inactive, et divers autres paramètres, là encore pas essentiels pour un utilisateur de base.

Le dernier qui peut servir est le choix du dossier de stockage des fichiers temporaires. Utile si on n’a pas les droits nécessaires sur tous les répertoires d’un PC.

UN EXEMPLE CONCRET

C’est vrai que passer en revue les options c’est bien, mais un exemple c’est mieux.

Disons que je veux télécharger un bootleg de « The Dead » sur Archive.org. Le problème c’est que chaque chanson est un fichier différent et donc sans utiliser DTA, je devrais enregistrer chaque fichier séparément. La plaie.

Avec DTA, c’est plus simple.

Vous avez désormais normalement 3 icônes dans la barre du haut de Firefox (si ce n’est pas le cas, un clic droit sur la barre, « Personnaliser » et tirez les icônes où vous voulez).

La première est DTA One Click. En fonction des filtres définis dans les options, elle va choisir seule les fichiers à télécharger et les mettre dans le gestionnaire de téléchargement (qui correspond à la 3ème icône). Pratique, mais dans notre cas, ça va faire des doublons puisque nous avons pour chaque chanson 3 types de fichiers.

On choisit donc la deuxième icône, s’intitulant sobrement DownThemAll!!. Et une nouvelle fenêtre s’ouvre. Ça donne ça (cliquez dessus pour la voir en taille réelle) :

On a la liste de tous les liens et fichiers se trouvant sur la page. Ce qui nous intéresse, ce sont les liens pointant vers les fichiers mp3 (ou les FLAC si vous êtes mélomanes, ou ogg si vous êtes libristes). Nous allons donc paramétrer pour ne sélectionner (ce sont les lignes en vert, donc vous voyez que l’on a déjà des liens sélectionnés) que les fichiers mp3. Pour cela, on va désélectionner dans les filtres « Images », « Vidéos » et « Applications ».

Il nous reste encore les flac et ogg dont on ne veut pas. On va dans « Filtrage rapide » et on tape *.mp3. On désélectionne le filtre audio qui est au dessus pour se débarrasser des formats superflus et voilà.

Il ne reste plus qu’à choisir le dossier de destination (un conseil si vous téléchargez beaucoup de musique, un dossier par album, ça évite les prises de tête si les fichiers sont mal taggés !!). On clique ensuite sur « Démarrer » ou « Mettre en attente » selon son envie.

On peut suivre l’avancement dans le gestionnaire de téléchargement qui se lance. Là vous pouvez mettre en pause, reprendre un ou plusieurs téléchargements, en ajouter, faire monter ou descendre dans la file d’attente certains fichiers.

Bien sûr, vous pouvez adapter les types de formats à votre besoin. Je l’utilise avec bonheur pour des images et de la vidéo, mais rien ne lui résiste. Et si vraiment vous ne voyez pas, il reste toujours la solution de sélectionner les fichiers à la main dans la fenêtre en cliquant sur la petit coche tout à gauche.