Héberger un mirroir ou un bittorrent pour les planet, possible?

classic Classic list List threaded Threaded
35 messages Options
12
Reply | Threaded
Open this post in threaded view
|

Héberger un mirroir ou un bittorrent pour les planet, possible?

ThomasG
Salut à tous,

Il y a une discussion enflammée sur Twitter https://twitter.com/komzpa/status/1221025538317475842 concernant la limitation récente de la bande passante pour récupérer un fichier planet https://twitter.com/komzpa/status/1221025538317475842qui rend donc le processus très long.

La version courte: l'ensemble de la communauté en récupérant des planet complets finit par saturer la bande passante (voir https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html) et cela semble poser des problèmes réseaux. Il faudrait selon certains ne travailler plus qu'avec des diff pour limiter la bande passante en argumentant que sinon on va au delà du "fair use" (pour les tuiles, je comprend mais pour la donnée brute, j'ai plus de mal). Pour d'autres, il faudrait avoir des miroirs et/ou des versions torrent pour ne plus avoir ce genre de limitation.

Personnellement, je suis plutôt partisan de la seconde option car sinon pour travailler avec un planet, il faudra se préoccuper de mettre en place des diff, ce qui est une barrière à la réutilisation de mon point de vue.

OpenStreetMap France pourrait créer un miroir et/ou une version torrent? On peut se rapprocher de la fondation en tant que chapitre local pour faire avancer le truc?

Un/des avis?


Merci de vos retours

Thomas Gratier

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

ThomasG
Bonjour,

Mais la question d'avoir un miroir fr supplémentaire (si ce n'est pas déjà le cas) ou un bittorrent reste ouverte.


Thomas Gratier

Le dim. 26 janv. 2020 à 15:27, Thomas Gratier <[hidden email]> a écrit :
Salut à tous,

Il y a une discussion enflammée sur Twitter https://twitter.com/komzpa/status/1221025538317475842 concernant la limitation récente de la bande passante pour récupérer un fichier planet https://twitter.com/komzpa/status/1221025538317475842qui rend donc le processus très long.

La version courte: l'ensemble de la communauté en récupérant des planet complets finit par saturer la bande passante (voir https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html) et cela semble poser des problèmes réseaux. Il faudrait selon certains ne travailler plus qu'avec des diff pour limiter la bande passante en argumentant que sinon on va au delà du "fair use" (pour les tuiles, je comprend mais pour la donnée brute, j'ai plus de mal). Pour d'autres, il faudrait avoir des miroirs et/ou des versions torrent pour ne plus avoir ce genre de limitation.

Personnellement, je suis plutôt partisan de la seconde option car sinon pour travailler avec un planet, il faudra se préoccuper de mettre en place des diff, ce qui est une barrière à la réutilisation de mon point de vue.

OpenStreetMap France pourrait créer un miroir et/ou une version torrent? On peut se rapprocher de la fondation en tant que chapitre local pour faire avancer le truc?

Un/des avis?


Merci de vos retours

Thomas Gratier

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest

Pour de gros fichiers comme ça, à la durée de vie courte, BitTorrent me semble bien adapté et les mirroir il y en a déjà plusieurs mais visiblement peu utilisés (il faudrait un redirect automatique à la sourceforge).

Le p2p est adapté car plus il y a de monde à charger un fichier, plus il est disponible au même moment et donc cela ne s'engorge pas à la source primaire.


J'avais mis ça en place il y a quelques années, sur un petit scaleway... mais comme ce n'était pas utilisé j'ai arrêté.

Je viens de regénérer des torrents pour le fichier planet pbf: http://osm.cquest.org/torrents/

Il faut juste maintenant que j'arrive à "seeder" correctement depuis mes twin towers, chacune connectée à une fibre différente, ce qui devrait faire dans les 500Mbps x 2 en sortie.


Le 26/01/2020 à 15:37, Thomas Gratier a écrit :
Bonjour,

Mais la question d'avoir un miroir fr supplémentaire (si ce n'est pas déjà le cas) ou un bittorrent reste ouverte.


Thomas Gratier

Le dim. 26 janv. 2020 à 15:27, Thomas Gratier <[hidden email]> a écrit :
Salut à tous,

Il y a une discussion enflammée sur Twitter https://twitter.com/komzpa/status/1221025538317475842 concernant la limitation récente de la bande passante pour récupérer un fichier planet https://twitter.com/komzpa/status/1221025538317475842qui rend donc le processus très long.

La version courte: l'ensemble de la communauté en récupérant des planet complets finit par saturer la bande passante (voir https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html) et cela semble poser des problèmes réseaux. Il faudrait selon certains ne travailler plus qu'avec des diff pour limiter la bande passante en argumentant que sinon on va au delà du "fair use" (pour les tuiles, je comprend mais pour la donnée brute, j'ai plus de mal). Pour d'autres, il faudrait avoir des miroirs et/ou des versions torrent pour ne plus avoir ce genre de limitation.

Personnellement, je suis plutôt partisan de la seconde option car sinon pour travailler avec un planet, il faudra se préoccuper de mettre en place des diff, ce qui est une barrière à la réutilisation de mon point de vue.

OpenStreetMap France pourrait créer un miroir et/ou une version torrent? On peut se rapprocher de la fondation en tant que chapitre local pour faire avancer le truc?

Un/des avis?


Merci de vos retours

Thomas Gratier

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

marc marc
In reply to this post by ThomasG
Le 26.01.20 à 15:27, Thomas Gratier a écrit :
> La version courte: l'ensemble de la communauté en récupérant des planet
> complets finit par saturer la bande passante

question courte (de la discussion qui a lieu aussi sur la ml dev) :
pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
je crois que certains ignorent ou trouvent trop compliqué la maj
cela implique de mieux informer et/ou rendre la maj + facile.

> OpenStreetMap France pourrait créer un miroir et/ou une version torrent?

l'ironie c'est que pour le moment, faire un miroir doit se faire
par téléchargement d'un planet toute les semaine.
le planet osm.org lui meme n'est pas produit avec les diff.
après rien n'interdit de produire un planet non mirroir de l'original.
cela dépend de la réponse à la question précédente.

> Un/des avis?

une piste est de comprendre le besoin (voir point 1)
une piste est la création d'un planet non miroir (voir point précédent)
une piste est la création d'un miroir à la volée : pas de dl automatique
entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
osm.fr, cela télécharger le dernier planet osm.org et le met à
disposition pendant une semaine (puisqu'après il est "périmé")
ainsi si 2 personnes téléchargent le planet via osm.fr
il y a un gain, sans jamais provoquer de trafic inutile.
la piste d'un miroir osm.org me semble venir après même si perso je
serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
a deja un outil qui télécharge sur tous les miroirs en meme temps,
c'est très con de télécharger sur un miroir loin quand on en a un proche)
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

marc marc
In reply to this post by cquest
Le 26.01.20 à 20:09, Christian Quest a écrit :
> Je viens de regénérer des torrents pour le fichier planet pbf:
> http://osm.cquest.org/torrents/

créer autant de torrent mono-seed initial que de personne ayant l'idée
d'héberger un planet en réduit l'intérêt. surtout combiné à la non
priorisation des sources proches.
c'est p'tre cela qui explique la non utilisation, faudrait au moins
avoir le lien depuis la page osm.fr en attend plus communautaire.

ton planet vient d'osm.org ou c'est une génération locale ?
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest
In reply to this post by marc marc
Le 26/01/2020 à 21:29, marc marc a écrit :
> Le 26.01.20 à 15:27, Thomas Gratier a écrit :
>> La version courte: l'ensemble de la communauté en récupérant des planet
>> complets finit par saturer la bande passante
> question courte (de la discussion qui a lieu aussi sur la ml dev) :
> pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
> je crois que certains ignorent ou trouvent trop compliqué la maj
> cela implique de mieux informer et/ou rendre la maj + facile.


Je suis aussi étonné d'un besoin de téléchargement régulier du planet.

Il y a peut être une forme de paresse (plus simple) mais aussi une façon
de se rassurer sur le "j'ai une copie identique" vis à vis d'une copie
mise à jour avec les problèmes qui peuvent intervenir sur les mises à jour.


>> OpenStreetMap France pourrait créer un miroir et/ou une version torrent?
> l'ironie c'est que pour le moment, faire un miroir doit se faire
> par téléchargement d'un planet toute les semaine.
> le planet osm.org lui meme n'est pas produit avec les diff.
> après rien n'interdit de produire un planet non mirroir de l'original.
> cela dépend de la réponse à la question précédente.


On peut effectivement le faire, mais on tombera dans la garantie d'avoir
quelque chose d'identique.


>
>> Un/des avis?
> une piste est de comprendre le besoin (voir point 1)
> une piste est la création d'un planet non miroir (voir point précédent)
> une piste est la création d'un miroir à la volée : pas de dl automatique
> entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
> osm.fr, cela télécharger le dernier planet osm.org et le met à
> disposition pendant une semaine (puisqu'après il est "périmé")
> ainsi si 2 personnes téléchargent le planet via osm.fr
> il y a un gain, sans jamais provoquer de trafic inutile.
> la piste d'un miroir osm.org me semble venir après même si perso je
> serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
> a deja un outil qui télécharge sur tous les miroirs en meme temps,
> c'est très con de télécharger sur un miroir loin quand on en a un proche)

Un miroir "à la volé" ne présente de l'intérêt que si il est peu
utilisé, si il n'est régulièrement, autant mettre à dispo dès que
possible un fichier, pour favoriser l'usage du miroir (et simplifier son
fonctionnement).

> Le 26.01.20 à 20:09, Christian Quest a écrit :
> > Je viens de regénérer des torrents pour le fichier planet pbf:
> > http://osm.cquest.org/torrents/
>
> créer autant de torrent mono-seed initial que de personne ayant l'idée
> d'héberger un planet en réduit l'intérêt. surtout combiné à la non
> priorisation des sources proches.
> c'est p'tre cela qui explique la non utilisation, faudrait au moins
> avoir le lien depuis la page osm.fr en attend plus communautaire.
>
> ton planet vient d'osm.org ou c'est une génération locale ?
>
Il vient d'un miroir, et je l'avais déjà sur disque car j'ai importé une
base monde cette semaine sur ma tour nord ;)

On peut même créer des torrents "hybrides" qui peuvent utiliser des
sources HTTP en seed... ce qui combine le téléchargement direct depuis
de multiples serveurs miroir et le p2p entre ceux qui téléchargent.

Ces torrents sont expérimentaux, histoire de tester et valider le
fonctionnement. Après validation et automatisation de tout ça, il
suffira de mettre ces petits fichiers sur planet.openstreetmap.org (et
les miroirs) pour leur donner de la visibilité et qu'ils soient
largement partagés et utilisés. On itère ;)

Pour le download par script, lftp est un wget/curl like qui intègre
aussi le protocole BitTorrent. A tester aussi...

La diffusion par torrent se fait déjà par exemple pour ubuntu. Lors des
sorties de releases semestrielles, le demande en download est énorme et
les torrents sont une bonne alternative. J'avais aussi testé la
diffusion des sorties de modèles de prévision de météo-france, qui eux
sont non seulement volumineux mais mis à jour toutes les 6h. Tout sort
des serveurs de MF à Toulouse et donc le lien est saturé... le p2p n'a
jamais été envisagé (bien que proposé comme solution) vu que c'est une
techno trop attachée au côté "piratage".

--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Cédric Frayssinet
Bonjour Christian,

Voici mon test.

J'ai téléchargé le fichier en 28mn, soit environ 32 Mo/s derrière une Freebox fibre et le logiciel Transmission 2.84.

J'ai pas pensé à utiliser l'outil  Freebox pour le téléchargement mais si besoin, je peux mettre en partage sur ma freebox ; c'est une bonne idée.

Cédric

Le 28/01/2020 à 20:48, Christian Quest a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen ça serait super cool pour se faire une idée de l'efficacité pour proposer ce type de distribution dans l'avenir. Indiquez aussi votre type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !



--

Sur Mastodon : @Bristow_69@...

Promouvoir et soutenir le logiciel libre


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
In reply to this post by cquest
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça fonctionne très bien, ce qui est utile pour scripter si besoin le download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
Le torrent est toujours marqué "indisponible" sur le téléchargeur de ma freebox. Rien ne se charge, ça reste en attente.
Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le .torrent qui ne se connecte pas du tout.
Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage dans son pare-feu.

Le jeu. 30 janv. 2020 à 10:36, Christian Quest <[hidden email]> a écrit :

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça fonctionne très bien, ce qui est utile pour scripter si besoin le download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Cyrille37 OSM
In reply to this post by cquest

Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?

Merki, Cyrille37

Le 30/01/2020 à 10:35, Christian Quest a écrit :

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça fonctionne très bien, ce qui est utile pour scripter si besoin le download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
In reply to this post by Philippe Verdy
J'ajoute que les ports sont marqués comme activés pour les connexions entrantes dans les paramètres de la console Freebox.
Il y a bien les traqueurs, mais ils n'annoncent personne (aucune source, aucun client).
Le DHT est tout aussi muet. Je me demande si le client torrent de la Freebox fonctionne réellement ou si Free ne l'a pas simplement éteint/supprimé sur le dernier firmware de la Freebox Revolution, pour laisser la place au nouveau client Netflix.
Sinon ça fonctionne avec un client torrent sur PC (qBittorrent pour Windows)

Le jeu. 30 janv. 2020 à 12:46, Philippe Verdy <[hidden email]> a écrit :
Le torrent est toujours marqué "indisponible" sur le téléchargeur de ma freebox. Rien ne se charge, ça reste en attente.
Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le .torrent qui ne se connecte pas du tout.
Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage dans son pare-feu.

Le jeu. 30 janv. 2020 à 10:36, Christian Quest <[hidden email]> a écrit :

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça fonctionne très bien, ce qui est utile pour scripter si besoin le download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest
In reply to this post by Philippe Verdy
Le 30/01/2020 à 12:46, Philippe Verdy a écrit :
> Le torrent est toujours marqué "indisponible" sur le téléchargeur de
> ma freebox. Rien ne se charge, ça reste en attente.
> Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le
> .torrent qui ne se connecte pas du tout.
> Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage
> dans son pare-feu.
>
Je met le fichier .torrent dans le dossier "Téléchargement/A
télécharger"... ensuite ça démarre tout seul.


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
In reply to this post by Cyrille37 OSM
Note: deux des traqueurs inclus dans le .torrent ne fonctionnent pas, même sur PC:
* http://tracker.computel.fr:80/announce (status = Not working, message = Bad gateway)
http://tracker.openbittorrent.com:80/announce (status = Not working, message = Gone)

Le jeu. 30 janv. 2020 à 13:11, Cyrille37 OSM <[hidden email]> a écrit :

Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?

Merki, Cyrille37

Le 30/01/2020 à 10:35, Christian Quest a écrit :

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça fonctionne très bien, ce qui est utile pour scripter si besoin le download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de téléchargement du tout. Les deux traqueurs n'annoncent personne (statut torrent : non annoncé, sur opentracker.org bien que marqué "activé" et "traqueur principal"; sur le second traqueur sur openbittorrent.com il l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un client stable pour rétablir les connexions, qui deviennent des traqueurs morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne traqueur principal pour que les mises à jour suivent: au moins là le fichier est disponible, même si c'est avec des limitations de trafic, mais ça permettrait justement de lever les problèmes de disponibilité. Mais évidemment ça impose d'installer un traqueur torrent sur les serveurs d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus la possibilité de les garder (il faudrait un délai pour avoir au moins deux versions dont la plus récente et celle d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un espace de quelques % gardé libre pour la croissance régulière de la taille de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises à jour de paquets pour certaines): au moins une URL normale, d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui soulage le tout côté serveurs en ajoutant une partie de la bande passante partagée des clients connectés, et permet de télécharger encore plus vite depuis plusieurs sources simultanées incluant le site principal et les miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest <[hidden email]> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent utilisé.

Merci d'avance !


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

--
Ce message a été vérifié par MailScanner
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
-- 
Christian Quest - OpenStreetMap France

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest
In reply to this post by Cyrille37 OSM
Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :
>
> Hello
>
> Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?
>
> Merki, Cyrille37
>

sur https://osm.cquest.org/torrents/


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
In reply to this post by cquest
Tu as peut-être un autre modèle de Freebox (j'ai la v6 Revolution; Free a mis à jour récemment en mi-janvier la Révolutionn pour ajouter les client Netflix et Youtube Kids, mais je pense que le client torrent intégré n'est plus là. L'interface de réglage est toujours là, y compris pour régler les ports et les débloquer, mais il ne doit plus y avoir aucun service démarré pour le prendre en charge)

Le jeu. 30 janv. 2020 à 13:14, Christian Quest <[hidden email]> a écrit :
Le 30/01/2020 à 12:46, Philippe Verdy a écrit :
> Le torrent est toujours marqué "indisponible" sur le téléchargeur de
> ma freebox. Rien ne se charge, ça reste en attente.
> Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le
> .torrent qui ne se connecte pas du tout.
> Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage
> dans son pare-feu.
>
Je met le fichier .torrent dans le dossier "Téléchargement/A
télécharger"... ensuite ça démarre tout seul.


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Cyrille37 OSM
In reply to this post by cquest
Nickel

https://framapic.org/vq7U5ZAMf76g/24MGghGicGjy.png

Cyrille37

Le 30/01/2020 à 13:15, Christian Quest a écrit :

> Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :
>>
>> Hello
>>
>> Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour
>> essayer ?
>>
>> Merki, Cyrille37
>>
>
> sur https://osm.cquest.org/torrents/
>
>

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

Philippe Verdy
Par curiosité j'ai essayé d'ajouter des .torrent fiables de distributions linux, et là aussi la Freebox Server Revolution v6 (pas la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en attente" là aussi et le statut affiche "déconnecté" (il indique de vérifier que les ports et le VPN sont bien activés et "ouverts" aux connexion entrantes).

J'avais fait des téléchargements de torrents Linux avant et ça marchait sans problème.

J'ai bien l'impression que Free a viré le client torrent de son firmware de mi-janvier (mais il ne l'a pas dit dans son site de support, qui indique seulement l'ajout des clients Netflix et Youtube Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)

J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va falloir que je signale l'anomalie à Free pour au moins avoir une explication si le service est effectivement retiré (mais l'interface Freebox OS affiche toujours les paramètres et la liste des téléchargements; ce téléchargeur intégré en revanche fonctionne avec le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support des protocoles Torrent/PEX/DHT).

Le jeu. 30 janv. 2020 à 13:32, Cyrille37 OSM <[hidden email]> a écrit :
Nickel

https://framapic.org/vq7U5ZAMf76g/24MGghGicGjy.png

Cyrille37

Le 30/01/2020 à 13:15, Christian Quest a écrit :
> Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :
>>
>> Hello
>>
>> Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour
>> essayer ?
>>
>> Merki, Cyrille37
>>
>
> sur https://osm.cquest.org/torrents/
>
>

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Héberger un mirroir ou un bittorrent pour les planet, possible?

cquest
Le 30/01/2020 à 13:46, Philippe Verdy a écrit :

> Par curiosité j'ai essayé d'ajouter des .torrent fiables de
> distributions linux, et là aussi la Freebox Server Revolution v6 (pas
> la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
> attente" là aussi et le statut affiche "déconnecté" (il indique de
> vérifier que les ports et le VPN sont bien activés et "ouverts" aux
> connexion entrantes).
>
> J'avais fait des téléchargements de torrents Linux avant et ça
> marchait sans problème.
>
> J'ai bien l'impression que Free a viré le client torrent de son
> firmware de mi-janvier (mais il ne l'a pas dit dans son site de
> support, qui indique seulement l'ajout des clients Netflix et Youtube
> Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
>
> J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
> falloir que je signale l'anomalie à Free pour au moins avoir une
> explication si le service est effectivement retiré (mais l'interface
> Freebox OS affiche toujours les paramètres et la liste des
> téléchargements; ce téléchargeur intégré en revanche fonctionne avec
> le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
> des protocoles Torrent/PEX/DHT).
>
Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
Révolution.

Le client BitTorrent y fonctionne parfaitement. J'ai constaté que
d'autres clients "Freebox BitTorrent 2.0" avait échangé avec mes seeds,
mais sans savoir quelle type de box ils avaient.

Sinon...

- j'ai mis en place 2 trackers maison (opentracker)

- le planet du 27/01/2020 est dispo (sa récupération depuis
planet.osm.org prend quand même plus de 3h)

- j'ai ajouté un flux RSS pour permettre le download automatique pour
les seeds supplémentaires

Il ne reste plus qu'à automatiser tout ça et à publier les torrents sur
planet.openstreetmap.org


--
Christian Quest - OpenStreetMap France


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Christian Quest - cquest@openstreetmap.fr
12