Importation des arbres municipaux de Grenoble

classic Classic list List threaded Threaded
30 messages Options
12
Reply | Threaded
Open this post in threaded view
|

Importation des arbres municipaux de Grenoble

Vincent Frison
Hello,

Je projette d'importer les arbres municipaux de Grenoble disponibles en ODbL sur le portail open date le ville: http://data.metropolegrenoble.fr/ckan/dataset/les-arbres-de-grenoble

Contrairement aux données de la ville de Nice il n'y a pas que la localisation mais aussi le genre/espèce et l'année de plantation. Pour cette dernière info pensez vous qu'il est possible de rajouter un tag ? Malheureusement je ne vois rien de tel sur le wiki...

Mon script regarde si des arbres existent déjà dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour l'arbre (le plus proche s'il y en a plusieurs) en modifiant la position et en ajoutant les tags d'espèces/genre (sauf s'il existe déjà une valeur). Il y a également une vérification pour éviter d'importer un arbre à l'intérieur d'un bâtiment.  

Pour info voici quelques stats:
2017-11-16 22:52:02  INFO === Loading statistics ===
2017-11-16 22:52:02  INFO Total of parsed imports: 30850
2017-11-16 22:52:02  INFO Total of filtered out imports: 62
2017-11-16 22:52:02  INFO Total of loaded imports: 30788
2017-11-16 22:52:02  INFO === Processing statistics ===
2017-11-16 22:52:02  INFO Total of makable imports: 30737
2017-11-16 22:52:02  INFO Total of non makable imports: 51
2017-11-16 22:52:02  INFO Matching area radius: 3.0
2017-11-16 22:52:02  INFO Matching closest only: true
2017-11-16 22:52:02  INFO Total of created trees: 24211
2017-11-16 22:52:02  INFO Total of updated trees: 6526
2017-11-16 22:52:02  INFO Total of created or updated trees: 30737
2017-11-16 22:52:02  INFO Total of multi matching trees: 558
2017-11-16 22:52:02  INFO Job has been executed in 535 seconds
2017-11-16 22:52:03  INFO === Closing OSM XML service ===
2017-11-16 22:52:03  INFO Total of writing successes: 3
2017-11-16 22:52:03  INFO Total of writing failures: 0
2017-11-16 22:52:03  INFO === Closing OSM API service ===
2017-11-16 22:52:03  INFO Total of read operations: success=6748 failure=0
2017-11-16 22:52:03  INFO Total of write operations: success=0 failure=0
2017-11-16 22:52:03  INFO Total of changeset operations: open=0 close=0

++ Vincent


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

marc marc
Le 16. 11. 17 à 23:23, Vincent Frison a écrit :

> l'année de plantation.  > Malheureusement je ne vois rien de tel sur le wiki...

J'en ai vu beaucoup avec start_date que je trouves cohérent.
L'arbre a commencé à exister quand on l'a planté.
J'en ai vu quelques un en plantation:FR=date (cela semble être un import
non discuté) que j'ai sur ma liste de "à harmoniser"

> dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour
> l'arbre (le plus proche s'il y en a plusieurs)

S'il y a plusieurs arbres dans ton rayon de sécurité,
je pense qu'il serrait prudent dans un premier temps de ne pas
les modifier... parce que ce n'est pas sur que le plus proche correspond.
Sauf évidement s'ils sont tous identique

> Pour info voici quelques stats:

Aurais-tu une liste de tout les clefs crées et un exemple de valeur
pour chacun d'elle ?
et/ou faire un import réel limité à un ou quelques arbres pour regarder
à toute petite échelle le premier import avant l'import complet ?
C'est le premier import d'arbres de ton outil ou il y en a eu avant ?

Cordialement,
Marc
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Vincent Frison
Le 16 novembre 2017 à 23:47, marc marc <[hidden email]> a écrit :
Le 16. 11. 17 à 23:23, Vincent Frison a écrit :

> l'année de plantation.  > Malheureusement je ne vois rien de tel sur le wiki...

J'en ai vu beaucoup avec start_date que je trouves cohérent.
L'arbre a commencé à exister quand on l'a planté.
J'en ai vu quelques un en plantation:FR=date (cela semble être un import
non discuté) que j'ai sur ma liste de "à harmoniser"

Ok à défaut de mieux je vais donc utiliser start_date, merci pour l'info.
 
> dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour
> l'arbre (le plus proche s'il y en a plusieurs)

S'il y a plusieurs arbres dans ton rayon de sécurité,
je pense qu'il serrait prudent dans un premier temps de ne pas
les modifier... parce que ce n'est pas sur que le plus proche correspond.
Sauf évidement s'ils sont tous identique
 
> Pour info voici quelques stats:

Aurais-tu une liste de tout les clefs crées et un exemple de valeur
pour chacun d'elle ?
et/ou faire un import réel limité à un ou quelques arbres pour regarder
à toute petite échelle le premier import avant l'import complet ?

Le mieux c'est carrément que je t'envoies un zip de seulement 500 Kb qui contient tout (l'ensemble des arbres nouveaux et ceux à modifier).
 
C'est le premier import d'arbres de ton outil ou il y en a eu avant ?

J'avais déjà fait un import d'arbres sur Nice il y a 2 ans: https://wiki.openstreetmap.org/wiki/Nice,_France/Trees_Import


La différence c'est qu'il y a des champs en plus mais sinon le process est le même..

++ Vincent





_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

sly (sylvain letuffe)
In reply to this post by Vincent Frison
Si tu as déjà fait l'outil, ça serait bien de fournir si c'est possible le
fichier osm résultant, plusieurs personnes, et surtout ceux de grenoble
pourront ainsi faire un sondage sur quelques arbres et juger de la qualité
du fichier d'origine et du process.

J'ai grand grand peur que des arbres puissent atterrir dans un bâtiment
privé, sur une route, dans une fontaine, etc.

Et je sais qu'il est tentant de dire : c'est les autres qui ont mal
positionné leur fontaine/batiment/etc. mais osm n'est pas une base ou on
empile des datas opensource, la cohérence relative des éléments les uns par
rapport aux autres me semble préférable en étant décalé de 5m qu'un arbre
sur un toit.
Ou alors, la tâche d'importation est manuelle, un par un et s'occupe de
vérifier qui à tort qui a raison et consiste à recaller les éléments autour.



-----
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
--
Sent from: http://gis.19327.n8.nabble.com/France-f5380434.html

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Topographe Fou
In reply to this post by Vincent Frison
Bonjour,

Question : je vois quelques natural=tree_row à Grenoble. L'import va-t-il également chercher à insérer ces arbres dans les ways ou à les fusionner avec des nœuds déjà existant de ces tree_row ? Ou bien ce tag est ignoré ?

Vu le peu de tree_row dans cette ville ce travail de fusion peut être manuel mais comme j'imagine que l'algo pourrait être réutilisé ailleurs... Ce serait top qu'il en tienne compte.

Cordialement, 

LeTopographeFou
Envoyé: 16 novembre 2017 11:24 PM
Répondre à: [hidden email]
Objet: [OSM-talk-fr] Importation des arbres municipaux de Grenoble

Hello,

Je projette d'importer les arbres municipaux de Grenoble disponibles en ODbL sur le portail open date le ville: http://data.metropolegrenoble.fr/ckan/dataset/les-arbres-de-grenoble

Contrairement aux données de la ville de Nice il n'y a pas que la localisation mais aussi le genre/espèce et l'année de plantation. Pour cette dernière info pensez vous qu'il est possible de rajouter un tag ? Malheureusement je ne vois rien de tel sur le wiki...

Mon script regarde si des arbres existent déjà dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour l'arbre (le plus proche s'il y en a plusieurs) en modifiant la position et en ajoutant les tags d'espèces/genre (sauf s'il existe déjà une valeur). Il y a également une vérification pour éviter d'importer un arbre à l'intérieur d'un bâtiment.  

Pour info voici quelques stats:
2017-11-16 22:52:02  INFO === Loading statistics ===
2017-11-16 22:52:02  INFO Total of parsed imports: 30850
2017-11-16 22:52:02  INFO Total of filtered out imports: 62
2017-11-16 22:52:02  INFO Total of loaded imports: 30788
2017-11-16 22:52:02  INFO === Processing statistics ===
2017-11-16 22:52:02  INFO Total of makable imports: 30737
2017-11-16 22:52:02  INFO Total of non makable imports: 51
2017-11-16 22:52:02  INFO Matching area radius: 3.0
2017-11-16 22:52:02  INFO Matching closest only: true
2017-11-16 22:52:02  INFO Total of created trees: 24211
2017-11-16 22:52:02  INFO Total of updated trees: 6526
2017-11-16 22:52:02  INFO Total of created or updated trees: 30737
2017-11-16 22:52:02  INFO Total of multi matching trees: 558
2017-11-16 22:52:02  INFO Job has been executed in 535 seconds
2017-11-16 22:52:03  INFO === Closing OSM XML service ===
2017-11-16 22:52:03  INFO Total of writing successes: 3
2017-11-16 22:52:03  INFO Total of writing failures: 0
2017-11-16 22:52:03  INFO === Closing OSM API service ===
2017-11-16 22:52:03  INFO Total of read operations: success=6748 failure=0
2017-11-16 22:52:03  INFO Total of write operations: success=0 failure=0
2017-11-16 22:52:03  INFO Total of changeset operations: open=0 close=0

++ Vincent


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

thevenon.julien
In reply to this post by Vincent Frison

----- Mail original -----
De: "Vincent Frison" <[hidden email]>
À: [hidden email]
Envoyé: Jeudi 16 Novembre 2017 23:23:51
Objet: [OSM-talk-fr] Importation des arbres municipaux de Grenoble

> Hello,


> Je projette d'importer les arbres municipaux de Grenoble disponibles en ODbL sur le portail open date le ville: http://data.metropolegrenoble.fr/ckan/dataset/les-arbres-de-grenoble 

> Contrairement aux données de la ville de Nice il n'y a pas que la localisation mais aussi le genre/espèce et l'année de plantation. Pour cette dernière info pensez vous qu'il est possible de rajouter un tag ?
> Malheureusement je ne vois rien de tel sur le wiki...


> Mon script regarde si des arbres existent déjà dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour l'arbre (le plus proche s'il y en a plusieurs) en modifiant la position et en ajoutant les tags d'espèces/genre (sauf s'il existe déjà une valeur). Il y a également une vérification pour éviter d'importer un arbre à l'intérieur d'un bâtiment.



> Pour info voici quelques stats:


> 2017-11-16 22:52:02 INFO === Loading statistics ===
> 2017-11-16 22:52:02 INFO Total of parsed imports: 30850
> [..]


Salut,

Reponse vide mais avec la mailing liste OSM de Grenoble en copie

Julien

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

thevenon.julien
In reply to this post by Vincent Frison

----- Mail original -----
De: "Vincent Frison" <[hidden email]>
À: [hidden email]
Envoyé: Jeudi 16 Novembre 2017 23:23:51
Objet: [OSM-talk-fr] Importation des arbres municipaux de Grenoble

> Hello,


> Je projette d'importer les arbres municipaux de Grenoble disponibles en ODbL sur le portail open date le ville: http://data.metropolegrenoble.fr/ckan/dataset/les-arbres-de-grenoble 

> Contrairement aux données de la ville de Nice il n'y a pas que la localisation mais aussi le genre/espèce et l'année de plantation. Pour cette dernière info pensez vous qu'il est possible de rajouter un tag ?
> Malheureusement je ne vois rien de tel sur le wiki...


> Mon script regarde si des arbres existent déjà dans un rayon de 3 mètres: s'il y en a pas il créé un nouvel arbre et sinon il met à jour l'arbre (le plus proche s'il y en a plusieurs) en modifiant la position et en ajoutant les tags d'espèces/genre (sauf s'il existe déjà une valeur). Il y a également une vérification pour éviter d'importer un arbre à l'intérieur d'un bâtiment.



> Pour info voici quelques stats:


> 2017-11-16 22:52:02 INFO === Loading statistics ===
> 2017-11-16 22:52:02 INFO Total of parsed imports: 30850
> [..]


Salut,

Reponse vide mais avec la mailing liste OSM de Grenoble en copie

Julien

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Vincent Frison
In reply to this post by sly (sylvain letuffe)
Le 17 novembre 2017 à 00:14, sly (sylvain letuffe) <[hidden email]> a écrit :
Si tu as déjà fait l'outil, ça serait bien de fournir si c'est possible le
fichier osm résultant, plusieurs personnes, et surtout ceux de grenoble
pourront ainsi faire un sondage sur quelques arbres et juger de la qualité
du fichier d'origine et du process.

J'ai déjà envoyé en privé tout le XML à des personnes mais effectivement le mieux est que je fournisse un lien public.

Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz

J'ai grand grand peur que des arbres puissent atterrir dans un bâtiment
privé, sur une route, dans une fontaine, etc.
Et je sais qu'il est tentant de dire : c'est les autres qui ont mal
positionné leur fontaine/batiment/etc. mais osm n'est pas une base ou on
empile des datas opensource, la cohérence relative des éléments les uns par
rapport aux autres me semble préférable en étant décalé de 5m qu'un arbre
sur un toit.
Ou alors, la tâche d'importation est manuelle, un par un et s'occupe de
vérifier qui à tort qui a raison et consiste à recaller les éléments autour.

Pour la superposition avec des bâtiments c'est pas possible puisque je fais une vérification (pour les fontaine non plus si celles ci sont faites avec un building).  
Pour les routes je n'ai pas remarqué de superpositions jusqu'à présent mais je vais y prêter attention...

Pour les tree_rows j'avoue qu'ils ne sont pas pris en compte, enfin sauf s'ils sont composés d'arbres qui existent également individuellement (auquel cas ils pourront être fusionnés avec les nouveaux arbres). C'est en tout cas une très bonne remarque et je vais voir si je peux les prendre en compte dans mon algo même si effectivement là dans le cas de Grenoble je vais pouvoir les gérer manuellement vu leur faible nombre (une petite vingtaine). 

PS: merci Julien d'avoir mis en copie l'adresse du groupe local de Grenoble, j'aurais du y penser...


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

sly (sylvain letuffe)
Vincent Frison wrote
> Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz

J'ai fais de nombreux sondages aléatoires à l'aide des photos aériennes
récentes et ça à l'air de la bonne qualité, très cohérent avec l'existant,
et sans doublons trouvés.
Je ne passe toutefois pas assez souvent sur Grenoble pour tenter une vérif
"in situ".

L'algo a donc l'air de bien bosser en plus d'une donnée source de bonne
qualité, c'est tout bon !

Note: Il semble qu'un double encodage UTF-8 se soit glissé dans
l'incorporation des genus/species
Fichier genfile-for-creation.osm ligne 1670 par exemple :
               <tag v="Amélanchier" k="genus"/>
                <tag v="Amélanchier alnifolia" k="species"/>
 






-----
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
--
Sent from: http://gis.19327.n8.nabble.com/France-f5380434.html

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Paul Desgranges
Hello, merci, je regarderai moi aussi ce week-end les trois fichiers que
tu as fourni, pour te donner un avis en plus
Paul


Le 17/11/2017 à 22:06, sly (sylvain letuffe) a écrit :

> Vincent Frison wrote
>> Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz
> J'ai fais de nombreux sondages aléatoires à l'aide des photos aériennes
> récentes et ça à l'air de la bonne qualité, très cohérent avec l'existant,
> et sans doublons trouvés.
> Je ne passe toutefois pas assez souvent sur Grenoble pour tenter une vérif
> "in situ".
>
> L'algo a donc l'air de bien bosser en plus d'une donnée source de bonne
> qualité, c'est tout bon !
>
> Note: Il semble qu'un double encodage UTF-8 se soit glissé dans
> l'incorporation des genus/species
> Fichier genfile-for-creation.osm ligne 1670 par exemple :
>                 <tag v="Amélanchier" k="genus"/>
>                  <tag v="Amélanchier alnifolia" k="species"/>
>    
>
>
>
>
>
>
> -----


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Vincent Frison
In reply to this post by sly (sylvain letuffe)
Merci Sly pour ton retour.

Bien vu pour l'erreur d'encodage UTF-8 !

Sinon 2 petites questions:

- est ce que cela vaut la peine de rajouter un tag ref:FR:Grenoble:trees avec comme valeur une référence interne (utilisée dans le fichier JSON) ? J'avais cru comprendre que c'était une bonne pratique mais que finalement c'était pas souhaitable. Personnellement je pense pas que ça soit super utile (par ex. si je devais refaire un import pour mise à jour je n'en aurais pas vraiment besoin).

- pour le tag genus/species: dans leur fichier JSON il y a 2 champs séparés, par ex: "GENRE_BOTA":"Platanus","ESPECE":"acerifolia". Pour remplir le tag genus je prend la valeur du champ GENRE_BOTA mais pour le tag species je concatène 
la valeur des 2 champs. Du coup ça vaut quand même la peine que je mette le tag genus (sachant qu'il est déjà "inclus" dans le champ species) ?

Enfin pour respecter la procédure j'ai commencé à créer une page wiki mais dois je annoncer à chaque fois mes importations sur [hidden email] ? En fait cela ne me dérange pas mais ce qui m'étonne c'est de voir le très faible nombre d'imports annoncés. Sur le catalogue on peut voir que sur les 3 derniers mois il n'y a eu que 3 imports et ce sont les miens ! Cela voudrait dire que pas mal d'imports se font "à la douce" ?

Merci, Vincent.




Le 17 novembre 2017 à 22:06, sly (sylvain letuffe) <[hidden email]> a écrit :
Vincent Frison wrote
> Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz

J'ai fais de nombreux sondages aléatoires à l'aide des photos aériennes
récentes et ça à l'air de la bonne qualité, très cohérent avec l'existant,
et sans doublons trouvés.
Je ne passe toutefois pas assez souvent sur Grenoble pour tenter une vérif
"in situ".

L'algo a donc l'air de bien bosser en plus d'une donnée source de bonne
qualité, c'est tout bon !

Note: Il semble qu'un double encodage UTF-8 se soit glissé dans
l'incorporation des genus/species
Fichier genfile-for-creation.osm ligne 1670 par exemple :
               <tag v="Amélanchier" k="genus"/>
                <tag v="Amélanchier alnifolia" k="species"/>







-----
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
--
Sent from: http://gis.19327.n8.nabble.com/France-f5380434.html

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Paul Desgranges
In reply to this post by Paul Desgranges
J'ai passé un petit moment à comparer les données de tes fichiers avec
les données existantes (couche de données OSM et couche photo aérienne
BdOrtho IGN) , et ceci aussi dans des quartiers que je connais, et ce
que tu as fait a l'air vraiment bien ! Evidemment je n'ai pas contrôlé
chacun des 24 000 arbres nx, ni les 6000 arbres modifiés, mais 100% de
ceux que j'ai vus étaient bons !
- le fichier genfile-for-creation.osm.xml contient bien des arbres nouveaux
- le fichier genfile-for-modification.osm.xml précise bien les tags
'genus' et species' pour des nœuds qui étaient des simples 'natural=tree'
- pour le fichier genfile-for-non-markable-elements.osm.xml, il faudrait
corriger à la main qq petits trucs pour pouvoir importer le fichier :
corriger le tracé d'un building, ou d'un abribus qui englobe à qq
centimètres près un arbre à créer, ou supprimer un building qui n'existe
plus (pas visible sur photoaérienne), etc. Et je veux bien me charger de
ces corrections si cela peut t'aider (et pour que osm-grenoble en fasse
aussi un peu) : c'est à dire déplacer un building ou abribus de qq
centimètres, etc. avant d'importer le fichier.
Ce qui manque c'est de citer la source sur chacun des nœud ? Et pourquoi
ne pas rajouter la start_date effectivement si tu as cette info ?
Bravo en tout cas !
Paul




Le 17/11/2017 à 22:49, Paul Desgranges a écrit :

> Hello, merci, je regarderai moi aussi ce week-end les trois fichiers
> que tu as fourni, pour te donner un avis en plus
> Paul
>
>
> Le 17/11/2017 à 22:06, sly (sylvain letuffe) a écrit :
>
>> Vincent Frison wrote
>>> Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz
>> J'ai fais de nombreux sondages aléatoires à l'aide des photos aériennes
>> récentes et ça à l'air de la bonne qualité, très cohérent avec
>> l'existant,
>> et sans doublons trouvés.
>> Je ne passe toutefois pas assez souvent sur Grenoble pour tenter une
>> vérif
>> "in situ".
>>
>> L'algo a donc l'air de bien bosser en plus d'une donnée source de bonne
>> qualité, c'est tout bon !
>>
>> Note: Il semble qu'un double encodage UTF-8 se soit glissé dans
>> l'incorporation des genus/species
>> Fichier genfile-for-creation.osm ligne 1670 par exemple :
>>                 <tag v="Amélanchier" k="genus"/>
>>                  <tag v="Amélanchier alnifolia" k="species"/>
>>
>>
>>
>>
>>
>>
>> -----
>


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Paul Desgranges
In reply to this post by Vincent Frison
J'avais pas vu ta réponse du jour avant d'envoyer la mienne aujourd'hui
Je rajoute ceci : qd le champ ESPECE n'existe pas, c'est concaténé avec la chaîne "null" et on a en final 3290 arbres en création et 517 en modification avec une species du genre "Tilia null" "Acer null" etc
Merci
Paul
 



Le 18/11/2017 à 14:47, Vincent Frison a écrit :
Merci Sly pour ton retour.

Bien vu pour l'erreur d'encodage UTF-8 !

Sinon 2 petites questions:

- est ce que cela vaut la peine de rajouter un tag ref:FR:Grenoble:trees avec comme valeur une référence interne (utilisée dans le fichier JSON) ? J'avais cru comprendre que c'était une bonne pratique mais que finalement c'était pas souhaitable. Personnellement je pense pas que ça soit super utile (par ex. si je devais refaire un import pour mise à jour je n'en aurais pas vraiment besoin).

- pour le tag genus/species: dans leur fichier JSON il y a 2 champs séparés, par ex: "GENRE_BOTA":"Platanus","ESPECE":"acerifolia". Pour remplir le tag genus je prend la valeur du champ GENRE_BOTA mais pour le tag species je concatène 
la valeur des 2 champs. Du coup ça vaut quand même la peine que je mette le tag genus (sachant qu'il est déjà "inclus" dans le champ species) ?

Enfin pour respecter la procédure j'ai commencé à créer une page wiki mais dois je annoncer à chaque fois mes importations sur [hidden email] ? En fait cela ne me dérange pas mais ce qui m'étonne c'est de voir le très faible nombre d'imports annoncés. Sur le catalogue on peut voir que sur les 3 derniers mois il n'y a eu que 3 imports et ce sont les miens ! Cela voudrait dire que pas mal d'imports se font "à la douce" ?

Merci, Vincent.




Le 17 novembre 2017 à 22:06, sly (sylvain letuffe) <[hidden email]> a écrit :
Vincent Frison wrote
> Le voici donc, valide pendant un mois: https://files.fm/u/shq299cz

J'ai fais de nombreux sondages aléatoires à l'aide des photos aériennes
récentes et ça à l'air de la bonne qualité, très cohérent avec l'existant,
et sans doublons trouvés.
Je ne passe toutefois pas assez souvent sur Grenoble pour tenter une vérif
"in situ".

L'algo a donc l'air de bien bosser en plus d'une donnée source de bonne
qualité, c'est tout bon !

Note: Il semble qu'un double encodage UTF-8 se soit glissé dans
l'incorporation des genus/species
Fichier genfile-for-creation.osm ligne 1670 par exemple :
               <tag v="Amélanchier" k="genus"/>
                <tag v="Amélanchier alnifolia" k="species"/>







-----
--
sly, contact direct : sylvain /a\ letuffe o r g
http://wiki.openstreetmap.org/wiki/User:Sletuffe
--
Sent from: http://gis.19327.n8.nabble.com/France-f5380434.html

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

marc marc
In reply to this post by Vincent Frison
Peux-tu isoler le cas où plusieurs arbres sont dans ton rayon
de sécurité de 5m ?
est-ce que ce sont des espèces différentes ou identique ?

> - est ce que cela vaut la peine de rajouter un tag ref:FR:Grenoble:trees > jour je n'en aurais pas vraiment besoin).
Si tu n'en as besoin pour un prochain import, alors c'est probablement
inutile de l'ajouter.
la seule utilité que je vois serrait de pouvoir remonter à Grenoble un
éventuel problème de localisation d'un arbre ou abattage.
Mais les arbres ont-il la ref sur eux ? sinon c'est même pas sur qu'un
déplacement d'un noeud osm correspond toujours au même arbre

> - pour le tag genus/species: dans leur fichier JSON il y a 2 champs
> séparés, par ex: "GENRE_BOTA":"Platanus","ESPECE":"acerifolia". Pour
> remplir le tag genus je prend la valeur du champ GENRE_BOTA mais pour le
> tag species je concatène
> la valeur des 2 champs. Du coup ça vaut quand même la peine que je mette
> le tag genus (sachant qu'il est déjà "inclus" dans le champ species) ?

Genus donnant la catégorie globale, je trouve que c'est pratique
de  l'ajouter même quand on connaît l'espèce précise.
Mais en voyant la différence d'occurence entre les 2, certains pensent
le contraire.

> dois je annoncer à chaque fois mes importations

Selon moi, une annonce par type d'import me semble suffisant quitte à
annoncer que l'import concernera d'autres villes française et mettre à
jour la page wiki au fur et à mesure des différentes villes.
Il peux aussi être utile d'ajouter un tag website sur le changeset
vers la page de l'import.

> très faible nombre d'imports annoncés.

nombreux ne sont en effet pas annoncés.
j'en croise des problématiques tous les mois :(
je trouve cela domage car discuter d'un import est un moyen pratique
d'éviter les éventuels problèmes de qualité.

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Vincent Frison
Merci beaucoup pour vos retours !

Au final je vais donc ne pas rajouter de tag ref et je vais toujours renseigner genus ET species (s'il y a une valeur bien sûr).

J'ai corrigé le coup des espèces/genres qui pouvaient ne pas avoir de valeur ainsi que le problème de l'UTF-8 (une nouvelle version est disponible ici: https://files.fm/u/ct7mm6dk).

@Paul: à vrai dire vu le faible nombre d'arbres "non makable" je comptais les ignorer complètement et donc ne rien faire avec... mais n'hésites surtout pas à utiliser le fichier si tu te sens de supprimer ou corriger des bâtiments qui seraient inexacts !





Le 18 novembre 2017 à 18:03, marc marc <[hidden email]> a écrit :
Peux-tu isoler le cas où plusieurs arbres sont dans ton rayon
de sécurité de 5m ?
est-ce que ce sont des espèces différentes ou identique ?

> - est ce que cela vaut la peine de rajouter un tag ref:FR:Grenoble:trees > jour je n'en aurais pas vraiment besoin).
Si tu n'en as besoin pour un prochain import, alors c'est probablement
inutile de l'ajouter.
la seule utilité que je vois serrait de pouvoir remonter à Grenoble un
éventuel problème de localisation d'un arbre ou abattage.
Mais les arbres ont-il la ref sur eux ? sinon c'est même pas sur qu'un
déplacement d'un noeud osm correspond toujours au même arbre

> - pour le tag genus/species: dans leur fichier JSON il y a 2 champs
> séparés, par ex: "GENRE_BOTA":"Platanus","ESPECE":"acerifolia". Pour
> remplir le tag genus je prend la valeur du champ GENRE_BOTA mais pour le
> tag species je concatène
> la valeur des 2 champs. Du coup ça vaut quand même la peine que je mette
> le tag genus (sachant qu'il est déjà "inclus" dans le champ species) ?

Genus donnant la catégorie globale, je trouve que c'est pratique
de  l'ajouter même quand on connaît l'espèce précise.
Mais en voyant la différence d'occurence entre les 2, certains pensent
le contraire.

> dois je annoncer à chaque fois mes importations

Selon moi, une annonce par type d'import me semble suffisant quitte à
annoncer que l'import concernera d'autres villes française et mettre à
jour la page wiki au fur et à mesure des différentes villes.
Il peux aussi être utile d'ajouter un tag website sur le changeset
vers la page de l'import.

> très faible nombre d'imports annoncés.

nombreux ne sont en effet pas annoncés.
j'en croise des problématiques tous les mois :(
je trouve cela domage car discuter d'un import est un moyen pratique
d'éviter les éventuels problèmes de qualité.

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: [osm-grenoble] Importation des arbres municipaux de Grenoble

Jérôme Villafruela
In reply to this post by Paul Desgranges
Le 18/11/2017 à 16:14, Paul Desgranges a écrit :
> J'ai passé un petit moment à comparer les données de tes fichiers avec
> les données existantes (couche de données OSM et couche photo aérienne
> BdOrtho IGN) , et ceci aussi dans des quartiers que je connais, et ce
> que tu as fait a l'air vraiment bien ! Evidemment je n'ai pas contrôlé
> chacun des 24 000 arbres nx, ni les 6000 arbres modifiés, mais 100% de
> ceux que j'ai vus étaient bons !

J'ai fait ce matin un rapide contrôle dans mon quartier et tout ce que
j'ai vu était bon (notamment la place St-Bruno). J'étais dubitatif sur
les deux ajouts en 45.18521/5.71342 mais il y a bien 4 arbres en carré.

> - le fichier genfile-for-creation.osm.xml contient bien des arbres
> nouveaux
> - le fichier genfile-for-modification.osm.xml précise bien les tags
> 'genus' et species' pour des nœuds qui étaient des simples 'natural=tree'
> - pour le fichier genfile-for-non-markable-elements.osm.xml, il
> faudrait corriger à la main qq petits trucs pour pouvoir importer le
> fichier : corriger le tracé d'un building, ou d'un abribus qui englobe
> à qq centimètres près un arbre à créer, ou supprimer un building qui
> n'existe plus (pas visible sur photoaérienne), etc. Et je veux bien me
> charger de ces corrections si cela peut t'aider (et pour que
> osm-grenoble en fasse aussi un peu) : c'est à dire déplacer un
> building ou abribus de qq centimètres, etc. avant d'importer le fichier.
Il vaudrait peut être mieux ajuster la position des arbres avant
l'import, notamment pour ceux devant le silo à vélos ouest de la gare,
le modifier le rendrait désynchronisé du cadastre.
@Paul : je veux bien t'aider sur ce coup-là. De toute façon on en
parlera lors de la prochaine réunion du groupe local, le 4 décembre.

> Ce qui manque c'est de citer la source sur chacun des nœud ? Et
> pourquoi ne pas rajouter la start_date effectivement si tu as cette
> info ?
Oui, on l'a dans le champ ANNEEDEPLANTATION
> Bravo en tout cas !
Je plussoie !

--
Jérôme
(Crossposté sur talk-fr et local-grenoble. Followup sur talk-fr)



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Vincent Frison
In reply to this post by marc marc
Le 18 novembre 2017 à 18:03, marc marc <[hidden email]> a écrit :
Peux-tu isoler le cas où plusieurs arbres sont dans ton rayon
de sécurité de 5m ?
est-ce que ce sont des espèces différentes ou identique ?

Oui ces cas sont isolés mais actuellement l'algo ne regarde que la distance. C'est vrai qu'il pourrait aussi prendre en compte le genre/espèce même si dans la majorité des cas les arbres existants n'ont pas ces attributs malheureusement. Mais c'est une idée intéressante pour une évolution future.

Sinon je me rend compte que j'avais mis 3 mètres comme rayon de correspondance alors que j'avais mis 5 mètres pour Nice. Clairement autant élargir à 5 mètres car de toute façon ça sera toujours l'arbre le plus proche qui sera mis à jour mais au moins ça permet de "récupérer" un peu plus d'arbres placés un peu trop grossièrement.


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Importation des arbres municipaux de Grenoble

Jérôme Villafruela
In reply to this post by Vincent Frison
Le 18/11/2017 à 20:38, Vincent Frison a écrit :
>
> Au final je vais donc ne pas rajouter de tag ref et je vais toujours
> renseigner genus ET species (s'il y a une valeur bien sûr).
Je pense qu'il faudrait ajouter le tag ref (champ BIEN_REFERENCE) :
- pour pouvoir détecter après l'import les arbres qui n'ont pas été mis
à jour, potentiels doublons mal placés à plus de 5m d'un arbre du fichier.
- pour faciliter la mise à jour
- pour détecter les suppressions lors de la prochaine mise à jour.
- pour permettre la réutilisation : le fichier opendata contient
beaucoup d'infos, si on peut faire le lien entre les données osm et le
fichier opendata via la ref on peut imaginer une appli permettant de
visualiser les arbres protégés, vieillissants, d'une espèce donnée etc..
Pour ceux qui voudraient explorer le jeu de données, j'ai converti le
fichier geojson en csv. Vous pouvez le télécharger ici :
https://github.com/jva6438/opendata-grenoble-osm/blob/master/trees/ARBRES_TERRITOIRE_VDG_EPSG4326.json.csv?raw=true 

>
> J'ai corrigé le coup des espèces/genres qui pouvaient ne pas avoir de
> valeur ainsi que le problème de l'UTF-8 (une nouvelle version est
> disponible ici: https://files.fm/u/ct7mm6dk)
ça me paraît bon.
>
> @Paul: à vrai dire vu le faible nombre d'arbres "non makable" je
> comptais les ignorer complètement et donc ne rien faire avec... mais
> n'hésites surtout pas à utiliser le fichier si tu te sens de supprimer
> ou corriger des bâtiments qui seraient inexacts !
Oui, il y en a très peu, on s'en occupera "à la main".

Bonne journée,

--
Jérôme
(Crossposté sur talk-fr et local-grenoble. Followup sur talk-fr)


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: [osm-grenoble] Importation des arbres municipaux de Grenoble

Paul Desgranges
In reply to this post by Vincent Frison
 >> Au final je vais donc ne pas rajouter de tag ref et je vais toujours
 >> renseigner genus ET species (s'il y a une valeur bien sûr).
 > Je pense qu'il faudrait ajouter le tag ref (champ BIEN_REFERENCE) :
 > - pour pouvoir détecter après l'import les arbres qui n'ont pas été
 > mis à jour, potentiels doublons mal placés à plus de 5m d'un arbre du
 > fichier.
 > - pour faciliter la mise à jour
 > - pour détecter les suppressions lors de la prochaine mise à jour.
 > - pour permettre la réutilisation : le fichier opendata contient
 > beaucoup d'infos, si on peut faire le lien entre les données osm et le
 > fichier opendata via la ref on peut imaginer une appli permettant de
 > visualiser les arbres protégés, vieillissants, d'une espèce donnée
etc..oui, si on a cette info pourquoi ne pas la mettre... mais alors
quelle clé ?ref:FR:data.metropolegrenoble.fr ?
 > Pour ceux qui voudraient explorer le jeu de données, j'ai converti le
 > fichier geojson en csv. Vous pouvez le télécharger ici :
 >
https://github.com/jva6438/opendata-grenoble-osm/blob/master/trees/ARBRES_TERRITOIRE_VDG_EPSG4326.json.csv?raw=true 

 >

 >> J'ai corrigé le coup des espèces/genres qui pouvaient ne pas avoir de
 >> valeur ainsi que le problème de l'UTF-8 (une nouvelle version est
 >> disponible ici: https://files.fm/u/ct7mm6dk)
 > ça me paraît bon.Oui moi aussi
Ce qui manquerait c'est le champ 'source'. On ne peut pas garder le
champ source tel qu'il l'était pour les arbres modifiés (on rajoute 3
attributs et ils sont replacés) et pour les nouveaux encore plus : dans
les deux cas la source c'est quelque chose comme
"http://data.metropolegrenoble.fr/ckan/dataset/les-arbres-de-grenoble 2017"
ou comme
"data.metropolegrenoble.fr 2017">> @Paul: à vrai dire vu le faible
nombre d'arbres "non makable" je
 >> comptais les ignorer complètement et donc ne rien faire avec... mais
 >> n'hésites surtout pas à utiliser le fichier si tu te sens de
 >> supprimer ou corriger des bâtiments qui seraient inexacts !
 > Oui, il y en a très peu, on s'en occupera "à la main".yeps !
 > Bonne journée,
 >
 > --
 > Jérôme
 > (Crossposté sur talk-fr et local-grenoble. Followup sur talk-fr)Merci


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: [osm-grenoble] Importation des arbres municipaux de Grenoble

marc marc
Le 19. 11. 17 à 19:36, Paul Desgranges a écrit :
> Ce qui manquerait c'est le champ 'source'. On ne peut pas garder le
> champ source tel qu'il l'était pour les arbres modifiés

C'est exact que garder un tag source précédent lorsqu'on fait une modif
est incohérent.
Ma solution dans ce cas est de virer le tag source de l'objet lorsqu'il
est incohérent avec la source utilisée pour la modif suivante,
et mettre le bon tag source sur le changeset.
_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
12