Wikiberal:Animation/Liens

Prendre les meilleurs articles (statistiquement) de CP, et y caser, automatiquement, des bons liens vers wikiberal

• voir : pages stats de CP, https://www.contrepoints.org/2017/01/08/277085-top-5-de-nos-meilleurs-articles-2016

Peut-être existe-t-il déjà une extension qui fait ça ? (Je dubite).

Dans un 1° temps, l'idée est de réaliser un programme qui fasse cela offline (pour ma part, ce sera en R. Avec des grep() etc)
On fait un copier/coller du texte d'un article sur sa machine (on peut laisser les parties head et bas de pages de coté). On lance le programme de truffage de liens sur l'article. On uploade l'article ainsi modifié dans l'éditeur wordpress de CP, et on enregistre.
A priori, ce sera toujours plus rapide que le truffage à la main, qui est fastidieux.

A noter que, même par programme, croiser un texte de 3000 mots avec un fichier de 6000 titres de pages (d'un ou plusieurs mots) cela prend aussi du temps. Pas forcément évident de réaliser cela OIP.

Liste de l'intégralité des articles wikiberal

• https://www.wikiberal.org/api.php?action=help&modules=main passer par l'API
  • format de sortie : json, jsonfm, none, php, phpfm, rawfm, xml, xmlfm (en gras les utilisables)

• https://www.mediawiki.org/wiki/API:Main_page
• https://www.mediawiki.org/wiki/API:Allpages

• On ne peut récupérer que par paquets de 5000. Avec les 2 appels ci-dessous, au 13/1/2017 on récupère tout
• https://www.wikiberal.org/w/api.php?action=query&list=allpages&apfrom=0&aplimit=50000&format=rawfm
• https://www.wikiberal.org/w/api.php?action=query&list=allpages&apfrom=Portail&aplimit=50000&format=rawfm

• un coup de traitement offline (script R) pour virer les infos inutiles et ne garder que les champs title

• Toutes les pages wikiberal au 13/1/2017 https://www.wikiberal.org/tools/AllWBPages.html

• NB1 : il y a 1860 pages de redirection dans l'espace de nom principal https://www.wikiberal.org/index.php?title=Sp%C3%A9cial:Liste_des_redirections
  • mais ama il faut les garder car ce sont des homonymies, variantes d'écriture etc, eg Ropke, Roepke etc
• NB2 : https://www.wikiberal.org/wiki/Spécial:Pages_courtes,
  • Les pages très courtes sont peu nombreuses. Je pense qu'on peut éliminer les pages ayant moins de 300 octets.

Une autre piste serait de travailler directement dans la BD ?

Ne conserver que les bons liens

virer

• les pages utilisateurs (elles n'y sont pas)
• les doublons purs (R -> unique())
• les pages vides
• les mots trop courts (?)
• Wikiberal: et Wikibéral:

pas touche

• l'espace de nom principal
• homonymies

Détails

• le format des noms de personnes sur wikiberal est "Prenom Nom", si cette chaîne précise n'est pas dans l'article, c'est cuit
• Les noms de page wikiberal démarrent toujours par une majuscule

Insertion des liens

• fonction débrayée par défaut
  • 1° passe = indication des chaines possibles
  • 2° passe = insertion, au coup par coup, ou d'un bloc

• attention : ne pas insérer un lien dans un lien déjà existant
  • sachant que certains liens peuvent être associés à des chaînes de plusieurs mots. 5 mots, voire 10 mots d'affilée (eg https://www.contrepoints.org/2017/01/17/278022-harmonisation-fiscale-europeenne-societes-danger) ne sont pas rares.

Notes

• Dans le cas où on estime que trop de liens sont générés, il faut noter que, dans l'éditeur wordpress, il est plus rapide (2 clics) de délier un mot, que l'inverse (pas de saisie).

• On peut parfaitement imaginer de faire profiter d'autres sites d'un tel programme de lien.
  • librairal, catallaxia
  • sites partenaires, auteurs amis
  • wikipédia, wikiquotes

Fichiers relatifs au projet

• https://www.wikiberal.org/tools/AllWBPages.txt Liste de toutes les pages de wikiberal (plus à jour, à récupérer de préférence par "enregistrer sous")
• https://www.wikiberal.org/tools/AllWBPages.html idem, format html

Suggestions

...