Parsoid

Parsoid è una libreria PHP fornita con MediaWiki (a partire dalla versione 1.35) che permette di convertire wikitext in HTML e viceversa. È in via di sviluppo dal 2012, originariamente scritta in JavaScript e concepita per supportare VisualEditor . È incluso in MediaWiki dalla versione 1.35. In MediaWiki 1.47, è pianificato che Parsoid sia l'analizatore predefinito, rempiazzando l'odierno analizatore nativo , in un proietto conosciuto come unificazione degli analizadori .

Parsoid è un'applicazione capace di tradurre la sintassi wikitext in un modello di documento HTML/RDFa equivalente (e viceversa), con supporto esteso per l'elaborazione automatizzata e l'editing di testo formattato.

È sviluppato da un gruppo della Wikimedia Foundation, che ci lavora dal 2012. È utilizzato ampiamente da VisualEditor , Traduzione contenuti e altre applicazioni.

Parsoid ha lo scopo di fornire una conversione senza errori in entrambe le direzioni, evitando la perdita di informazioni e prevenendo le differenze involontarie ("dirty diffs").

Sulle wiki di Wikimedia, per diverse applicazioni, Parsoid è solitamente in proxy dietro RESTBase , che memorizza l'HTML tradotto da Parsoid. È previsto che RESTBase venga col tempo sostituito da una cache meglio integrata con MediaWiki.

Per maggiori dettagli sul progetto complessivo, vedere questo post di blog di marzo 2013. Per informazioni sul modello HTML in uso, vedere le specifiche DOM di MediaWiki.

In origine Parsoid era stato concepito come servizio web scritto in Javascript, utilizzando Node.js. Una discussione tecnica di febbraio 2019 (diapositive) e un post di blog descrivono il processo di riscrittura in PHP. L'API di estensione di Parsoid è attualmente in via di sviluppo; una discussione di agosto 2020 descrive questo lavoro.

Repository su GitHub: https://github.com/wikimedia/parsoid

• Parsoid/Releases – Elenco di versioni di Parsoid
• Parsoid/API – per l'API web
• MediaWiki DOM spec – per dare un senso all'HTML generato dall'API, realizzato per essere utile come futuro formato di archiviazione
• Parsoid/LanguageConverter – note sull'implementazione Parsoid di LanguageConverter
• Parsoid/Known differences with Core Parser output

Parsoid è incluso in Mediawiki a partire dalla versione 1.35. Non è necessaria alcuna configurazione per attivarlo.

Parsoid esporta una API REST interna che storicamente era usata da RESTBase e non era accessibile al di fuori del cluster interno della WMF. Ciò non è più necessario per Visual Editor né per le visualizzazioni di lettura del nucleo; l'API interna sta diventando obsoleta e si prevede che venga rimossa in MW 1.43.

Parsoid è normalmente una libreria di Composer usata dal core di MediaWiki. If you still require the internal API for some reason, you can explicitly load Parsoid "as an extension" by adding the following to LocalSettings.php:

wfLoadExtension( 'Parsoid', "$IP/vendor/wikimedia/parsoid/extension.json" );

Lo sviluppo è in Parsoid Git repository. Le revisioni sono disponibili nel Gerrit. Vedi Gerrit/Getting Started per creare un'account per te.

If you use the MediaWiki-Vagrant development environment using a virtual machine, you can simply add the role visualeditor to it and it will set up a working Parsoid along with Extension:VisualEditor .

Le istruzioni qui sono per MediaWiki 1.35 e successivo. Controlla Parsoid/JS se esegui la vecchia versione di Parsoid scritta in JavaScript, e utilizzata per MW 1.34 e precedenti.

In un'installazione MediaWiki standard, Parsoid è incluso in MediaWiki come biblioteca di Composer, wikimedia/parsoid.

Per scopi di sviluppo si desidera di solito utilizzare una libreria git di Parsoid, e non la versione bundled in MediaWiki core come libreria di compositori. Le seguenti linee aggiunte a LocalSettings.php permettono utilizzare (opcionalmente) una copia di Parsoid proveniente di Git, caricare l'API REST di Parsoid con wfLoadExtension (in luogo d'utilizzare la versione impaccata nell'Editore Visuale) e configurare Parsoid a mano, quello che generalmente fa mediante l'Editore Visuale:

$parsoidInstallDir = 'vendor/wikimedia/parsoid'; # Copia integrata
#$parsoidInstallDir = '/my/path/to/git/checkout/of/Parsoid';
// Per gli sviluppatori l, assicuratevi che sia eseguito da $parsoidInstallDir
// (non la versione inclusa nel core di MediaWiki)
// Deve verificarsi *prima* di wfLoadExtension()
if ( $parsoidInstallDir !== 'vendor/wikimedia/parsoid' ) {
 function wfInterceptParsoidLoading( $className ) {
 // Solo intercettare classi di spazio di nome Parsoid
 if ( preg_match( '/(MW|Wikimedia\\\\)Parsoid\\\\/', $className ) ) {
 $fileName = Autoloader::find( $className );
 if ( $fileName !== null ) {
 require $fileName;
 }
 }
 }
 spl_autoload_register( 'wfInterceptParsoidLoading', true, true );
 // AutoLoader::registerNamespaces è stato aggiunto in MW 1.39
 AutoLoader::registerNamespaces( [
 // Tenete questo in sincronia con la clausola "autocarga" in
 // $parsoidInstallDir/composer.json
 'Wikimedia\\Parsoid\\' => "$parsoidInstallDir/src/",
 ] );
}
wfLoadExtension( 'Parsoid', "$parsoidInstallDir/extension.json" );
unset( $parsoidInstallDir );

Queste linee non sono necessarie partorisca la maggioranza degli utenti dell'Editore Visuale, che possono utilizzare l'autoconfiguración dell'Editore Visuale e il codice di Parsoid impaccato in MediaWiki, ma sì saranno necessarie partorisca la maggioranza degli sviluppatori.

location/w/rest.php/{
try_files$uri$uri//w/rest.php?$query_string;
}

If you are running Mediawiki using Docker, and linking your local Parsoid repository to Mediawiki, you need to map additional volume to the docker container in docker-compose.override.yml file in media wiki project. To do so, the simplest way is to create docker-compose.override.yml in mediawiki project and put code bellow inside (with path modification). If you already have docker-compose.override.yml file, modify it accordingly.

services:
mediawiki:
volumes:
-./:/var/www/html/w:cached
-/my/path/to/git/checkout/of/Parsoid:/my/path/to/git/checkout/of/Parsoid

Per verificare la corretta configurazione, visitare {$wgScriptPath}/rest.php/{$domain}/v3/page/html/Main%20Page dove $domain è il nome dell'host in $wgCanonicalServer. (Si noti che i server WMF di produzione non espongono l'API REST di Parsoid alla rete esterna).

Per eseguire tutti i test dell'analizzatore e i test di Mocha:

$ composertest

I test dell'analizzatore ora hanno un gran numero di opzioni, che possono essere elencate usando php bin/parserTests.php --help.

Se la variabile d'ambiente MW_INSTALL_DIR punta a un'installazione di MediaWiki configurata, è possibile eseguire alcuni test aggiuntivi con:

$ composerphan-integrated

È possibile convertire semplici frammenti di wikitext dalla riga di comando utilizzando lo script parse.php nella directory bin/:

$ echo'[[Foo]]'|phpbin/parse.php

Lo script parse dà molte opzioni. php bin/parse.php --help offre informazioni a riguardo.

Vedi Parsoid/Debugging per consigli sul debugging.

Parsoid è sempre disponibile come libreria, poiché è una dipendenza del nucleo di MediaWiki. Ma due pezzi non sono abilitati:

• Parsoid ServiceWiring
• API REST esterna di Parsoid

Il test runner Quibble lo abilita se rileva che mediawiki/services/parsoid.git è stato clonato come parte della compilazione. In questo caso:

• punta l'autoloader per Wikimedia\Parsoid al codice clonato (sostituendo di fatto la versione installata da composer)
• Carica l'estensione wfLoadExtension( 'Parsoid', '/path/to/cloned/repo' );

Il ServiceWiring dovrebbe essere abilitato in MediaWiki a partire dalla versione 1.38.

Teoricamente l'API REST non verrebbe mai fusa in MediaWiki: a) non è mai stata esposta al pubblico in produzione, è un'API interna usata da RESTBase che sta per scomparire; b) non è mai stata sottoposta a controlli di sicurezza e c) è ridondante con l'API MediaWiki aziendale. La soluzione sarà che VisualEditor invochi Parsoid direttamente tramite l'Action API di VisualEditor, risparmiando un viaggio di andata e ritorno attraverso l'API REST.

Il caricamento dell'estensione è quindi un hack che consente di utilizzare interfacce soggette a modifiche e che non vogliamo che vengano ancora utilizzate.

Per la maggior parte degli scopi, parsoid non dovrebbe quindi essere aggiunto come dipendenza di CI; l'unica eccezione, a partire da ottobre 2021, è l'estensione MediaWiki Disambiguator.

Caricare parsoid come estensione ci permette di eseguire test di integrazione di MediaWiki con mediawiki/services/parsoid.git (come Quibble, apitesting) e di assicurarci che Parsoid e MediaWiki funzionino insieme.

Un'estensione può essere in grado di scrivere test con Parsoid anche quando il repository non è stato clonato. Poiché è una dipendenza da MediaWiki core, lo spazio dei nomi MediaWiki\Parsoid è disponibile, ma la parte di cablaggio del servizio non lo è (è extension/src nel repository Parsoid ed è esposto come spazio dei nomi \MWParsoid). Il ParsoidTestFileSuite.php codice esegue i test del parser solo se è stato caricato Parsoid (che dovrebbe essere l'impostazione predefinita con MediaWiki 1.38).

Per l'integrazione continua Parsoid è testato rispetto alla versione più recente di MediaWiki, mentre MediaWiki è testato con la dipendenza di Composer. In caso di modifica incompatibile, la modifica di Parsoid viene fusa per prima (quella che rompe la sua integrazione continua ma non quella di MediaWiki) e MediaWiki viene modificato quando Parsoid viene aggiornato. Si tratta quindi di un cambiamento a senso unico.

Per le build di rilascio di MediaWiki, abbiamo un'integrazione di Parsoid ServiceWiring in VisualEditor, in modo che VisualEditor funzioni senza ulteriori configurazioni (a parte wfLoadExtension( 'VisualEditor' )). La build di rilascio abilita anche l'API REST e aggancia tutto in modo che parsoid funzioni subito. Questo viene fatto copiando un pezzo del codice Parsoid dentro Visual Editor il quale non si trova nel master di Visual Editor, poiché sarebbe obsoleto non appena Parsoid venisse aggiornato. Il codice viene invece conservato in due posti.

• Parsoid/Internals – documentation about Parsoid internals with links to other details.
• PHP Porting notes and help-wanted tasks
• Parsoid deployment agenda on Wikimedia cluster (code normally deployed every Monday and Wednesday between 1pm - 1:30pm PST)
• Parsoid/Round-trip testing – The round-trip testing setup we are using to test the wikitext -> HTML DOM -> wikitext round-trip on actual Wikipedia content.
• Parsoid/Visual Diffs Testing – Info about visual diff testing for comparing Parsoid's html rendering with php parser's html rendering + a testreduce setup for doing mass visual diff tests.
• Parsoid/limitations – Limitations in Parsoid, mainly contrived templating (ab)uses that don't matter in practice. Could be extended to be similar to the preprocessor upgrade notes (Might need updating)
• Parsoid/Bibliography – Bibliography of related literature

• See Parsoid/Debugging for debugging tips.
• Upgrading or adding packages to Parsoid
• See these instructions for syncing Parsoid's copy of parser tests to/from core
• Parsoid has a limited library interface for invoking it programatically.
• Tech Talk about Retargeting extensions to work with Parsoid
• So you want your extension to work with Parsoid
• Parsoid HTML Specification Versioning
• So you are going to change Parsoid output

• Parsoid/Deployments
• RT testing commits (useful to check regressions and fixes)
• Deployment instructions for Parsoid
• Kibana dashboard
• Grafana dashboard for wt2html metrics
• Grafana dashboard for html2wt metrics
• Prometheus breakdown for the Parsoid cluster on eqiad
• Prometheus breakdown for the Parsoid cluster on codfw
• Jenkins Job Builder docs for updating jenkins jobs

The original application was written in JavaScript (using Node.js) and started running on the Wikimedia cluster in December 2012. In 2019, Parsoid was ported to PHP, and the PHP version replaced the JS version on the Wikimedia cluster in December 2019. Parsoid is being integrated into core MediaWiki, with the goal of eventually replacing MediaWiki's current native parser. In early 2024, Parsoid began to be used on some production wikis of the Wikimedia Foundation as the default parser for read views. You can see them in the production config list.

Parsoid (the PHP version) has been natively bundled with MediaWiki since version 1.35, released in September 2020. For non-Wikimedia installations, Parsoid/JS was supported until the end-of-life of MediaWiki 1.31 (LTS) in September 2021.

• Come faccio a vedere se una pagina è stata renderizzata con Parsoid?
  • A piè di pagina ci sarà scritto "La pagina è stata renderizzata con Parsoid".
• How do I set a page to temporarily render with Parsoid?
  • Install Extension:ParserMigration
  • Add ?useparsoid=1 to the URL
• Come faccio a renderizzare un'intera wiki con Parsoid?
  • Installa Extension:ParserMigration
  • Set $wgParserMigrationEnableParsoidArticlePages = true;
  • Set $wgParserMigrationEnableParsoidDiscussionTools = true;
• Which Wikimedia wikis render with Parsoid?
  • The list is at parsoidrendered.dblist. As of August 2025, it is approximately 250 of the 1000 wikis. Rollout will continue until all wikis are using Parsoid.

• API
• RESTBase – a caching / storing API proxy for page HTML translated by Parsoid
• Parser 2011/Parser plan – Early (now relatively old) design ideas and issues from 2011
• Special:PrefixIndex/Parsoid/ – Parsoid-related pages on this wiki
• Extension:ParsoidBatchAPI (archived)
• parsoid-jsapi – a high-level interface for extraction and transformation of wikitext, similar to the mwparserfromhell API.
• Alternative parsers
• Parsoid/Parser Unification

• Source code (GitHub mirror)
• JS Documentation (old version of Parsoid)
• PHP Documentation
• Parsoid on the Wikimedia Commons

If you need help or have questions/feedback, you can contact us in #mediawiki-parsoid ^connect or the wikitext-l mailing list. If all that fails, you can also contact us by email at content-transform-team at the wikimedia.org domain.

• WMF Projects/it
• Extensions bundled with MediaWiki 1.35/it
• MediaWiki development/it
• Parser/it
• Parsoid/it
• Wikitext/it
• Development notes/it
• Used on Wikimedia/it
• VisualEditor/it
• Libraries/it