Natural Language Text Classifier

This is a demonstration of a Natural Language Processing (NLP) algorithm to determine the natural language (English, French, etc) that a document is written in.

I leaned of this algorithm from Louis Monier, who said he originally used this in AltaVista. The algorithm seems to be ~90% accurate with 100 or more characters of text, and is no more accurate after ~2000 characters. It's currently limited to 11 common European languages, but could be trained to identify more.

To try the code, either enter a URL or the text of a document below and click 'Submit'.

Test Links for known languages: en nl fr de it pt es
Test Links for unknown languages: pl ru ja

Input

Wikipédia, l'encyclopédie libre Wikipédia:Accueil principal Une page de Wikipédia, l'encyclopédie libre. (Redirigé depuis Accueil) Aller à : Navigation, rechercher Bienvenue sur Wikipédia Le projet d’encyclopédie libre que vous pouvez améliorer 990 480 articles en français Version pour appareil mobile Culture — Géographie — Histoire — Sciences — Société — Technologies Liste des portails thématiques Lumière sur L'épave du Titanic, paquebot de la White Star Line, repose par près de 4 000 mètres de fond dans l'Atlantique Nord à quelques kilomètres de l'endroit où il a sombré le 15 avril 1912 à 2 h 20 du matin. Objet de fantasmes depuis la catastrophe, l'épave est recherchée pendant de nombreuses années. Des projets plus où moins sérieux sont échafaudés pour tenter de renflouer le navire, mais n'aboutissent pas. Les premières recherches sérieuses débutent à la fin des années 1970 à l'instigation du milliardaire Jack Grimm, mais l'épave reste introuvable. Elle est finalement découverte le 1er septembre 1985 par Robert Duane Ballard dans le cadre d'une mission secrète pour la marine américaine. De nombreuses expéditions s'en suivent de 1986 à 2005. L'épave repose en deux parties séparées par un vaste champ de débris. Si la partie avant est relativement bien conservée, la partie arrière est pour sa part disloquée. Au cours des expéditions, nombre d'objets du navire sont remontés à la surface et restaurés. Ces remontées, que certains qualifient de pillages, créent de vives polémiques. Cependant, ces pièces ne peuvent théoriquement être cédées qu'à des musées, à l'exception des morceaux de charbon, vendus comme souvenirs. L'épave est également explorée par le réalisateur James Cameron dans le cadre du tournage de son film Titanic. En 2003, le cinéaste produit un documentaire sur celle-ci, Les Fantômes du Titanic. Le navire se désagrège progressivement, rongé par les micro-organismes qui peuplent les fonds ma...

Output

The natural language is not en, with margin of confidence 0.091. (Took 8.955 milliseconds.)
The natural language is fr, with confidence 0.234. (Took 16.210 milliseconds.)
Note: Natural languages known about are (it, fr, de, sv, fi, es, pt, el, da, nl, en) and confidence ranges from 0.0 to 1.0.