TPB sex study : Différence entre versions
(→Projet) |
(→Outils) |
||
| Ligne 11 : | Ligne 11 : | ||
== Outils == | == Outils == | ||
| − | + | Le projet complet se trouve [https://codeberg.org/Pontoporeia/tpb_scrapy dans ce repo Codeberg]. Le README.md contient les informations d'installation. !! Attention, il est préférable de travailler depuis Linux. Bon courage si vous est sur un autre OS. | |
| + | |||
| + | Le diagram des entitées relationelles est créer grâce à [https://www.yworks.com/products/yed yEd graph editor]. | ||
| + | |||
| + | L'idée principale est de lancer périodiquement le web scraper. À chaque lancement, il scrape le contenue de la page Top 100 ebooks, qui se trouve à cette adresse : | ||
| + | {''url du proxy ThePirateBay''}/601/top | ||
| + | |||
| + | Il encode tout d'abord la table '''load_data''', qui contient les information du scraping. En même temps, il remplit la table '''load_entry''' | ||
Version du 5 mai 2022 à 11:58
Projet
Il se passe des choses intéréssentes sur Internet. Cet espace virtuel ou les humains dialoguent, échangent, partagent une multitude d'informations à propos d'un spectre de sujets tellement important qu'il y a un certains nombre de règles nommé "Règles d'internets" qui dictent notamment que Tout choses, dans le monde physique et le monde virtuel à un équivalent erotisé et/ou pornographique.
The Pirate Bay est un site web ( et plusieurs sites proxy) permettant de partager des contenues, souvant illégaux, comme des films, des série télévisé, des logiciels, et même des livres numériques et des pdfs. Les sites est divisé en rubriques, par exemples les contenues les plus télécharger de tout les temps. Or, dans la section top 100 ebook
❗Note: Le partage des médias sur
À travers le web scraping du top 100de la section ebook dans The Pirate Bay et le recroisement de ces données dans la durée, je compte observer la place du thème de la sexualité -- plus précisément tout contenue en lien avec des pratiques sexuelles, la pornographie, aide au relation (souvent hétéronormé), pour voir l'évolution au cours du temps des contenues les plus téléchargé dans le top 100 ainsi
Outils
Le projet complet se trouve dans ce repo Codeberg. Le README.md contient les informations d'installation. !! Attention, il est préférable de travailler depuis Linux. Bon courage si vous est sur un autre OS.
Le diagram des entitées relationelles est créer grâce à yEd graph editor.
L'idée principale est de lancer périodiquement le web scraper. À chaque lancement, il scrape le contenue de la page Top 100 ebooks, qui se trouve à cette adresse : {url du proxy ThePirateBay}/601/top
Il encode tout d'abord la table load_data, qui contient les information du scraping. En même temps, il remplit la table load_entry
Utilise le framework Python de webcrawling Scrapy et MariaDB comme base de donnée relationnelle.
À travers PHPMyAdmin, la création des tables
Secondaire mais important, la mise en place de proxy vers tor avec Docker, Docker-compose comme contenaire, des scripts divers et Scrapy pour acceder à The Pirate Bay en échapant au bloquage DNS(Dynamique Name System) par les ISP(Internet Service Providers), le site permettant le téléchargement de contenue proteger par le droit d'auteur et le copyright et donc illégale.
La configuration est expliper ici:
