Cheatsheet Git

2022-11-22T16:04:06Z

Theophilegm : Page créée avec « ==Les Bases== <code></code> <pre> <code> </code> </pre> == Cloner un repository == Pour cloner un repository git, il suffit lancer la commande <code>clone</code> <pre>... »

==Les Bases==

<code></code>

<pre>
<code>
</code>
</pre>

== Cloner un repository ==

Pour cloner un repository git, il suffit lancer la commande <code>clone</code>
<pre>
<code>
git clone nom_du_repo
</code>
</pre>

DESIGN NUMERIQUE

2022-11-22T16:01:49Z

Theophilegm :

= Description générale du cours =

L’orientation « Design numérique » propose d’explorer
les modes de création graphiques et de diffusion en milieux numériques en apprivoisant les
outils de production digitaux en « les pratiquant » ou autrement dit en « faisant avec ». Il vise
à mettre l’accent sur les formes éditoriales (au sens large) qui se frottent aux outils
numériques et aux media, ces formes de publications pouvant avoir plusieurs statuts, non
seulement celui de flux digitaux, de formes stables imprimées ou d’hybrides, elles peuvent
s’inscrire dans un espace virtuel, ou dans des espaces physiques.
Pour ce faire, le cours propose entre autres de développer des pratiques favorisant le
détournement, le hacking et la poésie, la magie et les recettes, et parfois la lenteur et la
maladresse. Enfin, il propose d'analyser dans les entrailles des objets et système digitaux leur
enjeux politiques, économiques, anthropologiques et historiques — autrement dit, des enjeux
de design.

= L'orientation =

== [[B1 2022-2023|B1]] ==

== [[B2-B3 2022-2023|B2-B3]] ==

== [[M1-M2 2022-2023|M1-M2]] ==

== Cours commun B2->M2: ==
* [[Serveur de publications]]
* [[The Brain aka serveur linux]]

== Horaires Q1 ==
* '''B1''': cours module avec Stéphanie Villayphiou le '''jeudi de 14 à 17h'''
* '''B2-B3''': cours avec Lionel Maes le '''vendredi de 10h à 13h'''
* '''M1-M2''':cours avec Alexia de Visscher le '''jeudi de 13h à 16h'''
* '''B2-B3/M1-M2''': cours avec L. Maes, S. Villayphiou et A. de Visscher le '''vendredi de 14h à 17h'''

== les pads 22-23 ==
* [https://pads.erg.be/p/DN-master-22-23 Masters]

* [https://pads.erg.be/p/DN-vendredi-22-23 B2-M2] (cours du vendredi après-midi)

== Documentation ==
* [[Cheatsheet Git]]

The Brain aka serveur linux

2022-10-20T14:06:06Z

Theophilegm : /* Intro */

==Intro==
The Brain est une raspberry pi utiliser comme serveur de travail et de présentation pour le cours Design Numérique - Serveurs de publications

Pour se connecter au serveur, il faut d'abord se connecter au réseau <code>anw</code> il faut ouvrire un terminal et entrer la commande suivante:

<pre>
ssh dn@192.168.0.136
</pre>

Confirmer alors que vous voulez accepter le '''fingerprint''' en tapant <code>yes</code>.

Vous allez vous trouver face à quelque chose comme ça :

<pre>
dn@thebrain:~ $
</pre>

Vous vous trouvez dans le dossier '''home''' de l'utilisateur <code>dn</code>

Pour se déplacer, utiliser la commande <code>cp</code> ''copydirectory''

<pre>
$ cp ~ # raccourcit vers ton home*
$ cp quelquechose # aller dans le dossier quelquechose
$ cp .. # remonter d'un dossier
$ cp / # aller à la raçine du système
</pre>

Pour lister le contenue d'un dossier, utiliser <code>ls</code>:
<pre>
$ ls le_nom_de_dossier
</pre>

Pour créer un nouveau dossier, utiliser <code>mkdir</code>:
<pre>
$ mkdir le_nom_de_dossier
</pre>

Pour créer un fichier, utiliser <code>touch</code>:
<pre>
$ touch le_nom_de_fichier.extensiom_de_fichier
</pre>

Pour lire le contenue du fichier, utiliser <code>cat</code>, ou <code>more</code> ou <code>less</code>:
<pre>
$ cat le_nom_de_fichier
$ more le_nom_de_fichier
$ less le_nom_de_fichier
</pre>

Pour ouvrire un fichier dans un editeur de texte dans le terminal:
<pre>
$ nano le_nom_de_fichier
$ micro le_nom_de_fichier
$ pico le_nom_de_fichier
$ vim le_nom_de_fichier
$ vi le_nom_de_fichier
</pre>

Pour supprimer des dossier ou fichier, utiliser <code>rm</code>:
<pre>
$ rm le_nom_de_fichier
$ rm -r le_nom_de_dossier # pour récursivement supprimer le dossier et son contenue
$ rm -r * # pour enlever tout ce qui ce trouve dans le dossier où vous vous situez.
# Attention, à utiliser avec prudence.
</pre>

note:
C/ Est/ Pas/ Ici/

The Brain aka serveur linux

2022-10-20T14:05:31Z

Theophilegm :

==Intro==
The Brain est une raspberry pi utiliser comme serveur de travail et de présentation pour le cours Design Numérique - Serveurs de publications

Pour se connecter au serveur, il faut d'abord se connecter au réseau <code>anw</code> il faut ouvrire un terminal et entrer la commande suivante:

<pre>
ssh dn@192.168.0.136
</pre>

Confirmer alors que vous voulez accepter le '''fingerprint''' en tapant <code>yes</code>.

Vous allez vous trouver face à quelque chose comme ça :

<pre>
dn@thebrain:~ $
</pre>

Vous vous trouvez dans le dossier '''home''' de l'utilisateur <code>dn</code>

Pour se déplacer, utiliser la commande <code>cp</code> ''copydirectory''

<pre>
$ cp ~ # raccourcit vers ton home*
$ cp quelquechose # aller dans le dossier quelquechose
$ cp .. # remonter d'un dossier
$ cp / # aller à la raçine du système
</pre>

Pour lister le contenue d'un dossier, utiliser <code>ls</code>:
<pre>
$ ls le_nom_de_dossier
</pre>

Pour créer un nouveau dossier, utiliser <code>mkdir</code>:
<pre>
$ mkdir le_nom_de_dossier
</pre>

Pour créer un fichier, utiliser <code>touch</code>:
<pre>
$ touch le_nom_de_fichier.extensiom_de_fichier
</pre>

Pour lire le contenue du fichier, utiliser <code>cat</code>, ou <code>more</code> ou <code>less</code>
<pre>
$ cat le_nom_de_fichier
$ more le_nom_de_fichier
$ less le_nom_de_fichier
</pre>

Pour ouvrire un fichier dans un editeur de texte dans le terminal:
<pre>
$ nano le_nom_de_fichier
$ micro le_nom_de_fichier
$ pico le_nom_de_fichier
$ vim le_nom_de_fichier
$ vi le_nom_de_fichier
</pre>

Pour supprimer des dossier ou fichier, utiliser <code>rm</code>:
<pre>
$ rm le_nom_de_fichier
$ rm -r le_nom_de_dossier # pour récursivement supprimer le dossier et son contenue
$ rm -r * # pour enlever tout ce qui ce trouve dans le dossier où vous vous situez.
# Attention, à utiliser avec prudence.
</pre>

note:
C/ Est/ Pas/ Ici/

2022-05-23T06:51:35Z

Theophilegm : /* Techniques et Outils */

== '''Projet''' ==

Il se passe des choses intéréssentes sur Internet. Cet espace virtuel ou les humains dialoguent, échangent, partagent une multitude d'informations à propos d'un spectre de sujets tellement important qu'il y a un certains nombre de règles nommé "Règles d'internets" qui dictent notamment que Tout choses, dans le monde physique et le monde virtuel à un équivalent erotisé et/ou pornographique.

[[Fichier:Tpb home.png|left|thumb|upright=1.35|frame|homepage de The Pirate Bay]]

[https://wikiless.org/wiki/The_Pirate_Bay?lang=fr '''The Pirate Bay'''] est un site web ( et plusieurs sites proxy) permettant de partager via [ Bittorrent] des contenues, souvant illégaux, comme des films, des série télévisé, des logiciels, et même des livres numériques et des pdfs. Les sites est divisé en rubriques, par exemples les contenues les plus télécharger de tout les temps.

[[Fichier:Top ebook top view.png|thumb|upright=1.35|right|frame|top 100 ebooks, contenant plein de type de document différent, allant du scan pdf, au epub et autres publications numériques]]

Or, dans la '''section top 100 ebook''', il semble y avoir un pourcentage des documents proposés soit systèmatiquement relatif au thématique du Sex et des relations sexuelles. Allant de contenue explicitement pornographique (''pdf de la revue Playboy'') à des livres de conseils de drague et même de plus en plus des livres qui pourraient être considéré comme politique (culture queer, féminisme). Ce qui m'a rendu curieux de voir si mon intuition était vérifiable.

[[Fichier:Top ebook sex stuff highlight.png|thumb|upright=1.35|right|frame]]

À travers le web scraping du top '''100''' de la section '''ebook''' dans '''The Pirate Bay''' et le recroisement de ces données dans la durée, je compte observer la place du thème de la sexualité, pour voir l'évolution au cours du temps des contenues les plus téléchargé dans le top 100 ainsi que les thématique plus précise proposé.

Les donnée sont récupérer directement du site via '''web scraping''' et sont encodé directement dans une base de donnée '''mariadb'''. Ensuite, plusieurs routine SQL vont généré des statistiques relative à chaque document, notamment en grâce à des mots-clés et les nombre de Seeder et Leecher.

La visualisation de ces données prend la forme de soit un flux RSS qui contiendrait un résumé des dernières donnée et des statistiques au cours du temps, soit une publication générative d'un epub contenant des information sous la forme d'un almanach, une sorte de revue.

Un projet future pourrait prendre en compte toute les sections top 100 de TPB, mais aussi recoupé avec les dernier ajouts les plus populaire, accèssible à l'addresse {proxy}/top/48h600.

==''' Bittorrent '''==
Le partage des médias sur les réseaux torrents utilisent le protocole Bittorrent.

Bittorrent fonctionne en connection pair à pair '''⇔''', le contenue étant distribué à travers plusieurs utilisateur qui ont un contenue ('''Seeder''') vers les utilisateurs qui télécharge ce contenue ('''Leecher'''). Chaque '''Leecher''' a un client bittorrent qui va d'abord se charger de se connecter et récupérer des bribes de donnée auprès de chaque '''Seeder''' connecté au réseaux crée autour du contenue. Des que le '''Leecher''' à le contenue (même partiel), le client bittorrent va envoyer des données à d'autres '''Leechers''', devenant Seeder à son tour.

Ce système permet de distribué sur le réseaux de partage les contenue et les capacité de partage. Bittorrent est donc plus résilient qu'un server conventionel qui proposerait le contenue, car il existe plusieurs copie du contenue, à travers le monde parfois.

Cependant, il faut des Seeder pour pouvoir télécharger un contenue. Il existe des '''système de ratio''' téléchargement/partage, pour forcer les Seeder à continuer à partager le contenue.
The Pirate Bay n'utilise pas un système de ratio. Les Seeder restent connectée par simple bonne volonté de partage.

De plus, ce réseaux n'est par réellement décentralisé ou distribué car les liens vers les contenues sont référencé principalement sur le site web.

== Techniques et Outils ==

''DB'': base de donnée, ou DataBase

Le projet complet se trouve [https://codeberg.org/Pontoporeia/tpb_scrapy dans ce repo Codeberg]. Le README.md contient les informations d'installation.
!! Attention, il est préférable de travailler depuis Linux. Bon courage si vous est sur un autre OS.

===Vue d'ensemble===

Le diagram des liens relationnelles entre les tables de la DB est créer grâce à [https://www.yworks.com/products/yed yEd graph editor].

L'idée principale est de lancer périodiquement le web scraper. À chaque lancement, il scrape le contenue de la page '''Top 100 ebooks''', qui se trouve à cette adresse :
{''url du proxy ThePirateBay''}/601/top

Il encode tout d'abord la table '''load_data''', qui contient les information du scraping. En même temps, il remplit la table '''load_entry''' avec chaque document du top 100, avec la clé de load_data pour identifier ces nouvelles données au scraping qui les a récupéré.

[[Fichier:Tpb diagram.png|frame|left|200px|Diagramme relationnelle fait avec Yed]]

===Détails technique===

Le projet utilise le framework Python de webcrawling [https://scrapy.org/ Scrapy] et MariaDB comme base de donnée relationnelle.

Les table sont créer via PHPMyAdmin au préalable. Dans le repository Codeberg ce trouve un export de la structure de la base de donnée. Il suffit de l'importer avec PHPMyAdmin pour montrer

Secondaire mais important, la mise en place de proxy vers tor avec Docker, Docker-compose comme conteneur, des scripts divers et Scrapy pour accéder à The Pirate Bay en échappant au blocage DNS(Dynamique Name System) par les ISP(Internet Service Providers), le site permettant le téléchargement de contenue protéger par le droit d'auteur et le copyright et donc illégale.

Le crawler(script qui va récuperer les information aka <code>tpbspider.py</code> + les scripts qui envoi les information vers la DB aka <code>items.py</code> et <code>pipeline.py</code>) va récuperer les information de TPB (<code>tpbspider.py</code>), les encode dans un dic qui comprend les champs qui nous intéresse (<code>Item.py</code>) et qui l'appelle comme fonction (<code>TpbItem()</code>). Puis, le script spider envoi vers le script qui encode dans la DB (<code>Pipeline.py</code>), en utilisant un utilisateur mariadb appelé <code>crawler</code> pour s'y connecter.
Cet utilisateur a des permissions limité pour mieux conteneurisé les accès à la DB.
===Visualisation des données===
(À venir) Ensuite une série de routine SQL se chargerait de de généré les statistiques, et les mot clé/catégories seront soit entré à la mains après un référencement manuel des titres des document listé dans la DB, soit à travers du traitement syntaxique automatisé, avec [https://pytorch.org/ Pytorch], une library python de machine learning par exemple.

Le résulat final prendrais probablement la forme d'un site web, où l'on pourrait généré un epub à un instant précis, sous la forme de sorte d'almanach contenant différentes statistiques et information extrait de la DB.

Pour le moment, je suis en train d'étudier les possibilité de deux librairie python pour généré des epub:
* [https://pypi.org/project/EbookLib/ EbookLib]
* [https://pypub.readthedocs.io/en/latest/ pypub]

2022-05-06T13:43:49Z

Theophilegm : /* Projet */

== '''Projet''' ==

Il se passe des choses intéréssentes sur Internet. Cet espace virtuel ou les humains dialoguent, échangent, partagent une multitude d'informations à propos d'un spectre de sujets tellement important qu'il y a un certains nombre de règles nommé "Règles d'internets" qui dictent notamment que Tout choses, dans le monde physique et le monde virtuel à un équivalent erotisé et/ou pornographique.

[Fichier:Tpb home.png|200px| homepage de The Pirate Bay]

[https://wikiless.org/wiki/The_Pirate_Bay?lang=fr '''The Pirate Bay'''] est un site web ( et plusieurs sites proxy) permettant de partager via [ Bittorrent] des contenues, souvant illégaux, comme des films, des série télévisé, des logiciels, et même des livres numériques et des pdfs. Les sites est divisé en rubriques, par exemples les contenues les plus télécharger de tout les temps.

[Fichier:Top ebook top view.png| 200px| top 100 ebooks, contenant plein de type de document différent, allant du scan pdf, au epub et autres publications numériques]

Or, dans la '''section top 100 ebook''', il semble y avoir un pourcentage des documents proposés soit systèmatiquement relatif au thématique du Sex et des relations sexuelles. Allant de contenue explicitement pornographique (''pdf de la revue Playboy'') à des livres de conseils de drague et même de plus en plus des livres qui pourraient être considéré comme politique (culture queer, féminisme). Ce qui m'a rendu curieux de voir si mon intuition était vérifiable.

[Fichier:Top ebook sex stuff highlight.png|200px|left]

À travers le web scraping du top '''100''' de la section '''ebook''' dans '''The Pirate Bay''' et le recroisement de ces données dans la durée, je compte observer la place du thème de la sexualité, pour voir l'évolution au cours du temps des contenues les plus téléchargé dans le top 100 ainsi que les thématique plus précise proposé.

Les donnée sont récupérer directement du site via '''web scraping''' et sont encodé directement dans une base de donnée '''mariadb'''. Ensuite, plusieurs routine SQL vont généré des statistiques relative à chaque document, notamment en grâce à des mots-clés et les nombre de Seeder et Leecher.

La visualisation de ces données prend la forme de soit un flux RSS qui contiendrait un résumé des dernières donnée et des statistiques au cours du temps, soit une publication générative d'un epub contenant des information sous la forme d'un almanach, une sorte de revue.

Un projet future pourrait prendre en compte toute les sections top 100 de TPB, mais aussi recoupé avec les dernier ajouts les plus populaire, accèssible à l'addresse {proxy}/top/48h600.

==''' Bittorrent '''==
Le partage des médias sur les réseaux torrents utilisent le protocole Bittorrent.

Bittorrent fonctionne en connection pair à pair '''⇔''', le contenue étant distribué à travers plusieurs utilisateur qui ont un contenue ('''Seeder''') vers les utilisateurs qui télécharge ce contenue ('''Leecher'''). Chaque '''Leecher''' a un client bittorrent qui va d'abord se charger de se connecter et récupérer des bribes de donnée auprès de chaque '''Seeder''' connecté au réseaux crée autour du contenue. Des que le '''Leecher''' à le contenue (même partiel), le client bittorrent va envoyer des données à d'autres '''Leechers''', devenant Seeder à son tour.

Ce système permet de distribué sur le réseaux de partage les contenue et les capacité de partage. Bittorrent est donc plus résilient qu'un server conventionel qui proposerait le contenue, car il existe plusieurs copie du contenue, à travers le monde parfois.

Cependant, il faut des Seeder pour pouvoir télécharger un contenue. Il existe des '''système de ratio''' téléchargement/partage, pour forcer les Seeder à continuer à partager le contenue.
The Pirate Bay n'utilise pas un système de ratio. Les Seeder restent connectée par simple bonne volonté de partage.

De plus, ce réseaux n'est par réellement décentralisé ou distribué car les liens vers les contenues sont référencé principalement sur le site web.

== Techniques et Outils ==

''DB'': base de donnée, ou DataBase

Le projet complet se trouve [https://codeberg.org/Pontoporeia/tpb_scrapy dans ce repo Codeberg]. Le README.md contient les informations d'installation.
!! Attention, il est préférable de travailler depuis Linux. Bon courage si vous est sur un autre OS.

===Vue d'ensemble===

Le diagram des liens relationnelles entre les tables de la DB est créer grâce à [https://www.yworks.com/products/yed yEd graph editor].

L'idée principale est de lancer périodiquement le web scraper. À chaque lancement, il scrape le contenue de la page '''Top 100 ebooks''', qui se trouve à cette adresse :
{''url du proxy ThePirateBay''}/601/top

Il encode tout d'abord la table '''load_data''', qui contient les information du scraping. En même temps, il remplit la table '''load_entry''' avec chaque document du top 100, avec la clé de load_data pour identifier ces nouvelles données au scraping qui les a récupéré.

[[Fichier:Tpb scraper list.png |frame|left|x100px||upright=1.0|Diagramme relationnelle fait avec Yed]]

===Détails technique===

Le projet utilise le framework Python de webcrawling [https://scrapy.org/ Scrapy] et MariaDB comme base de donnée relationnelle.

Les table sont créer via PHPMyAdmin au préalable. Dans le repository Codeberg ce trouve un export de la structure de la base de donnée. Il suffit de l'importer avec PHPMyAdmin pour montrer

Secondaire mais important, la mise en place de proxy vers tor avec Docker, Docker-compose comme conteneur, des scripts divers et Scrapy pour accéder à The Pirate Bay en échappant au blocage DNS(Dynamique Name System) par les ISP(Internet Service Providers), le site permettant le téléchargement de contenue protéger par le droit d'auteur et le copyright et donc illégale.

Le crawler(script qui va récuperer les information aka <code>tpbspider.py</code> + les scripts qui envoi les information vers la DB aka <code>items.py</code> et <code>pipeline.py</code>) va récuperer les information de TPB (<code>tpbspider.py</code>), les encode dans un dic qui comprend les champs qui nous intéresse (<code>Item.py</code>) et qui l'appelle comme fonction (<code>TpbItem()</code>). Puis, le script spider envoi vers le script qui encode dans la DB (<code>Pipeline.py</code>), en utilisant un utilisateur mariadb appelé <code>crawler</code> pour s'y connecter.
Cet utilisateur a des permissions limité pour mieux conteneurisé les accès à la DB.
===Visualisation des données===
(À venir) Ensuite une série de routine SQL se chargerait de de généré les statistiques, et les mot clé/catégories seront soit entré à la mains après un référencement manuel des titres des document listé dans la DB, soit à travers du traitement syntaxique automatisé, avec [https://pytorch.org/ Pytorch], une library python de machine learning par exemple.

Le résulat final prendrais probablement la forme d'un site web, où l'on pourrait généré un epub à un instant précis, sous la forme de sorte d'almanach contenant différentes statistiques et information extrait de la DB.

Pour le moment, je suis en train d'étudier les possibilité de deux librairie python pour généré des epub:
* [https://pypi.org/project/EbookLib/ EbookLib]
* [https://pypub.readthedocs.io/en/latest/ pypub]

Fichier:Top ebook sex stuff highlight.png

2022-05-06T13:36:15Z

Theophilegm :

Fichier:Top ebook top view.png

2022-05-06T13:32:37Z

Theophilegm :

2022-05-06T10:49:52Z

Theophilegm : /* Techniques et Outils */

== '''Projet''' ==

Il se passe des choses intéréssentes sur Internet. Cet espace virtuel ou les humains dialoguent, échangent, partagent une multitude d'informations à propos d'un spectre de sujets tellement important qu'il y a un certains nombre de règles nommé "Règles d'internets" qui dictent notamment que Tout choses, dans le monde physique et le monde virtuel à un équivalent erotisé et/ou pornographique.

[https://wikiless.org/wiki/The_Pirate_Bay?lang=fr '''The Pirate Bay'''] est un site web ( et plusieurs sites proxy) permettant de partager via [ Bittorrent] des contenues, souvant illégaux, comme des films, des série télévisé, des logiciels, et même des livres numériques et des pdfs. Les sites est divisé en rubriques, par exemples les contenues les plus télécharger de tout les temps.

Or, dans la '''section top 100 ebook''', il semble y avoir un pourcentage des documents proposés soit systèmatiquement relatif au thématique du Sex et des relations sexuelles. Allant de contenue explicitement pornographique (''pdf de la revue Playboy'') à des livres de conseils de drague et même de plus en plus des livres qui pourraient être considéré comme politique (culture queer, féminisme).

À travers le web scraping du top '''100'''de la section '''ebook''' dans '''The Pirate Bay''' et le recroisement de ces données dans la durée, je compte observer la place du thème de la sexualité, pour voir l'évolution au cours du temps des contenues les plus téléchargé dans le top 100 ainsi que les thématique plus précise proposé.

Les donnée sont récupérer directement du site via '''web scraping''' et sont encodé directement dans une base de donnée '''mariadb'''. Ensuite, plusieurs routine SQL vont généré des statistiques relative à chaque document, notamment en grâce à des mots-clés et les nombre de Seeder et Leecher.

La visualisation de ces données prend la forme de soit un flux RSS qui contiendrait un résumé des dernières donnée et des statistiques au cours du temps, soit une publication générative d'un epub contenant des information sous la forme d'un almanach, une sorte de revue.

Un projet future pourrait prendre en compte toute les sections top 100 de TPB, mais aussi recoupé avec les dernier ajouts les plus populaire, accèssible à l'addresse {proxy}/top/48h600.

==''' Bittorrent '''==
Le partage des médias sur les réseaux torrents utilisent le protocole Bittorrent.

Bittorrent fonctionne en connection pair à pair '''⇔''', le contenue étant distribué à travers plusieurs utilisateur qui ont un contenue ('''Seeder''') vers les utilisateurs qui télécharge ce contenue ('''Leecher'''). Chaque '''Leecher''' a un client bittorrent qui va d'abord se charger de se connecter et récupérer des bribes de donnée auprès de chaque '''Seeder''' connecté au réseaux crée autour du contenue. Des que le '''Leecher''' à le contenue (même partiel), le client bittorrent va envoyer des données à d'autres '''Leechers''', devenant Seeder à son tour.

Ce système permet de distribué sur le réseaux de partage les contenue et les capacité de partage. Bittorrent est donc plus résilient qu'un server conventionel qui proposerait le contenue, car il existe plusieurs copie du contenue, à travers le monde parfois.

Cependant, il faut des Seeder pour pouvoir télécharger un contenue. Il existe des '''système de ratio''' téléchargement/partage, pour forcer les Seeder à continuer à partager le contenue.
The Pirate Bay n'utilise pas un système de ratio. Les Seeder restent connectée par simple bonne volonté de partage.

De plus, ce réseaux n'est par réellement décentralisé ou distribué car les liens vers les contenues sont référencé principalement sur le site web.

== Techniques et Outils ==

Le projet complet se trouve [https://codeberg.org/Pontoporeia/tpb_scrapy dans ce repo Codeberg]. Le README.md contient les informations d'installation. !! Attention, il est préférable de travailler depuis Linux. Bon courage si vous est sur un autre OS.

Le diagram des entitées relationelles est créer grâce à [https://www.yworks.com/products/yed yEd graph editor].

L'idée principale est de lancer périodiquement le web scraper. À chaque lancement, il scrape le contenue de la page Top 100 ebooks, qui se trouve à cette adresse :
{''url du proxy ThePirateBay''}/601/top

Il encode tout d'abord la table '''load_data''', qui contient les information du scraping. En même temps, il remplit la table '''load_entry''' avec chaque document du top 100, avec la clé de load_data pour identifier ces nouvelles données au scraping qui les a récuperer.

(À venir) Ensuite une série de routine SQL se chargerait de de généré les statistiques, et les mot clé/ catégories, serait soit entré à la mains suite un référencement manuel entré dans la DB, soit à travers du traitement syntaxique, avec [https://pytorch.org/ Pytorch], une library python de machine learning.

[[Fichier:Tpb scraper list.png |frame|left|x100px||upright=1.0|Diagramme relationnelle fait avec Yed]]

Le projet utilise le framework Python de webcrawling [https://scrapy.org/ Scrapy] et MariaDB comme base de donnée relationnelle.

Les table sont créer via PHPMyAdmin au préalable. Dans le repo Codeberg ce trouve un export de la structure de la base de donnée. Il suffit de l'importer avec PHPMyAdmin pour montrer

Secondaire mais important, la mise en place de proxy vers tor avec Docker, Docker-compose comme contenaire, des scripts divers et Scrapy pour acceder à The Pirate Bay en échapant au bloquage DNS(Dynamique Name System) par les ISP(Internet Service Providers), le site permettant le téléchargement de contenue proteger par le droit d'auteur et le copyright et donc illégale.

La configuration est expliper ici: