Mathias - Historique des versions

MathiasR le 24 février 2023 à 11:25

2023-02-24T11:25:17Z

← Version précédente		Version du 24 février 2023 à 11:25
Ligne 1 :		Ligne 1 :
	<h1>LA BRIQUE</h1>		<h2>LA BRIQUE</h2>
			<h3>Un projet d'édition en Web2Print sur le thème des Lost Média</h3>

			<h4>Un script pour récupérer toute les phrases contenant le mot projet</h4>
			<syntaxhighlight lang="python">
			import re
			import json

			#data = open('file.txt')
			#data = data.read()
			#print(data)
			data = json.load(open('output.json','r'))
			data = str(data)
			regex = r"\b[^.!?]+project[^a-z][^.!?]+[.!?]+" #cherche toute les phrases contenant le mot project
			regex2 =r"\[?\d\]\|\\?n\\n\|\\n\|\\\|\[\d"

			variable = re.findall(regex, data)
			t = 0

			with open('project.txt','w',encoding = 'utf-8') as file:
			for i in variable:
			t = t +1
			i = re.sub(regex2,"",i)
			#i = i.encode('utf-8')
			#i = str(i)
			file.write(f'{i}\n')


			</syntaxhighlight >


			<h4>Un script pour compter chaque mot</h4>
			<syntaxhighlight lang="python">
			import string
			import json

			data = json.load(open('output.json','r'))
			texte = ''.join(str(e) for e in data)

			words = {}
			stopwords = ["the","in","a","at","for","it","of","is","in","by","to","and","was","on","be","this","an","but","that","as","he"]

			texte = texte.lower()
			texte = texte.translate(str.maketrans('', '', string.punctuation))
			txt = texte.split()

			for i in txt:

			if i in stopwords:
			continue

			if i not in words:
			words.update({i:1})

			else:
			words[i] = words[i]+1

			newWords = dict(sorted(words.items(), key=lambda item: item[1], reverse=True))
			#print(newWords)

			with open('file.txt', 'w') as file:
			for a in newWords:
			try:
			file.write(f'{a} : {newWords[a]}\n')
			except:
			pass
			</syntaxhighlight >

			<h4>Le script pour récupérer le contenu sur le wiki</h4>
	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">

MathiasR le 24 février 2023 à 11:04

2023-02-24T11:04:49Z

← Version précédente		Version du 24 février 2023 à 11:04
Ligne 1 :		Ligne 1 :
			<h1>LA BRIQUE</h1>



	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">

Lionel le 16 décembre 2022 à 14:19

2022-12-16T14:19:13Z

@@ Ligne 1 : / Ligne 1 : @@
 <syntaxhighlight lang="python">
 #la librairie qui permet de se connecter au site
 import mechanize
@@ Ligne 8 : / Ligne 9 : @@
 import ssl
+import json
@@ Ligne 49 : / Ligne 50 : @@
      #print(resultats)
+    return article
@@ Ligne 87 : / Ligne 94 : @@
              nextUrl = siteUrl+nextPrevLinkTag.get('href')
              break
 print(articlesLinks)
 </syntaxhighlight >

Lionel le 16 décembre 2022 à 13:17

2022-12-16T13:17:13Z

@@ Ligne 9 : / Ligne 9 : @@
 import ssl
-def getHtmlElements(url, selecteurCss):
      #1. télécharger la source html de la page url
      browser = mechanize.Browser()
@@ Ligne 27 : / Ligne 29 : @@
      source = data.read()
      html = lxml.html.fromstring(source)
+def getHtmlElements(html, selecteurCss):
      #3. viser l'information qui nous intéresse
@@ Ligne 46 : / Ligne 49 : @@
      #print(resultats)
-print(articles)
+siteUrl = 'https://www.lostmediawiki.com'
-print(len(articles))
+start = True
 </syntaxhighlight >

MathiasR le 16 décembre 2022 à 11:22

2022-12-16T11:22:02Z

← Version précédente		Version du 16 décembre 2022 à 11:22
Ligne 63 :		Ligne 63 :
	print(articles)		print(articles)
	print(len(articles))		print(len(articles))
	</~~syntaxhighight~~>		</syntaxhighlight >

Lionel le 16 décembre 2022 à 11:21

2022-12-16T11:21:41Z

← Version précédente		Version du 16 décembre 2022 à 11:21
Ligne 1 :		Ligne 1 :
	<syntaxhighlight lang = "python">		<syntaxhighlight lang="python">
	#la librairie qui permet de se connecter au site		#la librairie qui permet de se connecter au site
	import mechanize		import mechanize

MathiasR : Page créée avec « #la librairie qui permet de se connecter au site import mechanize #la librairie qui permet d'analyser la structure html import lxml.html... »

2022-12-16T11:21:02Z

Page créée avec « <syntaxhighlight lang = "python"> #la librairie qui permet de se connecter au site import mechanize #la librairie qui permet d'analyser la structure html import lxml.html... »

Nouvelle page

<syntaxhighlight lang = "python">
#la librairie qui permet de se connecter au site
import mechanize
#la librairie qui permet d'analyser la structure html
import lxml.html
#la librairie qui permet de sélectionner une info dans la structure html
import cssselect

import ssl

def getHtmlElements(url, selecteurCss):
#1. télécharger la source html de la page url
browser = mechanize.Browser()
browser.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
browser.set_handle_robots(False)

#problème https
browser.set_ca_data(context=ssl._create_unverified_context(cert_reqs=ssl.CERT_NONE))

data = browser.open(url, timeout=10)

'''with open("output.txt", 'w') as f:
f.write(str(data.read()))'''

#2. analyser la source et la transformer en structure html navigable
source = data.read()
html = lxml.html.fromstring(source)

#3. viser l'information qui nous intéresse

#convertir mon sélecteur css en objet cssselect
selecteurs = cssselect.parse(selecteurCss)
#0
#[objet cssselect]

selecteur = selecteurs[0]

chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur)

resultats = html.xpath(chemin_xpath)

return resultats
#print(resultats)

goodLinks = []

links = getHtmlElements('https://www.lostmediawiki.com/Article_listing', "h3 .mw-headline a")

for link in links:
goodLinks.append("https://www.lostmediawiki.com"+link.get('href'))

articles = []
#print(goodLinks)

for goodLink in goodLinks:
articleLinks = getHtmlElements(goodLink, '.mw-parser-output ul li a')
for articleLink in articleLinks:
articles.append("https://www.lostmediawiki.com"+articleLink.get('href'))

print(articles)
print(len(articles))
</syntaxhighight>