Comment parser et scripter le web en python¶
But de la conférence : introduction au scripting et parsing du web en python avec des pistes pour les usages avancés.
Outils présentés:
- beautifulsoup (4)
- urllib(2)
- requests
- robobrowser (amélioration de mechanize)
- firebug/celui par défaut/de chrome
- ipython-beautifulsoup
Le web: HTTP + HTML¶
HTML¶
HTML¶
Structure générale :¶
<tag>
</tag>
<tag>
<sous_tag>
</sous_tag>
</tag>
<tag_auto_fermant />
<aussi_valide_desormait>
<tag_avec_attributs attribute="valeur" autre_attribut="pouet">
</tag_avec_attributs>
HTTP¶
HTTP¶
HTTP : Exemple d'échange¶
Client :
GET / HTTP/1.1
User-Agent: curl/7.35.0
Host: 0.0.0.0:5000
Accept: */*
Serveur :
HTTP/1.0 200 OK
Server: SimpleHTTP/0.6 Python/2.7.6
Date: Sun, 06 Mar 2016 18:35:04 GMT
Content-type: text/html; charset=UTF-8
Content-Length: 450
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"><html>
<title>Directory listing for /</title>
<body>
<h2>Directory listing for /</h2>
<hr>
<ul>
<li><a href=".ipynb_checkpoints/">.ipynb_checkpoints/</a>
<li><a href="http.png">http.png</a>
<li><a href="requirements.txt">requirements.txt</a>
<li><a href="slides.ipynb">slides.ipynb</a>
<li><a href="slides.slides.html">slides.slides.html</a>
<li><a href="ve/">ve/</a>
</ul>
<hr>
</body>
</html>
HTTP: démo avec nc (netcat)¶
$ ~ nc -l 5000
GET / HTTP/1.1
Host: localhost:5000
Connection: keep-alive
Cache-Control: max-age=0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/48.0.2564.82 Chrome/48.0.2564.82 Safari/537.36
Accept-Encoding: gzip, deflate, sdch
Accept-Language: fr-FR,fr;q=0.8,en-US;q=0.6,en;q=0.4
Cookie: csrftoken=PDY9ZJdnPufZJebI3cGrWEi3JeczTlJw
HTTP/1.0 200 OK
Server: SimpleHTTP/0.6 Python/2.7.6
Date: Sun, 06 Mar 2016 18:35:04 GMT
Content-type: text/html; charset=UTF-8
Content-Length: 450
<p>Salut toi!</p>
Parser de l'html: BeautifulSoup¶
Parser de l'html : BeautifulSoup¶
Transforme de l'html (une structure de donnée) en objects.
Installation:
pip install bs4 # "beautifulsoup" est le package de l'ancienne versionParser de l'html : BeautifulSoup¶
Utilisation:
In [19]:
from bs4 import BeautifulSoup
soup = BeautifulSoup("<p>du super <b>html !</b></p>", "html.parser")
In [20]:
print soup
In [21]:
print soup.prettify()
Parser de l'html : query¶
In [32]:
html = """
<head>
<title>
Exemple de HTML
</title>
</head>
<body>
<p>Ceci est une phrase avec un <a href="cible.html">hyperlien</a>.</p>
<p>Ceci est un paragraphe où il n’y a pas d’hyperlien.</p>
<p class="style">Ceci est un autre paragraphe <b>qui contient du text en gras</b>
et <a href="http://perdu.com">un autre lien</a>
</p>
</body>
"""
In [33]:
soup = BeautifulSoup(html)
In [34]:
soup.find("p") # premier <p>
Out[34]:
In [35]:
soup.find_all("p")
Out[35]:
In [36]:
print soup
In [37]:
soup.find("a")
Out[37]:
In [38]:
soup.find("a", href="http://perdu.com")
Out[38]:
In [39]:
soup.find("p", "style") # "class" est un mot clef réservé en python
Out[39]:
Parser de l'HTML : extraire les informations¶
In [41]:
soup.find("a")["href"]
Out[41]:
In [45]:
soup.find("p").text
Out[45]:
In [49]:
soup.find("p").contents
Out[49]:
In [51]:
result = []
for p in soup.find_all("p"):
result.append(p)
print result
Parser de l'HTML : autres trucs et astuces¶
In [52]:
# shortcuts
soup.p == soup.find("p")
soup("p") == soup.find_all("p")
# in other cases
soup.next_sibling
soup.next_siblings
# css selector
soup.select
soup.select(".style")
Out[52]:
HTTP : parler à un site web¶
In [ ]:
from urllib2 import urlopen
html = urlopen("http://neutrinet.be/index.php").read() # renvoie un string
soup = BeautifulSoup(html)
Demo¶
Parser les événements de http://neutrinet.be/index.php?title=Past_Events (avec présentation des outils de débug des navigateurs)
In [57]:
from urllib2 import urlopen
from bs4 import BeautifulSoup
"""
<table>
<tr>
<td>colonne 1</td>
<td>colonne 2</td>
</tr>
</table>
"""
soup = BeautifulSoup(urlopen("http://neutrinet.be/index.php?title=Past_Events").read())
line = soup.find("table").find_all("tr")[1]
line
Out[57]:
In [59]:
line.find("a").text # line.a.text
Out[59]:
In [60]:
line.find("a")["href"]
Out[60]:
In [62]:
line.find_all("td")[1].text.strip()
Out[62]:
HTTP : GET vs POST¶
POST¶
$ ~ curl -X POST localhost:3456 --data "query=plop&chocolat=chocapic"
# dans un autre terminal
$ ~ nc -l 3456
POST / HTTP/1.1
User-Agent: curl/7.35.0
Host: localhost:3456
Accept: */*
Content-Length: 28
Content-Type: application/x-www-form-urlencoded
query=plop&chocolat=chocapic
HTTP : requests¶
urllib2 est juste trop pourri et compliqué, requests a une super api en comparaison.
In [ ]:
import requests
In [76]:
# +- même résultat que urlopen de urllib2
result = requests.get("http://localhost:3456/?query=plop&chocolat=chocapic")
In [74]:
result = requests.post("http://localhost:3456", data={"query": "plop", "chocolat": "chocapic"})
In [75]:
result.content;
result.json;
Demo de request.POST¶
Sur https://searx.laquadrature.net/ (montrer le <form method="POST">)
In [97]:
import requests
result = requests.post("https://searx.laquadrature.net", data={"q": "chocolat"})
result.content[:500]
Out[97]:
HTTP : AJAX¶
HTTP : AJAX¶
Exemple en javascript/jquery:
$.get("/stuff.json").success(function(data) { /* do some stuff */ })
HTTP : AJAX¶
Robobrowser : stimulate a browser behavior¶
Robobrowser : stimulate a browser behavior¶
Comme mechanize mais avec requests et BeautifulSoup. Conserve les sessions et parser les liens pour vous.
https://github.com/jmcarp/robobrowser
from robobrowser import RoboBrowser
browser = RoboBrowser(history=True)
browser.open('http://website.com/')
# comme .find() pour les arguments
form = browser.get_form(action='/search')
form # <RoboForm q=>
form['q'].value = 'porcupine tree'
browser.submit_form(form)
# comme beautifulsoup
browser.find
browser.find_all
# suivre des liens
browser.follow_link(browser.find("a"))
# comme un navigateur
browser.back()
En plus léger, voir les Sessions de request: http://docs.python-requests.org/en/master/user/advanced/#session-objects
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)
# '{"cookies": {"sessioncookie": "123456789"}}'
Ipython-beautifulsoup¶
Ipython-beautifulsoup¶
Pour les glandeurs et surtout car c'est plus facile. (spoiler: c'est moi qui l'ai codé)
In [80]:
%load_ext soup
In [82]:
configure_ipython_beautifulsoup(show_html=True, show_css=True, show_js=True)
In [ ]:
soup = p("http://neutrinet.be/index.php?title=Past_Events")
In [84]:
soup.find("table")
Out[84]:
Avant de finir, quelques pistes pour aller plus loin¶
- Selenium : http://www.seleniumhq.org/
- asyncio pour les websockets
- asyncio pour dl comme un gros porc en parallèle
- multiprocessing.Pool.map pour le parallélisme du pauvre
- sortez pypy si vous avez besoin de perf
- regardez avant toute chose si le site propose une API, exemple http://hackeragenda.be/#faq
FAIM¶
Des questions ?