Web Scraping в режиме реального времени

Ailis Curran спросил: 03 ноября 2018 в 09:52 в: python

В настоящее время я занимаюсь поиском в Интернете с использованием BeautifulSoup, который извлекается и пишется в формате xml, как показано в приведенном ниже коде. Мне просто интересно, что можно сделать, чтобы сделать это в режиме реального времени, поскольку веб-сайт обновляется каждые 5 минут.

import csv
import requests
from bs4 import BeautifulSoupurl = 'http://www.dublincity.ie/dublintraffic/cpdata.xml?1543254514266'res = requests.get(url)
soup = BeautifulSoup(res.content,"xml")
data = []
for item in soup.select("carpark"):
    ditem = {}
    ditem['Name'] = item.get("name")
    ditem['Spaces'] = item.get("spaces")
    data.append(ditem)with open("xmldocs.csv","w",newline="") as f:
    writer = csv.DictWriter(f,["Name","Spaces"])
    writer.writeheader()
    for info in data:
        writer.writerow(info)

0 ответов