Handleiding
Scrapers
Wat is een scraper?
Een website scraper, ook wel een web scraper genoemd, is een tool die webpagina’s doorzoekt en relevante data van die pagina’s ophaalt. Deze data kan in de context van je chatbot gebruikt worden om de chatbot te trainen op de content waarvan jij wil dat de chatbot het weet.
Aanmaken
Klik op de “Scrapers” pagina rechtsboven, of in het midden als er nog geen scraper is, op de knop “Nieuwe Scraper”. Vul een weergavenaam in (alleen zichtbaar in het dashboard) en geef de Scrape URL en URL overeenkomst aan.
De scrape URL is de basis URL van de pagina’s die je wil scrapen. Dit kan bijvoorbeeld een link naar de FAQ zijn, of naar je documentatie. De URL overeenkomst zorgt ervoor dat de scraper alleen gaat kijken naar pagina’s met een URL waarin de URL overeenkomst voor komt. Doe je als scrape URL bijvoorbeeld “voorbeeld.nl/faq”, en je geeft bij de URL overeenkomst faq aan, dan zal de scraper alleen gaan kijken naar URLs waarin de tekst faq in voor komt. Dus ook “voorbeeld.nl/faq/hoe-werkt-dit” en “voorbeeld.nl/faq/wat-is-dit”. Zolang die pagina’s bestaan en op je website zijn, worden deze opgehaald. Stel je hebt geen subpagina’s voor je FAQ, dan zal alleen de pagina “voorbeeld.nl/faq” opgehaald worden door de scraper.
Je kunt ook je gehele website laten scrapen, maar dit raden wij niet altijd aan, omdat er ook irrelevante informatie op sommige pagina’s van je site kan staan die niet handig is voor de chatbot om te weten.
Scrape vooral informatieve pagina’s zoals FAQs, handleidingen, of documentaties.
Scrapen
Na het aanmaken van de scraper, zal deze automatisch beginnen met scrapen. De scraper kan ook geactiveerd worden door op de overzichtspagina van scrapers naar de 3 puntjes aan de rechterkant van een scraper te gaan en op “Scrape” te klikken. Klik vervolgens op de knop “Begin met scrapen” om het scrapen te starten.
Na het scrapen wordt er een nieuw bestand gegenereerd. Deze kan vervolgens gebruikt worden voor al je chatbots.
Bewerken
Scrapers kunnen bewerkt worden door op de overzichtspagina van scrapers naar de 3 puntjes aan de rechterkant van een scraper te gaan en op “Bewerken” te klikken.
Verwijderen
Scrapers kunnen verwijderd worden door op de overzichtspagina van scrapers naar de 3 puntjes aan de rechterkant van een scraper te gaan en op “Verwijderen” te klikken.