Sökning: "Web-scraping"

Visar resultat 1 - 5 av 34 uppsatser innehållade ordet Web-scraping.

1. 1. The One Spider To Rule Them All : Web Scraping Simplified: Improving Analyst Productivity and Reducing Development Time with A Generalized Spider

   Kandidat-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

   Författare :Rikard Johansson; [2023]
   Nyckelord :Web scraping; Web crawlers; HTML; Scrapy; Optimization; Web data extraction; Webbskrapning; Webbsökrobotar; HTML; Scrapy; Optimering; Webbdataextraktion;

   Sammanfattning : This thesis addresses the process of developing a generalized spider for web scraping, which can be applied to multiple sources, thereby reducing the time and cost involved in creating and maintaining individual spiders for each website or URL. The project aims to improve analyst productivity, reduce development time for developers, and ensure high-quality and accurate data extraction. LÄS MER

3. 2. Expansion till TestCafé : Generering av selectorer genom web scraping

   Kandidat-uppsats, Mittuniversitetet/Institutionen för data- och elektroteknik (2023-)

   Författare :Anton Englund; [2023]
   Nyckelord :;

   Sammanfattning : Automatiskt end-to-end testning är en form av testning-process som utförs helt av script på webbapplikation med mål att simulera en användarupplevelse och ge förmågan att testa produkter mer kontinuerligt under utvecklingen. Företaget SSG använder sig av Javascript-ramverket TestCafé för att skriva automatiska tester som säkerhetsställer kvalité till webbapplikationer som levereras till kunderna. LÄS MER

4. 3. Cookie Monsters : Using Large Language Models to Measure GDPR Compliance in Cookie Banners Automatically

   Kandidat-uppsats, Uppsala universitet/Institutionen för informatik och media

   Författare :Marcus Otterström; Oliver Palonkorpi; [2023]
   Nyckelord :cookie banners; gdpr; compliance; consent; large language models; design science research;

   Sammanfattning : There is a widespread problem of cookie banners not being compliant with the General Data Protection Regulation (GDPR), which negatively impacts user experience and violates personal data rights. To mitigate this issue, strides need to be made in violation detection to assist developers, designers, lawyers, organizations, and authorities in designing and enforcing GDPR-compliant cookie banners. LÄS MER

5. 4. Evaluating and comparing different key phrase-based web scraping methods for training domain-specific fasttext models

   Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

   Författare :Love Book; [2023]
   Nyckelord :Machine Learning; Natural Language Processing; Word2vec; fasttext; KeyBERT; Web scraping; Transformers; Embeddings.; Maskininlärning; språkteknologi; Word2vec; fasttext; KeyBERT; Webbskrapning; Transformatorer; Inbäddningar.;

   Sammanfattning : The demand for automation of simple tasks is constantly increasing. While some tasks are easy to automate because the logic is fixed and the process is streamlined, other tasks are harder because the performance of the task is heavily reliant on the judgment of a human expert. LÄS MER

7. 5. Att Strukturera Data Med Nyckelord: Utvecklandet av en Skrapande Artefakt

   Kandidat-uppsats, Malmö universitet/Institutionen för datavetenskap och medieteknik (DVMT)

   Författare :Fredrik Bramell; From From; [2022]
   Nyckelord :Ostrukturerad data; Semi-strukturerad data; Strukturerad data; Artefakt; Web-scraping; Bearbetning av data; Arkitektur;

   Sammanfattning : Development of different methods for processing information has long been a central area in computer science. Being able to structure and compile different types of information can streamline many tasks that facilitate various assignments. In addition, the web is getting bigger and as a result larger amounts of information become more accessible. LÄS MER