Sökning: "BERT"

Visar resultat 1 - 5 av 158 uppsatser innehållade ordet BERT.

  1. 1. Nyhetsaggregator med sentimentanalys

    Kandidat-uppsats,

    Författare :Claude Carlsson; Edvin Germer; [2022]
    Nyckelord :maskininlärning; nyhetsaggregator; sentimentsanalys; webbutveckling; databas; webbskrapare; psykisk ohälsa; BERT; neurala nätverk; NLP;

    Sammanfattning : Eftersom mental ohälsa stiger i samhället och forskningen inte har ett tydligt svar så har vi i detta projekt formulerat en egen hypotes om varför vi ser den här trenden. Eftersom nyhetstjänster tjänar på att publicera negativa artiklar så leder det till att fler konsumerar negativa nyheter. LÄS MER

  2. 2. Multilingual Transformer Models for Maltese Named Entity Recognition

    Master-uppsats, Uppsala universitet/Institutionen för lingvistik och filologi

    Författare :Kris Farrugia; [2022]
    Nyckelord :low-resource; named-entity; information extraction; Maltese;

    Sammanfattning : The recently developed state-of-the-art models for Named Entity Recognition are heavily dependent upon huge amounts of available annotated data. Consequently, it is extremely challenging for data-scarce languages to obtain significant result. LÄS MER

  3. 3. Knowledge Distillation of DNABERT for Prediction of Genomic Elements

    Master-uppsats, KTH/Skolan för kemi, bioteknologi och hälsa (CBH)

    Författare :Joana Palés Huix; [2022]
    Nyckelord :Knowledge distillation; Transformers; BERT; Genomics; Promoter identification; Explainability;

    Sammanfattning : Understanding the information encoded in the human genome and the influence of each part of the DNA sequence is a fundamental problem of our society that can be key to unveil the mechanism of common diseases. With the latest technological developments in the genomics field, many research institutes have the tools to collect massive amounts of genomic data. LÄS MER

  4. 4. Compressing Deep Learning models for Natural Language Understanding

    Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Nadir Ait Lahmouch; [2022]
    Nyckelord :Natural Language Processing; Deep learning; BERT; Knowledge Distillation; Pruning.;

    Sammanfattning : Uppgifter för behandling av naturliga språk (NLP) har under de senaste åren visat sig vara särskilt effektiva när man använder förtränade språkmodeller som BERT. Det enorma kravet på datorresurser som krävs för att träna sådana modeller gör det dock svårt att använda dem i verkligheten. LÄS MER

  5. 5. Federated Learning for Natural Language Processing using Transformers

    Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Gustav Kjellberg; [2022]
    Nyckelord :Machine Learning; Federated Learning; Distributed Machine Learning; Natural Language Processing; BERT; ALBERT; Transformers; Data Privacy.; Maskininlärning; Federerad inlärning; Distribuerad Maskininlärning; Språkteknologi; BERT; ALBERT; Transformers; Dataintegritet.;

    Sammanfattning : The use of Machine Learning (ML) in business has increased significantly over the past years. Creating high quality and robust models requires a lot of data, which is at times infeasible to obtain. As more people are becoming concerned about their data being misused, data privacy is increasingly strengthened. LÄS MER