Sökning: "Flerspråkiga modeller"

Visar resultat 1 - 5 av 15 uppsatser innehållade orden Flerspråkiga modeller.

  1. 1. Topological regularization and relative latent representations

    Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Alejandro García Castellanos; [2023]
    Nyckelord :Algebraic Topology; Large Language Models; Relative Representation; Representation Learning; Model Stitching; Topological DataAnalysis; Zero-shot; Algebraisk topologi; Stora språkmodeller; Relativ representation; Representationsinlärning; Modell sömmar; Topologisk dataanalys; Zero-shot;

    Sammanfattning : This Master's Thesis delves into the application of topological regularization techniques and relative latent representations within the realm of zero-shot model stitching. Building upon the prior work of Moschella et al. LÄS MER

  3. 2. Exploring Cross-Lingual Transfer Learning for Swedish Named Entity Recognition : Fine-tuning of English and Multilingual Pre-trained Models

    Kandidat-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Daniel Lai Wikström; Axel Sparr; [2023]
    Nyckelord :NER; Cross-lingual transfer; Transformer; BERT; Deep Learning; namnigenkänning; NER; multilingvistisk överföring; Transformer; BERT; deep learning;

    Sammanfattning : Named Entity Recognition (NER) is a critical task in Natural Language Processing (NLP), and recent advancements in language model pre-training have significantly improved its performance. However, this improvement is not universally applicable due to a lack of large pre-training datasets or computational budget for smaller languages. LÄS MER

  4. 3. Distilling Multilingual Transformer Models for Efficient Document Retrieval : Distilling multi-Transformer models with distillation losses involving multi-Transformer interactions

    Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Xuecong Liu; [2022]
    Nyckelord :Dense Passage Retrieval; Knowledge Distillation; Multilingual Transformer; Document Retrieval; Open Domain Question Answering; Tät textavsnittssökning; kunskapsdestillering; flerspråkiga transformatorer; dokumentsökning; domänlöst frågebesvarande;

    Sammanfattning : Open Domain Question Answering (OpenQA) is a task concerning automatically finding answers to a query from a given set of documents. Language-agnostic OpenQA is an increasingly important research area in the globalised world, where the answers can be in a different language from the question. LÄS MER

  5. 4. Transspråkande synsätt på gymnasiet : Flerspråkighet som resurs i svenskundervisningen

    Uppsats för yrkesexamina på avancerad nivå, Högskolan i Gävle/Avdelningen för humaniora

    Författare :Evelina Mikko; [2022]
    Nyckelord :transspråkande; translanguaging; flerspråkiga elever; det flerspråkiga klassrummet; identitet; språk- och kunskapsutvecklande arbetssätt; den proximala utvecklingszonen.;

    Sammanfattning : Tanken med transspråkande synsätt i undervisningen är att den flerspråkiga individen ska få möjlighet att använda hela sin språkliga repertoar för att stödja en positiv språk- och kunskapsutveckling. I dagens klassrum är det få elever som är, och upplever sig vara, helt enspråkiga. LÄS MER

  7. 5. Task-agnostic knowledge distillation of mBERT to Swedish

    Master-uppsats, KTH/Skolan för elektroteknik och datavetenskap (EECS)

    Författare :Added Kina; [2022]
    Nyckelord :Natural Language Processing; Transformers; Knowledge Distillation; BERT; Multilingual Models; Cross-Lingual Transfer; Naturlig bearbetning av språk; Transformatorer; Kunskapsdestillation; BERT; Flerspråkiga modeller; Tvärspråklig inlärningsöverföring;

    Sammanfattning : Large transformer models have shown great performance in multiple natural language processing tasks. However, slow inference, strong dependency on powerful hardware, and large energy consumption limit their availability. LÄS MER