Sökning: "Ziyang Luo"

Hittade 1 uppsats innehållade orden Ziyang Luo.

  1. 1. Analyzing the Anisotropy Phenomenon in Transformer-based Masked Language Models

    Master-uppsats, Uppsala universitet/Institutionen för lingvistik och filologi

    Författare :Ziyang Luo; [2021]
    Nyckelord :Transformer; BERT; RoBERTa; Anisotropy;

    Sammanfattning : In this thesis, we examine the anisotropy phenomenon in popular masked language models, BERT and RoBERTa, in detail. We propose a possible explanation for this unreasonable phenomenon. LÄS MER