Question
What is perplexity in language
models?Solution
Lower perplexity indicates a language model predicts the next word with higher certainty.
' рд╣рд░реНрд╖ ' рд╢рдмреНрдж рдХреЗ рд▓рд┐рдП рдЪрд╛рд░ рд╡рд┐рдХрд▓реНрдк рджрд┐рдП рдЧрдП рд╣реИрдВред рд╕рд╣реА рд╡рд┐рд▓реЛрдо рд╢рдмреНрдж рдХрд╛...
рдиреАрдЪреЗ рджреА рдЧрдИ рддрд╛рд▓рд┐рдХрд╛ рдореЗрдВ рд╡рд╛рдХреНрдпреЛрдВ рдХреЗ рд╕рд╣реА рдЕрдиреБрд╡рд╛рдж рдХрд╛ рдорд┐рд▓рд╛рди рдХрд░реЗрдВ я┐╜...
рдЖрд╡реЗрджрди ,рдЕрднреНрдпрд╛рд╡реЗрджрди рдХрд╛ рд╡рд░реНрдгрди рд░рд╛рдЬрднрд╛рд╖рд╛ рдирд┐рдпрдо резрепренрем рдХреЗ рдХрд┐рд╕ рдирд┐рдп...
рдиреАрдЪреЗ рджреА рдЧрдИ рддрд╛рд▓рд┐рдХрд╛ рдореЗрдВ рд╡рд╛рдХреНрдпреЛрдВ рдХреЗ рд╕рд╣реА рдЕрдиреБрд╡рд╛рдж рдХрд╛ рдорд┐рд▓рд╛рди рдХрд░реЗрдВ я┐╜...
рдиреАрдЪреЗ рджрд┐рдП рдЧрдП рд╢рдмреНрджреЛрдВ рдХрд╛ рд╕рд╣реА рд╣рд┐рдВрджреА рдЕрдиреБрд╡рд╛рдж рд╡рд┐рдХрд▓реНрдкреЛрдВ рд╕реЗ рдЪрдпрди рдХрд░я┐╜...
рдиреАрдЪреЗ рджрд┐рдП рдЧрдП рд╡рд╛рдХреНрдпреЛрдВ рдореЗрдВ рд╕реЗ рд╕рд╣реА рдЕрдиреБрд╡рд╛рдж рдХрд╛ рдЪрдпрди рдХрд░реЗрдВ: ┬а
(i) рдмреА...
рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдореЗрдВ рд╕реЗ рдХреМрди-рд╕рд╛ рд╢рдмреНрдж рд╢реБрджреНрдз рд╣реИ ?
рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдХрд╛ рд╕рд╣реА рдЕрдиреБрд╡рд╛рдж рдЪреБрдиреЗрдВ:
(i) Outstanding payment тАУ рдмрдХрд╛рдпрд╛ рднреБрдЧрддя┐╜...
рд░рд╛рдЬрднрд╛рд╖рд╛ рдХреЗ 12 рдкреНрд░ рдХрд╛ рдкреНрд░рдпреЛрдЧ рдХрд╣рд╛рдБ рд╕реЗ рдкреНрд░реЗрд░рдгрд╛ рд▓реЗ рдХрд░ рдмрдирд╛рдпрд╛ рд╣реИ –
рд╕реМрд╣рд╛рд░реНрджрдкреВрд░реНрдг ┬а рдХреЗ рд▓рд┐рдП рдЕрдВрдЧреНрд░реЗрдЬреА рдкрд░реНрдпрд╛рдп рд╣реИ тАУ