Statystyki użycia liter w języku rosyjskim. Rosyjski alfabet. częstotliwość liter w języku rosyjskim (według Nkryi). częstotliwość alfabetu rosyjskiego - jak często dana litera pojawia się w tablicy losowego tekstu rosyjskiego. Charakterystyka częstotliwościowa wiadomości tekstowych

W tym artykule rozpoczniemy dyskusję na niezwykle interesujący temat - wykorzystanie statystyki do analizy informacji tekstowych. Należy pamiętać, że wykorzystanie statystyk do analizy tekstu jest zadaniem tradycyjnym.

Najpierw przedstawimy kilka ciekawostek dotyczących częstotliwości występowania liter i ich kombinacji w różnych językach (więcej szczegółów znajdziesz w książce). W kolejnych artykułach pokażemy, jak zastosować bardziej złożone metody analizy i reprezentacji graficznej.

Charakterystyka częstotliwościowa wiadomości tekstowych

Tak więc tekst składa się ze słów, słów z liter. Liczba różnych liter w każdym języku jest ograniczona i można je po prostu wymienić. Ważnymi cechami tekstu są powtórzenia liter, par liter (digramów) i ogólnie M-OK ( M-gram), zgodność liter ze sobą, naprzemienność samogłosek i spółgłosek i niektóre inne. Godne uwagi jest to, że te cechy są dość stabilne. Pytanie „dlaczego” zostawiamy za kulisami.

Korzystanie z systemu STATYSTYKA Wzorce te można sprawdzić na przykład w tekstach internetowych.

Chodzi o to, aby policzyć liczbę wystąpień każdego z nich n m możliwy M-gram w wystarczająco długich tekstach jawnych T=t 1 t 2 … t l, składający się z liter alfabetu ( za 1 , za 2 , ..., za n). Jednocześnie po kolei M-gramy tekstu:

t 1 t 2 ... t m , t 2 t 3 ... t m+1 , ..., t i-m+1 t l-m+2 ... t l.

Jeśli – liczba wystąpień M-gramy a i1 i i2 ...jestem w tekście T, A L– całkowita liczba zliczonych M-gram, to doświadczenie pokazuje, że dla wystarczająco dużych L częstotliwości

dla tego M-gramy niewiele się od siebie różnią.

Z tego powodu częstotliwość względną (1) uważa się za przybliżenie prawdopodobieństwa P (a i1 i i2 ...jestem) pojawienie się tego M-gramy w losowo wybranym miejscu tekstu (takie podejście przyjmuje się przy statystycznym wyznaczaniu prawdopodobieństwa).

Poniżej znajdują się tabele częstotliwości liter (w procentach) dla wielu języków europejskich. Dane zaczerpnięte z książki.

Pewną różnicę w wartościach częstotliwości w tabelach podanych w różnych źródłach tłumaczy się tym, że częstotliwości w istotny sposób zależą nie tylko od długości tekstu, ale także od jego charakteru. Na przykład w tekstach technicznych rzadka litera F może stać się dość powszechne ze względu na częste używanie takich słów, jak funkcja, różnica, dyfuzja, współczynnik itp.

Jeszcze większe odchylenia od normy w częstotliwości użycia poszczególnych liter obserwuje się w niektórych dziełach sztuki, zwłaszcza w poezji. Dlatego też, aby wiarygodnie określić średnią częstotliwość występowania liter, pożądane jest posiadanie zestawu różnych tekstów zapożyczonych z różnych źródeł. Z reguły jednak takie odchylenia są nieznaczne i w pierwszym przybliżeniu można je pominąć.

Wizualną reprezentację częstości liter przedstawia diagram występowania. Zatem dla języka angielskiego, zgodnie z tabelą, taki schemat pokazano na ryc. 1. Do jego zbudowania wykorzystaliśmy system STATYSTYKA.

W przypadku języka rosyjskiego częstotliwości (w kolejności malejącej) znaków alfabetu, w którym są one identyfikowane mi C Siema, B Z Kommiersant, a między wyrazami znajduje się również znak spacji (-), podano w poniższej tabeli (patrz).

Na podstawie tabeli otrzymujemy następujący wykres częstotliwości (rys. 2).

Istnieje mnemoniczna zasada zapamiętywania dziesięciu najczęstszych liter alfabetu rosyjskiego. Z tych liter składa się śmieszne słowo HAY. Możesz także zaproponować podobny sposób zapamiętywania popularnych liter w języku angielskim, na przykład używając słowa TETRIS-HONDA (patrz tabela).

Charakterystyka częstotliwościowa bigramów, trygramów i czterogramów znaczących tekstów jest również stabilna.

Przedstawiamy tabele częstotliwości bigramów dla języka rosyjskiego i angielskiego (tabele zapożyczone z książki). Dla wygody podzielono je na cztery części według następującego schematu:

Ładne stoły k-gram można łatwo uzyskać korzystając z tekstów wersji elektronicznych wielu książek znajdujących się na płytach CD.

Aby uzyskać dokładniejsze informacje na temat tekstów jawnych, można tworzyć i analizować tabele k-gram w k>2, ale dla celów edukacyjnych wystarczy ograniczyć się do bigramów. Nierówność k-gram (a nawet słowa) jest ściśle związany z charakterystyczną cechą tekstu otwartego - obecnością w nim dużej liczby powtórzeń poszczególnych fragmentów tekstu: rdzeni, końcówek, przyrostków, słów i fraz. Tak więc w języku rosyjskim takie znane fragmenty są najczęstszymi bigramami i trygramami:

ST, ALE, EN, TO, NA, OV, NI, RA, VO, KO
STO, ENO, LISTOPAD, TOV, OVO, OVA

Przydatna jest informacja o zgodności liter, czyli o preferowanych połączeniach liter ze sobą, którą można łatwo uzyskać z tablic częstości występowania bigramów.

Odnosi się to do tabeli, w której najbardziej preferowani „sąsiedzi” znajdują się po lewej i prawej stronie każdej litery (w kolejności malejącej częstotliwości odpowiednich bigramów). Tabele takie zazwyczaj wskazują także proporcję samogłosek i spółgłosek (w procentach) poprzedzających (lub następujących po) daną literę.

Połączenie rosyjskich liter:

Analizując zgodność liter ze sobą, należy mieć na uwadze zależność wyglądu liter w tekście jawnym od znacznej liczby liter poprzedzających. Aby przeanalizować te wzorce, stosuje się koncepcję prawdopodobieństwa warunkowego.

Obserwacje tekstów jawnych pokazują, że dla prawdopodobieństw warunkowych obowiązują następujące nierówności: p(a i1)≠p(a i1 /a i2), p(a i1 /a i2)≠p(a i1 /a i2 a i3),....

Problem zależności liter alfabetu w tekście jawnym od liter poprzednich był systematycznie badany przez słynnego rosyjskiego matematyka A. A. Markowa (1856 – 1922). Udowodnił, że wystąpień liter w tekście jawnym nie można uważać za niezależne od siebie. W związku z tym A. A. Markov zauważył inny stabilny wzór tekstów otwartych związany z naprzemiennością samogłosek i spółgłosek. Obliczył częstotliwość występowania bigramów samogłoskowo-samogłoskowych ( G, G), samogłoska spółgłoska ( G, Z), spółgłoska-samogłoska ( Z, G), spółgłoska-spółgłoska ( Z, Z) w tekście rosyjskim o długości 10 5 znaków. Wyniki obliczeń przedstawiono w poniższej tabeli:

Z tej tabeli widać, że język rosyjski charakteryzuje się naprzemiennością samogłosek i spółgłosek, a częstotliwości względne mogą służyć jako przybliżenie odpowiednich prawdopodobieństw warunkowych i bezwarunkowych:

P(G/Z)≈0.663, P(Z/G)≈0.872,
P(G)≈0.432, P(Z)≈0.568.

Za A. A. Markowem zależność występowania liter w tekście, w ślad za kilkoma wcześniejszymi, badano metodami teorii informacji K. Shannona. Faktycznie wykazały one w szczególności, że taka zależność jest zauważalna do głębokości około 30 znaków, po czym jest praktycznie nieobecna.

Proporcje samogłosek w tekście literackim:

Powyższe wzorce dotyczą zwykłych „czytelnych” tekstów jawnych używanych w komunikacji międzyludzkiej. Jak zauważono wcześniej, wzorce te odgrywają dużą rolę w kryptoanalizie. W szczególności wykorzystywane są przy konstrukcji sformalizowanych kryteriów tekstu jawnego, które umożliwiają zastosowanie metod statystyki matematycznej w problematyce rozpoznawania tekstu jawnego w strumieniu komunikatów. W przypadku stosowania specjalnych alfabetów wymagane są podobne badania charakterystyk częstotliwościowych „tekstów otwartych”, powstających na przykład podczas wymiany informacji między maszynami lub w systemach transmisji danych. W takich przypadkach skonstruowanie sformalizowanych kryteriów „czytelnego tekstu” jest zadaniem znacznie trudniejszym.

Jako przykład podajemy charakterystykę częstotliwościową liter alfabetu angielskiego wchodzących w skład kodu ASCII.

Oprócz kryptografii charakterystyka częstotliwości otwartych wiadomości jest znacząco wykorzystywana w innych obszarach. Przykładowo klawiatura komputerowa, maszyna do pisania czy Linotype to wspaniałe ucieleśnienie idei przyspieszenia pisania, związanej z optymalizacją ułożenia liter alfabetu względem siebie, w zależności od częstotliwości ich używania.

Literatura:

Alferow A.P. i in., „Kryptografia”

Yaglom A.M., Yaglom I.M., Prawdopodobieństwo i informacja, M.: Nauka, 1973.

Baudouin C., Elementy kryptografii / wyd. Pedon A. – Paryż, 1939.

Friedman WF, Callimahos D., Kryptanaliza wojskowa, część i, tom 2, Aegean Park Press, Laguna Hills CA, 1920.

Ciasto „Niech jedzą ciasto”

Składniki:

2 uncje zmielonych migdałów,

6 uncji samorosnącej mąki,

2 łyżeczki proszku do pieczenia,

4 uncje jasnego cukru muscovado

150 ml oleju kukurydzianego,

200–250 ml mleka sojowego,

skórka z dwóch niewoskowanych cytryn,

sok z dwóch cytryn,

1 łyżka wody zapachowej z kwiatu pomarańczy,

1 łyżeczka naturalnego ekstraktu waniliowego.

Rozgrzej piekarnik do 190 stopni lub mniej, jeśli piekarnik jest zasilany termoobiegiem.

Nasmaruj formę do ciasta. Najlepsza jest głęboka, sześciocalowa patelnia, ale każda patelnia też się nada.

Do miski wsyp mąkę i proszek do pieczenia, następnie dodaj cukier. Wymieszaj zmielone migdały i skórkę z cytryny. Dodaj masło i mleko. Im mniej płynu, tym bardziej danie będzie wyglądało jak ciasto, a nie budyń. W przypadku tego ciasta nie trzeba odmierzać płynów ze 100% dokładnością.

Teraz dodaj sok z cytryny i dokładnie wymieszaj. Dodać wodę kwiatową i ekstrakt waniliowy, ponownie wymieszać. Rezultatem powinno być gęste ciasto wolne od drożdży.

Wlać do formy i wstawić do piekarnika na około czterdzieści minut. Skórka powinna być brązowa, a nadzienie bardzo miękkie. Zdjąć z patelni, ostudzić i udekorować świeżymi listkami mięty i truskawkami.

Najpopularniejszą literę alfabetu rosyjskiego można bezpiecznie nazwać „o”. Nie „a”, choć wszystkie dzieci uczą się pierwszych słów właśnie z tą literą: „mama”, „tata” czy „daj”. Nie „i”, chociaż może się wydawać, że często używamy go jako spójnika łączącego.

Jak pokazują dane, to właśnie litera „o” ma częstotliwość przekraczającą 0,1% w porównaniu do innych samogłosek alfabetu, których częstotliwość wynosi np. 0,07-0,08%, co jest całkiem sporo

Wśród spółgłosek na pierwszym miejscu znajduje się litera „n”.

Dane takie uzyskuje się poprzez analizę częstotliwości w NCRY – Narodowym Korpusie Języka Rosyjskiego, przy użyciu specjalnego wzoru. NKRY to elektroniczne archiwum tekstów pisanych i mówionych, które zawiera około 230 milionów użycia słów.

Biorąc pod uwagę najpopularniejszą literę naszego alfabetu, warto wspomnieć o ciekawym zjawisku zwanym „tautogramem”. To rodzaj rozgrzewki literackiej, podczas której trzeba ułożyć opowiadanie lub wiersz rozpoczynający się na tę samą literę. Nawiasem mówiąc, literą, od której zaczyna się większość słów w języku rosyjskim (nie mylić jej z częstotliwością użycia), jest „p”, ale wśród samogłosek niewątpliwe przywództwo należy do naszego obecnego faworyta.

"Sam. Bardzo. Odłamki uroku rozpłynęły się w jesiennej monotonii. Olimp pozostał odległym rynkiem zbytu. Bardzo odległe. Pozostały urazy, pochopne definicje rozmrożonej odwilży, spowodowanej ogniem dotyku. Reszta okazała się negatywna, odrzucona, oszukana przez społeczeństwo. Potomstwo jesieni potykało się i latało z resztkami oczu jeziora. Niektóre okna pozostały otwarte. Wściekłe ślady poszczególnych homonimów przyćmiewają odrzucone szaty personifikacji. Pomarańczowe odcienie rokitnika zarysowane są przez ogromne odbicie samotności. Reszta to skostnienie i odrętwienie zagłady. Wyspy porośnięte są przysięgami z esejów o pewności. Chłodzące sadzonki olchy tworzyły kręgi o tej samej nazwie z powodu ochrypłych krzyków. Urzędnik stał się odbiciem generała, znosząc negatywne pewniki. Utrwalone obrazy z urazą wyjaśniały jesienne bzdury, nazywając coś przeciwnego oszustwem. Młodzież z desperacją nakreślała zaczarowaną jesień, zaprzeczając obiektywnej postawie... Jesień przeleciała jak pomarańczowe kawałki rokitnika, pozostawiając męczące spory samotnym odpowiedziom..."

To zabawne, prawda? Przecież to nie są takie bzdury :)

Nawiasem mówiąc, w języku angielskim najczęstszą literą jest „e”, a spółgłoską jest „t”

Cóż, i tautogram w języku angielskim:

Majestatyczna Mary porusza się niczym Minerwa.

Prawo, łacina, wolność, nauczyła się, że Lucy kocha.

Elegancja Elizy dostrzega każde oko.

Spokojnie ciche uśmiechy Susan zaskakują.

Od bzdur, głupców, pochlebstw, najpiękniejszych much Fanny.

Czy wiesz, że niektóre litery alfabetu występują w wyrazach częściej niż inne... Co więcej, częstość występowania w języku samogłosek jest większa niż spółgłosek.

Które litery alfabetu rosyjskiego najczęściej lub najrzadziej występują w słowach używanych do zapisywania tekstu?

Statystyka zajmuje się identyfikacją i badaniem ogólnych wzorców. Za pomocą tego kierunku naukowego możesz odpowiedzieć na postawione powyżej pytanie, licząc liczbę każdej litery alfabetu rosyjskiego, użyte słowa i wybierając fragment dzieł różnych autorów. Dla własnego interesu i żeby mieć co robić z nudów, każdy może to zrobić we własnym zakresie. Odniosę się do statystyk z już przeprowadzonego badania...

Alfabet rosyjski, cyrylica. W czasie swojego istnienia przeszedł kilka reform, w wyniku których powstał nowoczesny system alfabetu rosyjskiego, obejmujący 33 litery.

o — 9,28%
a — 8,66%
mi — 8,10%
i - 7,45%
n — 6,35%
t — 6,30%
p — 5,53%
s — 5,45%
l - 4,32%
w — 4,19%
k — 3,47%
n — 3,35%
m — 3,29%
r - 2,90%
d — 2,56%
Ja - 2,22%
s — 2,11%
b — 1,90%
z — 1,81%
b — 1,51%
g — 1,41%
t — 1,31%
godz. — 1,27%
ju — 1,03%
x — 0,92%
f — 0,78%
w — 0,77%
c — 0,52%
sch — 0,49%
f — 0,40%
mi — 0,17%
ъ — 0,04%

Najczęściej używaną rosyjską literą jest samogłoska „ O„, jak już tutaj słusznie zasugerowano. Istnieją również typowe przykłady, takie jak „ OBRONA„(7 sztuk jednym słowem i nic egzotycznego ani zaskakującego; bardzo powszechne w języku rosyjskim). Dużą popularność litery „O” w dużej mierze tłumaczy się takim zjawiskiem gramatycznym, jak pełna samogłoska. Oznacza to, że „zimno” zamiast „zimno” i „mróz” zamiast „szumowiny”.

A na samym początku słów najczęściej znajduje się spółgłoska „”. P" To przywództwo jest również pewne i bezwarunkowe. Najprawdopodobniej wyjaśnienie zapewnia duża liczba przedrostków zaczynających się na literę „P”: pere-, pre-, pre-, pri-, pro- i inne.

Podstawą kryptoanalizy jest częstotliwość używania liter.

Ogólnie rzecz biorąc, istnieje taki temat - analiza częstotliwości tekstu. Argumentuje się, że dla danego języka częstotliwość występowania poszczególnych liter w tekście znaczącym jest wartością stałą. Kombinacje dwóch, trzech (digramów, trygramów) i czterech liter są również stabilne.
Fakt ten w szczególności wykorzystano w kryptografii do łamania szyfrów.

Nie jestem zbyt dobry w kryptografii i jedyne, co przychodzi mi na myśl, to złamanie szyfru bezpośredniego podstawienia. Trzeba powiedzieć, że najbardziej prymitywny szyfr ma miejsce wtedy, gdy znaki oryginalnego alfabetu użyte w wiadomości są zamieniane na inne znaki według określonej zasady. Nawiasem mówiąc, takie szyfry można otworzyć bez użycia analizy statystycznej (gdzie, aby zmniejszyć błąd, wymagana jest oczywiście obecność dość dużych fragmentów tekstu), ale po prostu poprzez odgadnięcie niektórych słów - patrz historia „The Tańczący Mężczyźni”.

I ostatni szlif (opcjonalnie). Czasami (na razie prawie zawsze) kalkulator potrzebuje opisu - jakie ma parametry, jakich formuł używa i w ogóle, po co to wszystko - tak jak to robię teraz. Aby to zrobić, pisze się artykuł, a kalkulator wstawia się bezpośrednio do artykułu. Aby napisać artykuł, wybierz z menu opcję „Utwórz...” -> „Artykuł” na stronie głównej sekcji „Moje kalkulatory” i zacznij pisać. Aby wstawić kalkulator, należy nacisnąć przycisk z dużą, podkreśloną literą A i w otwartym oknie dialogowym wybrać nowo utworzony kalkulator.