Частота употребления. Частота употребления предлогов (черновик) - Компьютерная лингвистика. Что означают показатели frq1, frq2 и LL-score в словаре значимой лексики

- — Тематики защита информации EN word usage frequency … Справочник технического переводчика

Ы; частоты; ж. 1. к Частый (1 зн.). Следить за частотой повторения ходов. Необходимая ч. посадки картофеля. Обратить внимание на частоту пульса. 2. Число повторений одинаковых движений, колебаний в какую л. единицу времени. Ч. вращения колеса. Ч … Энциклопедический словарь

I Алкоголизм хронический заболевание, характеризующееся совокупностью психических и соматических расстройств, возникших в результате систематического злоупотребления алкоголем. Важнейшими проявлениями А. х. являются измененная выносливость к… … Медицинская энциклопедия

ЗАХВАТ - один из специфических терминов, используемый в крюковых записях рус. безлинейного многоголосия, характеризующегося развитым подголосочно полифоническим складом и резкой диссонантностью вертикали. Певч. реализация термина в наст. время не изучена … Православная энциклопедия

Стилостатистический метод анализа текста - – это применение инструментария математической статистики в области стилистики для определения типов функционирования языка в речи, закономерностей функционирования языка в разных сферах общения, типах текстов, специфики функц. стилей и… …

Порционный ароматизированный снюс, мини порция Снюс вид табачного изделия. Представляет собой измельчённый увлажнённый табак, который помещают между верхней (реже нижней) губой и десной … Википедия

Научный стиль - представляет науч. сферу общения и речевой деятельности, связанную с реализацией науки как формы общественного сознания; отражает теоретическое мышление, выступающее в понятийно логической форме, для которого характерны объективность и отвлечение … Стилистический энциклопедический словарь русского языка

- (в специализированной литературе также патроним) часть родового имени, которая присваивается ребёнку по имени отца. Вариации патронимических имён могут связывать их носителей и с более дальними предками дедами, прадедами… … Википедия

Общеупотребительность, применимость, распространенность, применяемость, ходкость, общепринятость Словарь русских синонимов. употребительность сущ., кол во синонимов: 10 общепринятость (11) … Словарь синонимов

Рассуждение - – функционально смысловой тип речи (см.) – (ФСТР), соответствующий форме абстрактного мышления – умозаключению, выполняющий особое коммуникативное задание – придать речи аргументированный характер (прийти логическим путем к новому суждению или… … Стилистический энциклопедический словарь русского языка

Написал забавный php-скрипт. Погонял через него все тексты на« Спектаторе» на предмет языка. Всего в текстах употребляется 39110 разных словоформ. Сколько именно разных слов - определить довольно сложно. Чтобы хоть как-то приблизиться к этой цифре, я брал только первые 5 букв слова и сравнивал их. Получилось 14373 таких комбинаций. С большой натяжкой это можно назвать словарным запасом« Спектатора».

Потом я взял слова и иследовал их на предмет частоты повторения букв. В идеале надо брать какой-нибудь словарь, для полноты картины. Прогонять тексты нельзя, нужно только уникальные слова. В тексте же одни слова повторяются чаще, чем другие. Итак, получились следующие результаты:

о - 9.28%
а - 8.66%
е - 8.10%
и - 7.45%
н - 6.35%
т - 6.30%
р - 5.53%
с - 5.45%
л - 4.32%
в - 4.19%
к - 3.47%
п - 3.35%
м - 3.29%
у - 2.90%
д - 2.56%
я - 2.22%
ы - 2.11%
ь - 1.90%
з - 1.81%
б - 1.51%
г - 1.41%
й - 1.31%
ч - 1.27%
ю - 1.03%
х - 0.92%
ж - 0.78%
ш - 0.77%
ц - 0.52%
щ - 0.49%
ф - 0.40%
э - 0.17%
ъ - 0.04%

Тем, кто поедет на« Поле чудес», советую заучить эту таблицу наизусть. И называть слова в таком порядке. Так, например, казалось бы, такая« привычная» буква« б» употребляется реже, чем« редкая» буква« ы». Помнить надо также и то, что в слове не одни гласные. И что если вы угадали одну гласную, то нужно начинать идти по согласным. И кроме того, слово угадывается именно по согласным. Сравните:« **а**и*е» и« ср*вн*т*». И в том и в другом случае - это слово« сравните».

И еще одно соображение. Как вы учили английский? Помните? Э пен, э пенсил, э тэйбл. Что вижу - о том и пою. А смысл?.. Как часто вы в нормальной жизни говорите слово« карандаш»? Если задача - научить говорить как можно быстрее и эффективнее, то и учить надо соответствующе. Проводим анализ языка, выделяем самые употребимые слова. И учить начинаем именно с них. Чтобы более-менее говорить на английском языке, достаточно всего полторы тысячи слов.

Еще одно баловство: составлять слова из букв случайным образом, но учитывая частоту появления, чтобы было похоже на нормальные слова. В первой же десятке« случайных» четырехбуквенных слов выскочило« осел». В следующей полсотне - слова« мчим» и« нато». Но, увы, очень много неблагозвучных комбинаций, таких, как« блтт» или« нрро».

Поэтому - следующий шаг. Я разбил все слова на двухбуквенные сочетания и начал случайным образом (но с учетом частоты повторения) комбинировать их. Стали в больших количествах получатся слова, похожие на« нормальные». Например:« коивдиот»,« воабма»,« апый»,« депоид»,« дебяко»,« орфа»,« поеснавы»,« озза»,« ченя»,« риторя»,« урдеед»,« утоичи»,« стых»,« сапоть»,« гравда»,« абабап»,« обарто»,« еелует»,« лярезы»,« мыни»,« бромомер» и даже« тодебыст».

Куда применить... есть варианты. Например, написать генератор красивых фирменных игривых имен. Для йогуртов. Типа,« мемолисо» или« уторорерто». Или - генератор футуристических стихов« Бурлюк-php»:« опелдиий миатон, линоаз окмиая... деесопен одесон».

И есть еще один вариант. Надо попробовать...

Некоторые статистические данные об использовании русских слов:

• Средняя длина слова 5.28 символа.
• Средняя длина предложения 10.38 слов.
• 1000 наиболее частотных лемм покрывает 64.0708% текста.
• 2000 наиболее частотных лемм покрывают 71.9521% текста.
• 3000 наиболее частотных лемм покрывают 76.5104% текста.
• 5000 наиболее частотных лемм покрывают 82.0604% текста.

После заметки мне пришло вот такое письмо:

Здравствуйте, Дмитрий!

Проанализировав статью« Язык до Киева доведет» и ту ее часть, где Вы описываете свою программу, возникла идея.
Вами написанный скрипт кажется мне предназначенным абсолютно не для« Поля чудес» в большей мере, а для другого.
Первое самое разумное применение результатов работы Вашего скрипта - определение порядка букв при программировании кнопок для мобильных устройств. Да, да - именно в мобильниках и нужно все это.

Я распределил это по волнам ()

Далее распределение по кнопкам:
1. Все буквы из первой волны уходят на 4 кнопки в первый ряд
2. Все буквы из второй волны тоже на остальные 4 кнопки в тот же первый ряд
3. Все буквы из третьей волны туда же на оставшиеся две кнопки
4. 4,5 и 6 волны уходят во второй ряд
5. 7,8,9 волны уходят на третий ряд, причем 9-я волна уходит вся полностью (не смотря на кажущееся большое количество букв) в третий ряд 9-й кнопки, что-бы 10 кнопку оставить под всякие там знаки препинания (точка, запятая и прочее).

Я думаю все понятно и так, без детальных обьяснений. Но все же не могли бы Вы обработать Вашим скриптом (включая знаки припинания) тексты следующего содержания:

А потом выложить статистику? Мне показалось? что тексты максимально отражают нашу современную речь, а ведь мы как говорим, так и пишем sms.

Заранее большое спасибо.

Итак, анализировать частоту повторения букв можно двумя способами. Способ 1. Взять текст, найти в нем уникальные (не повторяющиеся) словоформы и анализировать их. Способ хорош для построения статистики по словам русского языка, а не по текстам. Способ 2. Не искать в тексте уникальные слова, а сразу перейти к подсчету частоты повторения букв. Получаем частоту букв в русском тексте, а не в русских словах. Для создания клавиатур и прочего нужно использовать именно этот способ: на клавиатуре набираются именно тексты.

Клавиатуры должны учитывать не только частоту букв, но и самые упортебимые слова (словоформы). Не так уж и трудно догадаться, какие именно слова самые употребимые: это, во-первых, служебные части речи, ибо роль у них такая - служить всегда и везде, и местоимения, роль у которых не менее важная: заменять в речи любую вещь/человека (это, он, она). Ну и основные глаголы (быть, сказать). По результатам анализа перечисленных выше текстов я получил такие самые« популярные» слова:« и, не, в, что, он, я, на, с, она, как, но, его, это, к, а, все, ее, было, так, же, то, сказал, за, ты, о, у, ему, мне, только, по, меня, бы, да, вы, от, был, когда, из, для, еще, теперь, они, сказала, уже, него, нет, была, ей, быть, ну, ни, если, очень, ничего, вот, себя, чтобы, себе, этого, может, того, до, мы, их, ли, были, есть, чем, или, ней» и так далее.

Возвращаясь к клавиатурам - очевидно, что в клавиатуре буквосочетания« не»,« что»,« он»,« на» идругие должны находится как можно ближе друг к другу, или если не вплотную, то каким-то наиболее оптимальным образом. Нужно провести исследования, каким именно образом пальцы движутся по клавиатуре, найти самые« удобные» позиции и поместить в них самые употребляемые буквы, не забывая, однако, про буквосочетания.

Проблема, как всегда, одна: даже если и получиться создать Уникальную Клавиатуру, куда деть миллионы людей, которые уже привыкли к qwerty/йцукен?

Насчет же мобильных устройств... Наверное, it makes sense. По крайней мере, буквы« о»,« а»,« е» и« и» должны точно находиться на одной клавише. Знаки препинания в порядке частоты употребления: , . - ? ! " ; :) (

Хочу предупредить, что информация излагаемая в этой статье несколько устарела. Я не стал ее переписывать, чтобы потом можно было сравнить, как меняют стандарты SEO со временем. Актуальную же информацию на данную тему вы можете почерпнуть в новых материалах:

Здравствуйте, уважаемые читатели блога сайт. Сегодняшняя статья опять будет посвящена такой теме, как поисковая оптимизация сайтов (). Ранее мы уже затронули много вопросов, связанных с таким понятием, как .

Сегодня я хочу продолжить разговор о внутреннем SEO, уточнив при этом некоторые моменты затронутые ранее, а так же поговорить о том, что мы еще не обсуждали. Если вы способны писать хорошие уникальные тексты, но при этом не уделяете должного внимания восприятию их поисковиками, то они не смогут пробить себе дорогу в топ поисковой выдачи по запросам, связанным с тематикой ваших замечательных статей.

Что влияет на релевантность текста поисковому запросу

И это очень печально, ибо вы таким образом не реализуете весь потенциал вашего проекта, который может оказаться очень внушительным. Надо понимать, что поисковики по большей части — это тупые и прямолинейные программы, не способные выйти за рамки своих возможностей и взглянуть на ваш проект человеческими глазами.

Они не увидят многого из всего того, что есть хорошего и нужного на вашем проекте (что вы приготовили для посетители). Они умеют только анализировать текст, учитывая при этом очень много составляющих, но они по прежнему очень далеки от человеческого восприятия.

Следовательно, нам нужно будет хотя бы на время залезть в шкуру поисковых роботов и понять, на чем они концентрируют свое внимание при ранжировании различных текстов по различным поисковым запросам (). А для этого нужно иметь представление об , для этого нужно будет ознакомиться с приведенной статьей.

Обычно стараются употребить ключевые слова в заголовке странице, в некоторых внутренних заголовках, а так же равномерно и как можно естественнее распределить их по статье. Да, безусловно, выделение ключей в тексте тоже можно использовать, но при этом не стоит забывать про переоптимизацию, за которую может последовать .

Важна так же и плотность вхождения ключей в текст, но сейчас это скорее является не желательным фактором, а, наоборот, предостерегающим — нельзя перестараться.

Определяется величина плотности вхождения ключевика в документ довольно просто. Фактически это частота использования его в тексте, которая определяется делением количества его вхождение в документе на длину документа в словах. Раньше от этого напрямую зависело положение сайта в выдаче.

Но вам, наверное, понятно, что составить весь материал только из ключей будет не возможно, ибо он будет не читаемым, да слава богу этого и не нужно делать. Почему, спросите вы? Да потому, что есть предел частоты использования ключевого слова в тексте, после которого релевантность документа по запросу, содержащему этот ключевик, уже не будет повышаться.

Т.е. нам достаточно будет добиться определенной частоты и мы, таким образом, максимально оптимизируем его. Либо перестараемся и попадем под фильтр.

Остается решить два вопроса (а может быть и три): какова же эта самая максимальная плотность вхождения ключевика, после которой уже опасно ее увеличивать, а так же выяснить.

Дело в том, что ключевые слова, выделенные тегами акцентирования и заключенные в тег TITLE, имеют больший вес для поиска, чем аналогичные ключи, просто встречающиеся в тексте. Но последнее время этим стали пользоваться вебмастера и полностью заспамили этот фактор, в связи с чем его значение снизилось и даже может привести к бану всего сайта из-за злоупотреблений стронгами.

Но ключи в TITLE по прежнему актуальные, их лучше там не повторять и не слишком много пытать запихивать в один заголовок страницы. Если ключевики будут в TITLE, то мы можем существенно уменьшить их количество в статье (а значит сделать его легко читаемым и более приспособленным для людей, а не для поисковых систем), добившись той же самой релевантности, но не рискуя попасть под фильтр.

Думаю, что с этим вопросом все понятно — чем больше ключей будет заключено в теги акцентирования и TITLE, тем больше шансов потерять все и разом. Но если их не использовать совсем, то вы тоже ничего не добьетесь. Самым главным критерием является естественность внедрения ключевиков в текст. Если они есть, но читатель о них не спотыкается, то вообще все замечательно.

Теперь осталось разобраться с тем, а какая же частота употребления ключевого слова в документе является оптимальной, которая позволяет сделать страницу максимально релевантной, не не повлечет за собой санкций. Давайте сначала вспомним формулу, которую используют большинство (наверное, даже все) поисковиков для ранжирования.

Как определить допустимую частоту употребления ключа

Мы уже говорили ранее про математическую модель в упомянутой чуть выше статье. Суть ее для данного конкретного поискового запроса выражается одной упрощенной формулой: TF*IDF. Где TF — это прямая частота вхождения данного запроса в текст документа (частота, с которой слова в нем встречаются).

IDF — обратная частота встречаемости (редкость) данного запроса во всех остальных документах интернета, проиндексированных данной поисковой системой (в коллекции).

Эта формула позволяет определить соответствие (релевантность) документа поисковому запросу. Чем выше значение произведения TF*IDF, тем более релевантным будет данный документ и тем выше он будет стоять при прочих равных условиях.

Т.е. получается, что вес документа для данного запроса (его соответствие) будет тем больше, чем чаще употребляются ключи из этого запроса в тексте, и чем реже эти ключи встречаются в других документах интернета.

Понятно, что на IDF мы влиять не можем, разве что выбрав другой запрос, под который будем оптимизировать. А вот на TF мы влиять можем и будем, ибо хотим отхватить свою долю (и не малую) трафика с выдач Яндекс и Гугла по нужным нам вопросам пользователей.

Но дело в том, что алгоритмы поиска высчитывают значение TF по довольно хитрой формуле, которая учитывает рост частоты употребления ключевика в тексте только до определенного предела, после которого рост TF практически прекращается, несмотря на то, что вы будете увеличивать частоту. Это своеобразный антиспам фильтр.

Относительно давно (примерно до 2005 года) значение TF высчитывалось по довольно простой формуле и фактически было равно плотности вхождения ключевого слова. Результаты расчета релевантности по этой формуле не совсем нравились поисковикам, ибо потворствовало спаммерам.

Потом формула TF усложнилась, появилось такое понятие как тошнота страницы и оно стало зависеть не только от частоты вхождения, но так же и от частоты употребления других слов в этом же тексте. И оптимального значения TF можно было бы достигнуть, если ключ оказывался самым часто употребляемым словом.

Так же можно было увеличивать значение TF за счет увеличения размера текста с сохранением процента вхождения. Чем больше будет полотенце со статьей при том же проценте ключей, тем выше будет стоять данный документ.

Сейчас формула TF еще более усложнилась, но в тоже время сейчас у нас нет необходимости доводить плотность до того значения, когда текст станет не читаем и поисковые системы наложат бан на наш проект за спам. Да и писать несоразмерно длинные простыни сейчас тоже нет необходимости.

При сохранении той же самой идеальной плотности (мы ее определим чуть ниже из соответствующего графика), увеличение размера статьи в словах будет улучшать ее положение в выдаче только до достижения определенной длины. После того, как у вас получилась идеальная длина, дальнейшее ее увеличение не будет влиять на релевантность (точнее говоря, будет, но очень и очень мало).

Все это можно будет увидеть наглядно, если построить график на основе этой хитрой TF (прямой частоты вхождения). Если на одной шкале этого графика будет TF, а на другой шкале — процентное соотношение частоты встречаемости ключевого слова в тексте, то мы получим в результате так называемую гиперболу:

График, конечно же, приблизительный, ибо реальную формулу TF, которую используют Яндекс или Гугл, мало кто знает. Но качественно из него можно определить оптимальный диапазон , в котором должна находиться частота. Это примерно 2-3 процента от общего числа слов.

Если учесть, что вы еще будете заключать часть из ключей в теги акцентирования и заголовок TITLE, то это и будет тот предел, после которого дальнейшее увеличение плотности может быть чревато баном. Насыщать и уродовать текст большим количеством ключевиков уже не рентабельно, ибо минусов здесь будет больше, чем плюсов.

Какая длина текста будет достаточной для продвижения

Основываясь на той же самой, предполагаемой TF, можно построить график зависимости ее значения от длины в словах. При этом можно взять частоту ключевиков постоянной для любой длины и равной, например, какому-либо значению из оптимального диапазона (от 2 до 3 процентов).

Что примечательно, мы получим график точно такой же формы, как и рассмотренный выше, только по оси абсцисс будет отлажена длина текста в тысячах слов. И из него можно будет сделать вывод об оптимальном диапазоне длины , при котором уже достигается практически максимальное значение TF.

В результате получается, что она будет лежать в диапазоне от 1000 до 2000 слов. При дальнейшем увеличении релевантность практически не будет расти, а при меньшей длине она будет довольно резко падать.

Т.о. можно сделать вывод, что для того, чтобы ваши статьи могли занимать высокие места в поисковой выдаче, нужно употреблять в тексте ключевики с частотой не ниже 2-3 %. Это первый и основной вывод, который мы сделали. Ну, и второй — это то, что сейчас вовсе не обязательно писать очень объемные статьи для того, чтобы попасть в Топ.

Достаточно будет превзойти рубеж в 1000 — 2000 слов и включить в него 2-3 % ключевиков. Вот и все — это и есть рецепт идеального текста , который будет способен конкурировать за место в топе по НЧ запросу, даже без использования внешней оптимизации (покупки ссылок на эту статью с анкорами, включающими ключи). Хотя, пошариться чуток в Миралинксе , ГГЛ , Ротапосте или ГетГудЛинке можно, ибо это поможет вашему проекту.

Еще раз вам напомню, что длину написанного вами текста, а так же частоту употребления в нем тех или иных ключевых слов, вы можете узнать с помощью специализированных программ или же с помощью онлайн сервисов, специализирующихся на их анализе. Одним из таких сервисов является ISTIO , о работе с которым я рассказывал .

Все, о чем я говорил выше, не достоверно на сто процентов, но очень похоже на правду. Во всяком случае, мой личный опыт подтверждает эту теорию. Но алгоритмы работы Яндекс и Гугла постоянно претерпевают изменения и как оно будет завтра мало кто знает, кроме тех, кто близок к их разработке или разработчикам.

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Внутренняя оптимизация - подбор ключевых слов, проверка тошноты, оптимальный Title, дублирование контента и перелинковка под НЧ
Ключевые слова в тексте и заголовках
Как ключевые слова влияют на продвижение сайта в поисковых системах
Онлайн сервисы для вебмастеров - все, что нужно для написания статей, их поисковой оптимизации и анализа ее успешности
Способы оптимизации контента и учет тематики сайта при ссылочном продвижении для сведения затрат к минимуму
Яндекс Вордстат и семантическое ядро - подбор ключевых слов для сайта с помощью статистики онлайн-сервиса Wordstat.Yandex.ru
Анкор - что это такое и насколько они важны в продвижении сайта
Какие факторы поисковой оптимизации влияют на продвижение сайта и в какой степени
Продвижение, раскрутка и оптимизация сайта самостоятельно
Учет морфология языка и другие проблемы решаемые поисковыми системами, а так же отличие ВЧ, СЧ и НЧ запросов
Траст сайта - что это такое, как его измерить в XTools, что на него влияет и как увеличить авторитетности своего сайта

Частота употребления

сущ. , кол-во синонимов: 1

употребительность (10)

• - Лексика, употребление которой ограничено в силу каких-л. экстралингвистических причин. К Л.о.у. относятся: диалектизмы, термины и профессионализмы, жаргонизмы, просторечные слова и выражения, вульгаризмы...

  Словарь социолингвистических терминов

• Общее языкознание. Социолингвистика: Словарь-справочник

• - перевод немецкого термина Gebrauchstypen, введенного Дельбрюком для обозначения установившихся видов употребления грамматических форм. К Т. уп. относятся, напр., различные виды синтаксического употребления...

  Энциклопедический словарь Брокгауза и Евфрона

• - Лексика, употребление которой ограничено экстралингвистическими причинами: 1) диалектизмы, ограниченные территориально; 2) термины, используемые в научном стиле...

• Словарь лингвистических терминов Т.В. Жеребило

• Словарь лингвистических терминов Т.В. Жеребило

• - Употребления, запрещающие использовать отличия одного объекта от другого: Живые организмы не могут существовать без...
• - Употребления, соотносящиеся с конкретными представителями данного класса объектов: Мне нужно увидеть этого человека...

  Термины и понятия общей морфологии: Словарь-справочник

• - 1) Варианты, предусмотренные правилами оформления сложных бессоюзных предложений: при пояснении или мотивации вместо двоеточия может употребляться тире: Разлука призрачна – мы будем вместе скоро...

  Синтаксис: Словарь-справочник

• - нареч, кол-во синонимов: 1 под спудом...

  Словарь синонимов

• - прил., кол-во синонимов: 10 выходивший в тираж изживавший себя не соответствовавший современным требованиям отживавший отживавший свой век отходивший в область предания ...

  Словарь синонимов

• - См....

  Словарь синонимов

• - прил., кол-во синонимов: 19 анахронический архаический архаичный вышедший в тираж изживший себя несовременный обветшалый отживший отживший свой век отошедший в область...

  Словарь синонимов

• - прил., кол-во синонимов: 2 непригодный для использования неупотребительный...

  Словарь синонимов

• - прил., кол-во синонимов: 3 оставивший без применения отложивший положивший под спуд...

  Словарь синонимов

• - 1) Варианты, предусмотренные правилами оформления сложных бессоюзных предложений: при пояснении или мотивации вместо двоеточия может употребляться тире: Разлука призрачна - мы будем вместе скоро 2) При обособлении...

  Словарь лингвистических терминов Т.В. Жеребило

"частота употребления" в книгах

Частота кормления

автора Хармар Хиллери

Частота кормления

автора Хармар Хиллери

Частота кормления Необходимое число кормлений щенка в течение суток зависит от размера породы. Большинство щенков хорошо развивается при кормлении через каждые три часа днем и ночью, но если они родились преждевременно или весят при рождении меньше 85 г, их, вероятно,

Частота кормления

Из книги Разведение собак автора Хармар Хиллери

Частота кормления Необходимое число кормлений щенка в течение суток зависит от размера породы. Большинство щенков хорошо развивается при кормлении через каждые три часа днем и ночью, но если они родились преждевременно или весят при рождении меньше 85 г, их, вероятно,

Частота кормления

Из книги Собаки и их разведение [Разведение собак] автора Хармар Хиллери

Частота кормления Необходимое число кормлений щенка в течение суток зависит от размера породы. Большинство щенков хорошо развивается при кормлении через каждые три часа днем и ночью, но если они родились преждевременно или весят при рождении меньше 85 г, их, вероятно,

Частота

Из книги Недвижимость. Как ее рекламировать автора Назайкин Александр

14.2.3. Частота взаимодействия

автора Димитри Никола

14.2.3. Частота взаимодействия Чем чаще взаимодействует одна и та же группа конкурентов, тем более устойчивым становится сговор, поскольку нарушения наказываются более своевременно. Если, например, фирмы конкурируют реже, то их способность к поддержанию сговора ниже,

15.4.6. Частота аукционов

Из книги Руководство по закупкам автора Димитри Никола

15.4.6. Частота аукционов Как было рассмотрено выше, некоторые аукционные ринги могут производить перевод средств между собой после проведения аукциона, ради которого они сформировали сговор, или же вести записи сумм, подлежащих уплате, и только время от времени

8. Частота употребления служебных слов оказывается авторским инвариантом

Из книги Книга 2. Меняем даты - меняется всё. [Новая хронология Греции и Библии. Математика вскрывает обман средневековых хронологов] автора Фоменко Анатолий Тимофеевич

8. Частота употребления служебных слов оказывается авторским инвариантом Замечательным исключением является наш параметр 3 - частота употребления всех служебных слов - ПРЕДЛОГОВ, СОЮЗОВ И ЧАСТИЦ. Эволюция этого параметра в зависимости от роста объема выборки показана

Частота

Из книги Большая Советская Энциклопедия (ЧА) автора БСЭ

Частота

автора Назайкин Александр

Частота

Из книги Медиапланирование на 100 автора Назайкин Александр

Частота Телеканалы выходят в эфир на метровых и дециметровых частотах. Первыми на телевидении были освоены метровые диапазоны. В 90-е годы XX века в Москве активно заработали дециметровые каналы.Ранее частота имела существенное значение, так как для приема разных каналов

Частота

Из книги Медиапланирование на 100 автора Назайкин Александр

Частота От частоты передачи сигнала зависит его качество. В большей степени оно обеспечивается в диапазонах УКВ (частотное модулирование FM). Слушатели предпочитают хорошее звучание, поэтому у УКВ-станций значительные рейтинги аудитории, и они предпочитаемы

3.2. Частота

автора Иванов Дмитрий Олегович

3.2. Частота Когда обсуждается значимость какой-либо патологии в медицине, то, на наш взгляд, важно говорить не только об этиологии, патогенезе, клинике и тяжести возникших или могущих возникнуть повреждений и осложнений, но и о распространенности данной патологии. К

4.2. Частота

Из книги Нарушения теплового баланса у новорожденных детей автора Иванов Дмитрий Олегович

4.2. Частота Гипертермия у новорожденных встречается, вероятно, гораздо реже, чем гипотермия. Вероятно, с этим связан тот факт, что работ, посвященных гипертермии у младенцев в научной литературе чрезвычайно мало. Maayan-Metzger A. et al. (2003) проанализировали 42313 историй болезни

Частота

Из книги Нарушения обмена глюкозы у новорожденных детей автора Иванов Дмитрий Олегович

Частота Корблант М., определявший гипогликемию как концентрацию глюкозы крови менее 30 мг% (1,67 ммоль/л) в первые 72 часа жизни, обнаружил ее у 4,4%о всех живорожденных.В 1971 году Lubchenco L. О. и Bard Н. , используя критерии Корбланта М., выявили гипогликемии у новорожденных с большей

Краткая постановка задачи

Есть набор файлов с текстами на русском языке от художественной литературы разных жанров до новостных сообщений. Нужно собрать статистику употребления предлогов с другими частями речи.

Важные моменты в задаче

1. Среди предлогов есть не только у и к , но устойчивые сочетания слов, употребляющиеся в качестве предлогов, например в сравнении с или несмотря на . Поэтому просто покрошить тексты по пробелам нельзя.

2. Текстов много, несколько Гб, поэтому обработка должна быть достаточно быстрой, по крайней мере укладываться в несколько часов.

Наброски решения и результаты

Учитывая имеющийся опыт решения задач с обработкой текстов, решено придерживаться модифицированного "unix-way", а именно - разбить обработку на несколько этапов, так чтобы на каждом этапе в результате получался обычный текст. В отличие от чистого unix-way, вместо передачи текстового сырья через каналы будем сохранять все в виде дисковых файлов. Благо стоимость гигабайта на жестком диске нынче мизерна.

Каждый этап реализуется как отдельная, маленькая и простая утилитка, читающая текстовые файлы и сохраняющая продукты своей кремниевой жизнедеятельности.

Дополнительный бонус такого подхода, помимо простоты утилит, заключается в инкрементальности решения - можно отладить первый этап, прогнать через него все гигабайты текста, затем начать отлаживать второй этап, уже не затрачивая время на повторение первого.

Разбивка текста на слова

Так как исходные тексты, подлежащие обработке, уже хранятся как плоские файлы в кодировке utf-8, то нулевой этап - парсинг документов, выдергивание из них текстового содержимого и сохранение в виде простых текстовиков, пропускаем, сразу переходя к задаче токенизации.

Все было бы просто и скучно, если бы не тот простой факт, что некоторые предлоги в русском языке состоят из нескольких "строк", разделяемых пробелом, а иногда и запятой. Чтобы не раскрошить такие многословные предлоги, сначала я привлек функцию токенизации в API словаря. Макет на C# получился простой и незамысловатый, буквально сотня строк. Вот исходник . Если отбросить вступительную часть, загрузку словаря и финальную часть с его удалением, то все сводится к паре десятков строк.

Все это успешно перемалывает файлы, но на тестах обнаружился существенный недостаток - очень низкая скорость. На x64 платформе получилось примерно 0.5 Мб в минуту. Конечно, токенизатор учитывает всевозможные особые случаи типа "А.С. Пушкин ", но для решения исходной задачи такая точность излишня.

В качестве ориентира на возможную скорость имеется утилита статистической обработки файлов Empirika. Она делает частотную обработку 22 Гб текстов примерно за 2 часа. Там внутри есть и более шустрое решение проблемы многословных предлогов, поэтому я добавил новый сценарий, включаемый опцией -tokenize в командной строке. По результатам прогона получилось примерно 500 секунд на 900 Мб, то есть около 1.6 Мб в секунду.

Результат работы с этими 900 Мб текста - файл примерно такого же размера, 900 Мб. Каждое слово сохранено на отдельной строке.

Частота употребления предлогов

Так как вбивать список предлогов в текст программы не хотелось, я опять-таки подцепил к C# проекту грамматический словарь, с помощью функции sol_ListEntries получил полный список предлогов, около 140 штук, ну а далее все тривиально. Текст програмки на C# . Она собирает только пары предлог+слово, но расширить проблем не составит.

Обработка 1 Гб текстового файла со словами занимает всего несколько минут, в результате получается частотная таблица, которую выгружаем на диск опять-таки как текстовый файл. Предлог, второе слово и число употреблений отделены в нем символом табуляции:

ПРО РАЗБИТЫЕ 3
ПРО ЗАБИТЫЕ 1
ПРО ФОРМУ 1
ПРО НОРМУ 1
ПРО ГОЛОДАВШИЙ 1
В ЗАКОННОМ 9
С ТЕРРАСКИ 1
НЕСМОТРЯ НА ЛЕНТУ 1
НАД ЯЩИКОМ 14

Всего из исходных 900 Мб текста получилось примерно 600 тысяч пар.

Анализ и просмотр результатов

Таблицу с результатами удобно анализировать в Excel или Access. Я в силу привычки к SQL загрузил данные в Access.

Первое, что можно сделать - отсортировать результаты в порядке убывания частоты, чтобы увидеть самые частые пары. Исходный объем обработанного текста слишком мал, поэтому выборка не очень репрезентативна и может отличаться от итоговых результатов, но вот первая десятка:

У НАС 29193
В ТОМ 26070
У МЕНЯ 25843
О ТОМ 24410
У НЕГО 22768
В ЭТОМ 22502
В РАЙОНЕ 20749
ВО ВРЕМЯ 20545
ОБ ЭТОМ 18761
С НИМ 18411

Теперь можно построить график, так чтобы частоты было по оси OY, а паттерны выстроились вдоль OX по убыванию. Это даст вполне ожидаемое распределение с длиннющим хвостом:

Зачем нужна эта статистика

Кроме того факта, что две утилитки на C# могут использоваться для демонстрации работы с процедурным API, есть еще важная цель - дать переводчику и алгоритму реконструкции текста статистическое сырье. Кроме пар слов еще потребуются триграммы, для этого надо будет немного расширить вторую из упомянутых утилиту.