Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/nazarii-piontko/ner-ua

Experimental repository for NER (Named-entity recognition) for sentences of Ukrainian language.
https://github.com/nazarii-piontko/ner-ua

bert experimental keras named-entity-recognition ner python tensorflow ukrainian-language

Last synced: about 15 hours ago
JSON representation

Experimental repository for NER (Named-entity recognition) for sentences of Ukrainian language.

Awesome Lists containing this project

README 

        
# NER for ukrainian language



Experimental repository for NER (Named-entity recognition) for sentences of ukrainian language.



Machine learning model uses BERT algorithm from Google (https://github.com/google-research/bert) and train data from lang-uk project (https://lang.org.ua/).



The solution includes:

* tokenizer: [preprocessing.py](preprocessing.py) - used for sentences and word tokenizing;

* model: [models.py](models.py);

* training script: [train.py](train.py);

* test script: [test.py](test.py);



Categorical accuracy on training set (85% from all texts): ___0.9915___



Categorical accuracy on test set (15% from all texts): ___0.9805___



# РІС для української мови



Експериментальне сховище для РІС (розпізнавання іменованих сутностей) для речень української мови.



Модель машинного навчання використовує алгоритм BERT від Google (https://github.com/google-research/bert) та навчає дані проекту lang-uk (https://lang.org.ua/).



Рішення включає:

* токенізатор: [preprocessing.py](preprocessing.py) - використовується для токенізації речень та слів;

* модель: [models.py](models.py);

* тренувальний сценарій: [train.py](train.py);

* тестовий сценарій: [test.py](test.py);



Точність на навчальному наборі (85% від усіх текстів): ___0.9915___



Точність на тестовому наборі (15% від усіх текстів): ___0.9805___



### Приклад токенізації на групі випадкових (не пов'язаних між собою) текстів

```text

Прем ' єр - міністр [LOC] Іспанії [PERS] Педро [PERS] Санчес повідомив сьогодні вранці президентам автономних громад про те , що кількість померлих серед інфікованих коронавірусом за останні 24 години впала до 164 , і це найнижчий показник з 18 березня .

Про це повідомляє " [MISC] Європейська [MISC] правда " із посиланням на [MISC] El [MISC] Pais .

Кількість нових випадків також знизилася до 838 , тоді як днем раніше було 1147 випадків .

Видання зазначає , що до цих даних треба ставитися з обережністю через вплив вихідних .

Загальна кількість інфікованих з початку епідемії складає 217 466 осіб , померли загалом 25 264 людей .

Також повідомляється , що одужали 118 902 інфікованих , з них 1247 за останню добу .

Нагадаємо , в суботу іспанцям вперше за сім тижнів дозволили займатися спортом на вулиці на тлі послаблення обмежень , запроваджених через коронавірус .

У минулі вихідні дітям до 14 років дозволили виходити на годину в день під наглядом дорослих .

Як заявляв [PERS] Санчес , його уряд очікує , що [LOC] Іспанія перейде до " нової нормальності " в кінці червня .

[ORG] Міжнародний [ORG] валютний [ORG] фонд вирішив виділити [LOC] Грузії транш на суму 200 мільйонів доларів на підтримку економіки , яка постраждала від впливу коронавірусу .

Про це пише [ORG] Reuters .

Фінансування буде надано для забезпечення макроекономічної стабільності , надання допомоги сфері охорони здоров ' я та підтримки платіжного балансу .

" Очікується , що пандемія вплине на економіку [LOC] Грузії , порушуючи позитивну економічну траєкторію минулих років " , - йдеться у заяві фонду .

Минулого місяця в [ORG] МВФ заявили , що очікують , скорочення [ORG] ВВП [ORG] Грузії на 4 % у 2020 році , проте фонд не прогнозує відновлення зростання на рівні 4 % в 2021 .

3 травня збройні формування [LOC] Російської [LOC] Федерації вкотре порушили режим припинення вогню та обстріляли позиції підрозділів [ORG] Об [ORG] ' [ORG] єднаних [ORG] сил , застосувавши озброєння , заборонене [ORG] Мінськими [MISC] домовленостями .

Трое українських військових отримали бойові травмування .

Джерело : штаб операції [ORG] Об [ORG] ' [ORG] єднаних [ORG] сил у Facebook

По українських захисниках поблизу [LOC] Оріхового , окупанти з мінометів калібру 82 мм випустили 30 мін .

Внаслідок ворожих обстрілів троє військовослужбовців [ORG] Об [ORG] ' [ORG] єднаних [ORG] сил отримали бойові травмування .

Воїнам надали першу медичну допомогу та оперативно евакуювали до лікувального закладу .

У штабі наголосили , що такі злочинні дії загарбників ще раз підтверджують те , що ворог цілеспрямовано порушує режим припинення вогню та не бажає дотримуватись існуючих мирних домовленостей .

У пресрелізі зазначається , що підрозділи [ORG] Об [ORG] ' [ORG] єднаних [ORG] сил , які обороняються , використали наявні вогневі засоби та дали збройним формуванням [LOC] РФ гідну відповідь .

Втрати противника уточнюються .

У Збройних силах [LOC] України станом на ранок 3 травня підтверджено вже 49 випадків інфікування [MISC] COVID [MISC] - [MISC] 19 .

За минулу добу зареєстровано чотири нових випадки захворювання на гостру респіраторну хворобу [MISC] COVID [MISC] - [MISC] 19 .

Хворі ( [LOC] Харківська [LOC] область - 3 військовослужбовці , [LOC] Дніпропетровська [LOC] область - 1 військовослужбовець ) лікуються вдома під наглядом медичної служби .

Стан здоров ' я пацієнтів задовільний , симптоми захворювання відсутні .

2 травня в [LOC] Україні [MISC] Covid [MISC] - [MISC] 19 виявили у 502 осіб , 9 хворих коронавірусною інфекцією померли .

Мешканцям [LOC] Тернопільщини розповіли як оформити допомогу по безробіттю на час карантину .

Цікавий заміс починається .

Правда , щоб оголошувати війну людині рівня [PERS] Кирила [PERS] Тимошенка багато сил мати не обов [UNK] язково .

Але сьогодні це [PERS] Тимошенко , а завтра ...

Словом , серед впливових бізнесменів закипає невдоволення [PERS] Банковою .

А це завжди поганий симптом для влади .

[PERS] Володимир [PERS] Зеленський , « жодної спроби зам ' яти цю справу » .

Року не минуло , під карантин випускають двох фігурантів справи по вбивству [PERS] Кирила .

Під суму застави меншу за $ 10000 .

Про просування справи й нагадувати ніяково .

Все частіше говорять за вакцину від коронавірусу , що породжує купу міфів типу " вигоди бігфарми " і " експериментів над людьми " .

Надіюсь , це відео розвіє хоча б деякі із них .

Президент знову звернувся до українців , оскільки навіть у державний вихідний не час відпочивати .

Розповів про економічну допомогу держави під час карантину .

А ще передав особливий " привіт " меру [PERS] Черкас , який уже послабив карантин .

Бунт через карантин на місцях .

Чим завершиться невиконання вказівок з [MISC] Офісу [ORG] Президента ?

Продовження карантину до 22 травня : що про це думають народні обранці ?

Відповіді на ці запитання [PERS] Лариса [PERS] Губіна шукає в " [MISC] Інформаційному [MISC] вечорі " з політиками та експертами

Привіт , друже !

Є гарні новини , адже ми вже готові до шостого онлайн - квізу !

Запасайся смачненьким для мозкового штурму і дзвони друзям .

До уваги собачників !

5 - 6 травня [ORG] Парк [ORG] Національного [ORG] Відродження будуть обробляти від кліщів .

Не вигулюйте собак у парку , для них це небезпечно .

У [LOC] Тернополі суддя не захотів платити таксисту за поїздку .

[PERS] Віктор [PERS] Павлік співає на вулицях [LOC] Києва та збирає мільйон гривень для бездомних [UNK] це благодійний проєкт # [MISC] Слухайвдома , до якого долучаються українські зірки .

На зібрані гроші закуплять ліки , маски , санітайзери та розподілять між безкоштовними їдальнями .

У [LOC] Тернополі в " [ORG] Епіцентрі " продавали заборонені у карантин товари .

Так , днями я отримала грошову компенсацію збитку , заподіяного політичними репресіями 2011 - 2014 років , від резидента [LOC] США на стадії досудового врегулювання .

[ORG] Кабінет [ORG] міністрів на позачерговому засіданні у понеділок продовжив дію карантину в [LOC] Україні до 22 травня .

Карантин буде продовжений зараз до 22 травня .

Далі ми будем дивитись , як буде рухатись пандемія у світі і як буде відбуватись коливання кривої захворюваності у нас в [LOC] Україні

[PERS] Прем [PERS] ' [PERS] єр зауважив , що відносно непогана ситуація з епідемією в нашій країні [UNK] це результат вчасно введеного карантину і дисциплінованості українців , які ці обмеження слухняно виконують .

```