Този сайт използва бисквитки (cookies). Ако желаете можете да научите повече тук. Разбрах

Новини Анализи

Откриха как да компресират “големи данни” за удобни анализи

от , 30 декември 2016 0 3045 прочитания,

Методът се отличава със своята универсалност - приложим е за анализ на текстове на естествен език, машинно зрение, обработка на сигнали, прогнозиране на времето, финансови анализи и т.н.

Учени от Лабораторията за изкуствен интелект на MIT и University of Haifa са разработили метод за търсене на подмножества, съхраняващи ключови математически отношения на своите източници – огромни извадки от данни. Методът се отличава със своята универсалност и приложим в много области, включително за анализ на текстове на естествен език, машинно зрение, обработка на сигнали, прогнозиране на времето, системи за извеждане на препоръки, финансови анализи, невробиология и т.н.

Методът е базиран на геометрична интерпретация на данни и по-точно на представянето им чрез хиперсфери и търсене на средни стойности в подмножества. 

Изследователите доказват математически, че избраните подмножества (извадки) са представителни. Действайки на принципа на понижаването на размерността, методът позволява радикално да бъдат намалени ресурсите за анализ на разредените данни с помощта на методи като латентно-семантичен анализ, метод на главния компонент и др.

Учените са демонстрирали работоспособността на своя метод с пример на матрица установяваща съответствие между статии в английската версия на Wikipedia и използвани в тях думи. В таблицата има 1,4 млн. реда (статии) и 4,4 млн. стълба (думи). Алгоритъмът е позволил да бъдат изведени клъстери от думи, които са най-характерни за 100-те най-разпространени теми в Wikipedia.

Например клъстерът с думите “рокля”, “булка”, “приятелка” и “сватба” съответства на темата сватби, а клъстерът “оръжие”, “изстрел”, “пистолет”, “стрелба” – на темата стрелба.

КОМЕНТАРИ ОТ  

КОМЕНТАРИ

Трябва да сте регистриран потребител, за да коментирате статията
"Откриха как да компресират “големи данни” за удобни анализи"



    

Полезни страници
    За нас | Аудитория | Реклама | Контакти | Общи условия |
    Действителни собственици на настоящото издание са Иво Георгиев Прокопиев и Теодор Иванов Захов