Този сайт използва бисквитки (cookies). Ако желаете можете да научите повече тук. Разбрах

Новини ИТ мениджмънт
бр. 3, 2018

Анализ на Големи данни: облачната промяна е на път

Публичните облаци са бъдещето на корпоративния анализ на Големи данни и използването им води до създаването на единната платформа, необходима за реализирането на пълния им потенциал.

от , 27 март 2018 0 1266 прочитания,

Джеймс Кобиелус, IDG, САЩ

Днешният пазар на решения за анализ на Големи данни е доста различен от този преди няколко години. Идващото десетилетие ще стане свидетел на промяна, иновации и трусове, които ще засегнат всяка част от тази глобална индустрия. 

В наскоро публикуваното си годишно пазарно проучване анализаторската група SiliconAngle Media показва, че световният пазар на решения за анализ на Големи данни е нараснал с 24.5% през 2017 в сравнение с предходната година. Това е по-голям ръст от прогнозирания в предишния доклад, породен основно от очакваното внедряване и използване на публични облаци, както и ускореното обединяване на платформи, инструменти и други решения. Освен това при анализа на Големи данни компаниите по-бързо приключват експерименталната фаза и пилотните си проекти и постигат по-големи ползи от своите внедрявания.

Докладът предвижда, че цялостният пазар на решения за анализ на големи данни ще нараства с около 11% годишно до 2027 г., като ще достигне $103 милиарда в световен мащаб. Голяма част от този ръст в по-късните години ще се поддържа от внедряването на анализа на Големи данни в Интернет на нещата, мобилността и други периферни изчислителни примери.

Анализ на Големи данни: облачната промяна е на път

Ключови тенденции при анализа на Големи данни през следващото десетилетие

Според доклада това са ключовите тенденции, които ще движат еволюцията на анализа на големи данни през следващите години: 

Доставчиците на публични облаци увеличават своя обхват. Отрасълът на Големите данни се върти около три основни доставчика на публични облаци – Amazon Web Services, Microsoft Azure и Google Cloud Platform – и повечето софтуерни фирми изграждат решения, които работят на всички тях. Тези и други доставчици на облачни услуги на Големи данни, включително стари компании като IBM и Oracle, предлагат управляеми IaaS и PaaS езера на данни. В тях клиенти и партньори могат да разработват нови приложения и да мигрират съществуващите си програми. Вследствие на това доставчиците на чиста платформа на данни/NoSQL губят пазар, изтласкани от доминиращите пространството на Големите данни диверсифицирани доставчици на публични облаци.

Предимствата на публичните облаци пред частните продължават да се увеличават. Публичните облаци се превръщат в предпочитаната платформа за анализ на големи данни от всички клиентски групи. Това е така, защото публичните облачни решения узряват по-бързо от локалните, като добавят по-богата функционалност, с все по-конкурентна цена. Те разширяват своите API екосистеми и подобряват управленските инструменти по-бързо от съответните решения, проектирани за локално внедряване.

Хибридните облаци се превръщат в междинна спирка за корпоративните Големи данни по пътя им към към публичните. Те присъстват в плановете на повечето корпорации, но са предимно стратегия на прехода. Везните се накланят компаниите да прехвърлят повечето от Големите си данни в публични облаци. Отчитайки тази тенденция, традиционните доставчици на решения за Големи данни оптимизират своите продукти за хибридна облачна среда. Също така локално базираните платформи на големи данни се преструктурират за прехвърляне в публични облаци.

Обединяването на силозите за Големи данните в облака ускорява възвръщаемостта на инвестициите и потребителите започват да ускоряват консолидацията им. Нарастващото господство на доставчиците на публични облаци унищожава междуфирмените силози, които досега имаха отношение към фирмените частните архитектури за Големи данни. Не по-маловажно е, че решенията за Големи данни, облачни и локални, преливат в интегриран продукт, проектиран да намали сложността и да ускори възвращаемостта на инвестициите. Все повече доставчици предлагат стандартизирани програмни интерфейси за опростяване на достъпа, ускоряване на разработките и по-цялостно управление на информационния масив в рамките на техните решения.

Иновативни стартъпи в областта на Големите данни вкарват на пазара все по-усъвършенствани приложения, с вграден изкуствен интелект (AI). Доставчиците на иновативни приложения започват да разтърсват конкурентния пейзаж на големите данни с AI базирани решения. Заплахата от новопоявили се на пазара фирми се засилва във всеки сегмент на Големи данни, като най-много иновации се разработват за публични или хибридни облачни проекти. През последните години на пазара навлязоха много нови стартъпи, занимаващи се с база данни, поточни изчисления (stream computing) и изследване на данни (data science).

Нови подходи към Големите данни се превръщат в жизнеспособна алтернатива на установените платформи. Няма да е след дълго, когато следващо поколение от доставчици на платформи ще се появят, използвайки подход, който смесва Интернет на нещата, блокчейн и поточни изчисления. Повечето от тези нови платформи ще бъдат оптимизирани за управление на цялостни DevOps решения за машинно обучение, дълбинно обучение и изкуствен интелект. Също така платформите за Големи данни се проектират за AI микроуслуги към периферни устройства. 

Hadoop се превръща просто в парче от пъзела на Големите данни. Виждаме признаци, че пазарът гледа на Hadoop по-скоро като на остаряла технология на Големите данни, отколкото като на стратегическа платформа за иновативни бизнес приложения. Въпреки това Hadoop е зряла технология, която е широко използвана за ключови приложения, като например неструктуриран информационен склад за данни, и все още има дълъг живот пред себе си в много компании. Предвид тази дългосрочна перспектива, доставчиците продължават да усъвършенстват своите продукти така, че да предлагат по-гладко взаимодействие между независимо разработени хардуерни и софтуерни компоненти. 

Потребителите все повече смесват решения от различни доставчици в отворени екосистеми. Все по-малко доставчици на приложения за Големи данни предлагат решения, които включват частни или нестандартизирани компоненти или такива, които не са с отворен код. Клиентите се възползват от силно конкурентния пазар днес, за да изискват все повече подобрения от доставчиците на решения за анализ на големи данни. От своя страна доставчиците комбинират своите инструменти в модулни архитектури, в които клиентите могат да разменят компоненти на различни функционални нива. Това е най-добрият подход за доставчици, които искат да получат и задържат дял от пазара, където монополистичните решения са минало.

Бази данни се разделят и сглобяват по иновативни начини. От архитектурна гледна точка те вече не са това, което познаваме. Движим се към бъдеще, в което ще господстват поточни (streaming) инфраструктури за анализ на Големи данни и изчисления в паметта, без сървъри. Доставчиците изследват нови начини за преструктуриране на основни функционалности при базите с данни, за да посрещнат клиентските изисквания. Сред тях са решения за автоматизирано машинно обучение и когнитивни IoТ анализи в периферията. В тази еволюция аналитични и приложни бази данни се обединяват, като все повече високоефективни аналитични функционалности се интегрират в платформи на бази данни от всички видове. Също така складовете за бази данни се превръщат в хранилища на машинни данни, достъпни през алтернативни структури като индекси на основни стойности и схема на обекти.

Инструментариумът за изследване на данните все повече автоматизира цялостните DevOps решения. Подсиленото с Големи данни програмиране ще продължи да се усъвършенства. Увеличава се наборът от инструменти за колаборация между разработчиците и вътрешния ИТ отдел, позволяващ автоматизация на различни задачи в разработването, внедряването и управлението на машинно обучение, дълбинно обучение и други AI елементи. Голям брой подобни решения дори прилагат специализирани алгоритми на машинно обучение като хиперпараметрични настройки.

Пакетни приложения за анализ на Големи данни вече са широко достъпни. През следващото десетилетие все повече потребители ще се сдобият с решения за анализ на големи данни като предварително изградени, обучени и предлагащи темплейти облачни услуги. Повечето услуги автоматично ще адаптират и настройват вградените модели за машинно обучение, дълбинно обучение и AI, за да постигат оптимални бизнес резултати. Тези услуги ще включват предварително обучени модели, които клиентите могат да настройват и разширяват според специфичните си нужди.


Пречки пред еволюцията и разработването на решения за анализ на големи данни

Въпреки че прогнозите за навлизането на анализа на Големи данни изглеждат розови, налице са много проблеми, които пречат на потребителите да извлекат максимума от своите инвестиции в тези технологии. Най-основните сред тях са:

Прекалена сложност. Средите и приложенията за анализ на големи данни все още се прекалено сложни. Доставчиците ще трябва да продължат да опростяват интерфейса, архитектурите, функциите и инструментите на тези среди. Това ще направи достъпни тези технологии за потребители и разработчици, много от които нямат наличен ИТ персонал с необходимите специализирани умения. 

Сериозни разходи. Процесите на управление на анализа на Големи данни все още е прекалено изолиран, скъп и неефективен за много ИТ професионалисти. Доставчиците ще трябва да изградят предварително пакетни работни процеси, които да помогнат на многобройните екипи от специализиран персонал да управлява данни, метаданни, анализ и услуги по-ефективно, бързо и точно.

Продължителни процеси. Разработването и внедряването на приложения за анализ на Големи данни все още е прекалено времеемко и трудоемко. Доставчиците ще трябва да усъвършенстват функциите си за автоматизация на инструментите си, за да увеличат производителността на техническия персонал на клиента, като същевременно гарантират непрекъсната обработка на сложни задачи дори от неквалифициран персонал.

Персонализирани решения. Професионалните услуги за анализ на големи данни все още са важни за разработването, внедряването и управлението на много персонализирани приложения. Това е особено вярно за приложенията, работещи с данни, които обхващат хибридни облаци, използват различни платформи и инструменти и включват неизмеримо сложни процеси. Доставчиците трябва да наблегнат на пакетното съдържание на решенията си за често срещаните приложения на анализа на Големи данни, като същевременно предложат на потребителите визуални инструменти за специфициране на сложна бизнес логика без външна помощ.

Основната препоръка на доклада към фирмите е да пренасочат усилията си по разработването на решения за анализ на големи данни към публичните облачни среди. Това ще им позволи да се възползват от бързо узряващите, евтини решения, предлагани от Amazon Web Services, Microsoft, Google, IBM и други доставчици на подобни услуги. Изграждането на фирмен хибриден облак се предлага като междинно решение, което ще гарантира гладкия преход към публичния облак през следващите няколко години.

Превод и редакция Юлия Уршева

КОМЕНТАРИ ОТ  

Полезни страници
    За нас | Аудитория | Реклама | Контакти | Общи условия | Декларация за поверителност | Политика за бисквитки |
    Действителни собственици на настоящото издание са Иво Георгиев Прокопиев и Теодор Иванов Захов