Този сайт използва бисквитки (cookies). Ако желаете можете да научите повече тук. Разбрах

Новини Технологии и концепции

Човешкият „ботълнек“ в архитектурата на big data

Въпреки иновациите около технологиите за „големи данни“, работата с тях все още изисква хора и ръчен труд.

от , 01 юни 2017 0 601 прочитания,

В проучване сред ИТ специалисти и експерти по данни за прогреса на техните инициативи за „големи данни“ (big data), проведено от Qubole и Dimensional Research, само 8% смятат своите инициативи за напълно развити, а 78% от отговорилите все още отговарят на исканията за данни проект по проект.

Тези резултати подчертават слабост в сърцевината на повечето инициативи за „големи данни“, съобщава Information management. Въпреки иновациите около технологиите за „големи данни“, работата с тях все още изисква хора и ръчен труд, а хората не се мащабират. Този човешки „ботълнек“ ограничава способността на организацията да измерва и привежда в действие употребата на данни.

 

Човешкият „ботълнек“ в архитектурата на big data

 

Сложността изпреварва експертите

 

Въпреки цялата разпаленост около технологиите, даващи възможност за „големи данни“, хората все още имат голямо влияние върху процеса.

Разглеждането на реалните задачи, които поддържат тази архитектурата, помага за получаване на ясна представа. Почти цялата важна инфраструктура на данните и изчислителните технологии в наши дни е с отворен код. Софтуерът с отворен код е предвиден да бъде частично, а не цялостно решение. Това означава, че хората с развити технически умения са нужни, за да накарат тази комплексност да работи сплотено.

Всеки, на когото се е налагало да създава екип, знае, че хората не могат да се реплицират (scale-out) както модерната инфраструктура. Независимо от структурирането на екипите за работа с данни, трябва да има експерти разбиращи инфраструктурата, самите данни и как ще бъдат използвани.

Най-различни технологии – много от които с отворен код – трябва да бъдат свързани и да произведат последователни процеси за поднасяне на данните, нужни на анализатори, инженери и програмисти.

Само за седмица всичко може да се обърка:

  • Прекъсване на ETL каналите

  • Изоставане в производителността на заявите

  • Данните са грешни, закъсняват или са изопачени

  • Липсват нужните API

  • Промяна на бизнес изискванията налага интегриране на нови приложения за обработване на данни.

Всички тези не особено стратегически упражнения, обединени с отнемащо време планиране на капацитет и обновяване на софтуер възпират организациите от стратегическата работа по мащабиране и привеждане в действие на работата с „големи данни“.

В помощ на хората

Докато включвате още хора, за да отговорите на нуждите от мащаб, всеки човек става малко по-неефективен, заради нуждата от координиране, сътрудничество, управление и комуникация – и преди да сте разбрали, вашите евтини сторидж и безплатни технологии с отворен код са станали доста скъпи за поддръжка. А служителите бързо се оказват затрупани от изисканията на организацията.

Докато организацията придобива мащаби, поддържането на машината работеща увеличава пропорционално сложността. В голям мащаб, поддържането на множество натоварвания, конкуриращи се за ограничени ресурси е необикновено трудно за управление и още по-трудно за коригиране ако нещо се обърка. Реално има твърде много неща, който да се объркат при управлението на сложно боравене с данни.

Въпреки това, бъдещето не е в заместването на хората. Роботите няма да им вземат работата.

Хората зад модерните организации за „големи данни“ имат познанието, контекста, опита, които не могат скоро да бъдат заменени от алгоритми.

Но тези хора се нуждаят от помощ.

Има два начина за облекчаване на натиска и ръст на начинанията с данни.

Първият е да се използва автоматизация, за да станат хората по-ефективни. Позволете им да се фокусират върху задачи с по-висока стойност като автоматизирате рутинните задачи, и така подобрите своята екосистема.

Вторият е да реорганизирате своята организация, така че работещите с данни екипи да бъдат облекчени от ежедневните заявки за анализи и да работят за по-бързо и гъвкаво получаване на важната информация от данните. Разграничаването на работещите с данни екипи и потребителите ще доведе до по-ефективна работа на двата екипа.

Докато не бъдат разбрани процесите, водещи до модела DataOps, организациите ще продължат да имат трудности с мащаба и провеждането в действие на своите операции с данни. 

КОМЕНТАРИ ОТ  

КОМЕНТАРИ

Трябва да сте регистриран потребител, за да коментирате статията
"Човешкият „ботълнек“ в архитектурата на big data"



    

Полезни страници
    За нас | Аудитория | Реклама | Контакти | Общи условия |
    Действителни собственици на настоящото издание са Иво Георгиев Прокопиев и Теодор Иванов Захов