Мениджмънт

Как да разработим процеси за интеграция на данни

CIO Media

Айзък Саколик, InfoWorld

Платформите за интеграция на данни преместват данни от една система в друга. Може да се прехвърлят критични по важност данни, касаещи важни бизнес решения, затова гарантирането на тяхната точност и добра работа е необходимо, независимо дали ще използвате скриптове, интеграция на данни и ETL (extract transform and load) платформи, технологии за подготовка на данни или архитектури за предаване на данни в реално време.

Когато внедрявате процеси за интеграция на данни, трябва да обмислите още от самото начало на проекта някои добри практики, за да сте сигурни, че обработването на данни е гъвкаво и лесно се поддържа. В тези процеси има съществуващо ниво на услугите, тъй като те могат да повлияят на това дали отчетите ще се генерират навреме, или дали приложенията ще разполагат с най-актуалните данни за потребителите. Има също така непрекъсната нужда ИТ да въвеждат подобрения, за да поддържат новите изисквания към данните, да се справят с увеличаващия се обем данни и да решават проблеми с тяхното качество.

Ако сте работили в сферата на ИТ достатъчно дълго, вероятно сте видели и хубаво, и лошо, когато става дума за свързани с данните процеси. Да разберете защо задача се е провалила, въпреки че е била проектирана като единична процедура с няколкостотин реда база данни, без документация, логове или управление на грешките, не е лесна задача. Затова, когато се проектират нови процеси при базите данни, трябва да се спазват тези добри практики, за да се избегне лошият опит.

Прилагайте модулни принципи в проектирането

Разработчиците на свързани с данните процеси трябва да имат предвид тяхната архитектура, за да могат да реагират бързо на бъдещи нужди и лесно да оценяват възникващите проблеми. Това може да стане, като процесът се раздели на модули или блокове и всеки блок се отнася до една стъпка и след него се преминава към следващия. ETL платформите на доставчици като Informatica, Talend и IBM предлагат примери за визуално програмиране, което улеснява изграждането на блокове в многократно използваеми модули.


За да прочетете цялата статия, е нужен абонамент.


X