Как анализът на данните може да бъде реализиран във фирмата

2023 Автор: Hannah Pearcy | [email protected]. Последно модифициран: 2023-08-25 03:36

В момента анализът на данните в индустриалните компании изпитва свръх. Много компании искат да използват потенциала на съществуващи или новосъздадени данни и да съберат екипи от анализатори на данни или учени по данни. Това често води до предизвикателства: Определените цели и очаквания са нереалистични, спестяванията не могат да бъдат измерени или не са налични необходимите данни. Типичен проблем са традиционно разработените проектни планове със строго предварително определени цели и резултати, които не отговарят на типичните проекти за анализ на данни. По-долу става въпрос за това как успешно да се изгради екип за анализ на данни и за какво да се внимава.

Съвет за книга

Следващата статия идва от специализираната книга Data Analytics. Учебникът описва подробно, като използва конкретни примери как анализа на данни може да бъде приложен в компанията.

Екип за анализ на данни се нуждае от:

• Анализатори на данни / учени по данни
• Инженер на данни / Архитекти на данни
• Бизнес анализатори / отдели
• Софтуерни разработчици / системни администратори

Какво трябва да може да направи анализатор на данни / учен с данни

А анализатор на данни трябва да има три основни умения донесете, както е показано на фигурата: хакерски умения, математика и статистика, както и знания за домейна. „Хакерски умения“означава солидно познаване на езиците за програмиране и парадигмите. Това означава, че макар даден учен да не трябва да е разработчик на софтуер, той все още трябва да има опит с използването на езици за програмиране. „Математиката и статистиката“са основата на всеки добър анализатор на данни. Прилагането на тези знания се простира от първия оглед на данните (напр. Използване на статистически средства) до крайното моделиране през всички фази на работата на анализатор. Третият компонент, „Познаване на домейни“, описва знания и опит в работната среда, в която се намира анализаторът на данни. Това е познаване на процесите в компанията,но преди всичко за продуктите и техните производствени процеси. В зависимост от областта, в която трябва да се извърши анализът на данните, знанията за контрола, продажбите и процесите на закупуване или за производството и качеството на продуктите могат да бъдат от значение.

Ролята на инженера на данни / архитекта на данни:

Инженерът на данни трябва да получи преглед на всички или поне ограничена част от източниците на данни във фирмата и да ги обедини и формализира по такъв начин, че да се създаде вид оферта за предоставяне на услуга за анализаторите на данни. Неговите инструменти са карти с данни, които описват подробно къде се намират данните във фирмата, и ETL инструменти (извлечение = извличане, преобразуване = преобразуване и натоварване = натоварване), които са специално разработени за извличане, сливане и подготовка на данни. В идеалния случай това създава езеро от данни или център за данни, в който се събират данни от всички необходими източници на данни. Това дава възможност на анализаторите на данни да събират данни за случаи на използване.

Съвет: информирайте онлайн

Благодарение на онлайн оферти като Coursera, edX или O'Reilly Safari е по-лесно от всякога да се справим с темата за обработка и анализ на данни и да натрупаме ценни знания. Много от споменатите оферти поне са безплатни за разглеждане, така че разходите се правят само ако се използват упражнения или се изискват сертификати след успешното завършване. Качеството на такива курсове е високо, а предоставените ресурси са разнообразни и практични. Това означава, че нов потенциал може да се създаде във фирмата не само чрез нови умове, но и чрез допълнително обучение на афинитни служители.

Бизнес анализаторът / отделът в екипа:

Специализираните области са спонсори на проекти за анализи. Те имат важни за бизнеса цели, които трябва да бъдат подкрепени от анализ на данни. В допълнение, те предоставят знанията за домейна, необходими за успешно проектиране на модели. По-големите компании си позволяват и бизнес анализатори, които са в близък контакт с отделите. Те поддържат комуникацията между отделите и анализаторите и имат подробни познания в областта на домейните, за да разработят нови идеи заедно с отделите. В допълнение към солидното познаване на домейните, бизнес анализаторите в идеалния случай трябва да разполагат с достатъчно ИТ познания или основите на анализа на данните, за да извършат първоначален избор и приоритизиране на теми, ако е необходимо.

Ролята на софтуерния разработчик / системен администратор

Веднага след като моделите за анализ трябва да бъдат интегрирани в оперативните процеси на компанията, трябва да се включат разработчици на софтуер и системни администратори. Те гарантират, че моделите се превеждат на свързаните със системата езици за програмиране в съответствие със съществуващата ИТ инфраструктура, че са спазени изискванията за стабилност и ефективност и не пречат на други критични за бизнеса системи.

Как може да се структурира изграждането на екип

Изграждането на екипи за анализи представя на компаниите няколко предизвикателства. Възникват въпроси за това колко или кои анализатори на данни са необходими, къде трябва да бъдат разположени в структурата на компанията и дали и кога следва да бъдат запълнени допълнителни роли като инженери за данни или бизнес анализатори. Един въпрос, който възниква по-специално, е първоначалният размер на екипа за анализи: или една компания започва с малък екип, който може постепенно да расте, или започва с голям екип. И двата подхода имат предимства и недостатъци, които са обяснени по-долу.

Плюсовете и минусите на малък екип

Започнете с малък екип: персонал за изпълнение на случаите за първа употреба и натрупване на опит.

Предимства: Ниско първоначално усилие и за поддържащи функции (HR, управление); Структурите възникват частично независимо по време на изграждането на екипа (високи потенциали).

Недостатъци: Необходимо е силно приоритизиране на теми

Рискове: Проблемите не се решават навреме, което предизвиква разочарование във фирмата

Анализ на данни с голям екип

Започнете с голям екип: попълване на всички подходящи роли (включително инженери за данни и бизнес анализатори)

Предимства: Бърза видимост и навлизане на компанията; Разработване и заемане на структура, планирана от самото начало.

Недостатъци: Високи първоначални разходи и за поддържащи функции (HR, управление); Разходите са направени от първия ден, докато структурите и целите все още трябва да бъдат определени (използване на риска)

Рискове: Ако централните технически проблеми не бъдат разгледани, много проекти не могат да бъдат реализирани, което означава, че ресурсите се губят поне първоначално

Съвет за книга

Как да намерите подходящите специалисти за екипа за анализ на данни и съвети за интервюто за работа, можете да намерите в специализираната книга Data Analytics, от която произлиза тази статия.

Как трябва да работят проектите за анализи, използвайки модела CRISP-DM

Кой се занимава с анализ на данни и подхода към анализ на данни, неизбежно се озовава в ТАВИЧКА DM, на " Cr OSS аз ndustry S tandard P ПРОЦЕСА за D ата M ining". Процедурният модел за анализ на данни, който вече беше разработен през 90-те години на миналия век, беше разработен като част от европейска научноизследователска инициатива заедно с компании като Teradata, IBM и Daimler и днес представлява своеобразен де факто стандарт. По-нататък всяка стъпка ще бъде описана накратко.

1. Разбиране на бизнес / употреба

Първата стъпка, разбиране на изискванията от отдела, описва първия контакт между анализатора на данни и отдела. Целта на тази среща трябва да бъде да се изяснят следните точки:

• Контекст: Какви са целите на катедрата?
• Цел / очаквания: Какви очаквания имат резултатите?
• Ситуация с данни: Кои данни са налични? Достъпни ли са данните? Кой е собственик на данни?
• Сътрудничество: Как отделът иска да се включи?

Съвет за книга

Как работи анализът на данни във времена на големи данни?

2. Разбиране на данните

В разбирателство Data фаза включва разглеждането на данните, предоставени от специализирани или ИТ отделите. Във фазата данните се разглеждат по-подробно, например като се използват инструменти за качество на данните или аналитични инструменти. Анализаторите на данни и инженерите анализират източника на базата данни по източник и колона по колона и „картографират“съдържанието му с две основни цели: отчитане на качеството / качеството на данните, както и връзките между различните източници на данни. За да оцените източниците на данни, има смисъл да подготвите следните въпроси във вид на профил и след това да ги запитате или проверите по стандартизиран начин за всички източници на данни:

• Синтактично / семантично качество: колко пълни и правилни са данните? Колко разбираемо и недвусмислено е представянето на данните?
• Условие: Как са представени данните в източниците на данни? Могат ли да се извлекат желаните прозрения от представите?
• Използваемост: Данните, тяхното представяне и честота съответстват на приложението?
• Връзки и връзки: Как могат да бъдат свързани различни точки от данни? Какви са връзките между различните данни?

3. Подготовка на данни

Каталогът на изисквания за подготовка на данните фаза, т.е. подготовката на данните, резултатите в част директно от данните разбирането фаза и включва всички стъпки, които са необходими, за да се подготвят данните за фазата на моделиране. Следните стъпки попадат във фазата на подготовка на данни:

• Избор: Кои атрибути и секции са необходими за случая на използване?
• Структура: Как неструктурирани данни могат да се трансформират в структурирани данни?
• Коригиране: Кои данни и атрибути трябва да бъдат сортирани поради грешки, несъответствия или неправилни стойности?
• Форматиране: Как се трансформира съдържанието на полетата с данни?
• Свързване: Кои данни трябва да бъдат свързани и как?
• Създаване на нови данни: Кои нови атрибути са получени от съществуващите?

4. Моделиране

Целта е ясна, данните се разбират и подготвят. Вероятно е минало известно време и анализаторът с нетърпение очаква най-накрая да пусне алгоритми на данните. Сега е време да намерите правилните методи, да оптимизирате параметрите и така да постигнете най-добрия възможен резултат за чакащите отдели. На пръв поглед фазата на моделиране съдържа следните точки:

• Определяне на целеви показатели: Кога подходът дава добри резултати?
• Избор на методи: Кои модели отговарят на въпроса?
• Оптимизация на параметри: Как могат да се подобрят резултатите?

5. Оценка

Във фазата на моделиране алгоритмите се обединяват в модел и се оптимизират по отношение на предварително дефинираните ключови фигури. На фаза оценка служи на целенасочен обмен на отдели, софтуерни разработчици и анализатори на данни. Въпреки че отделът служи само като "източник на информация" във фазата на разбиране на данни и играе само пределна роля във фазата на подготовка и моделиране на данни, сега трябва да приеме моделите въз основа на целите, определени във фазата на бизнес разбиране, Софтуерните разработчици може да трябва да проверят дали прилагането на моделите е съвместимо със съществуващите системи.

6. Операционализация

Операционализирането на аналитичните модели представлява последната стъпка от цикъл на модела CRISP-DM. Дизайнът зависи от много влияещи фактори и ИТ архитектурата в компанията. Основната работа в тази фаза се осъществява от отделите за информационни технологии и разработки, които могат да внедрят моделите на други езици на програмиране и да ги интегрират в съществуващите системи. Анализаторите на данни имат поддържаща роля.

Поради все нови данни и факти, аналитичните модели обикновено имат ограничен срок на експлоатация и следователно трябва редовно да се преквалифицират или дори напълно да се преработват. Непрекъснатото адаптиране на моделите към новите данни (непрекъснато обучение) се разглежда като централна цел на бъдещите алгоритми. Вместо да се адаптират веднъж алгоритмите към съществуващ запис на данни, в много случаи изглежда много по-ефективно да се създаде процедура, която също надеждно да се адаптира към новите ситуации или данни.

Съвет за книга

Учебникът на Data Analytics показва как се изпълняват изброените стъпки, като се използват примери. Други глави също се занимават с методи за анализ на данни и случаи на използване.

Съвет за книга

Как работи анализът на данни във времена на големи данни?

* * Dr. Йоханес Крьокел оглавява отдел „Data Science & AI“в отдела за дигитализация в Schaeffler от средата на 2018 г.