GetInData през 2022 — постижения и предизвикателства в света на големите данни

Времето лети изключително бързо и ние сме готови да обобщим постиженията си през 2022 г. Миналата година продължихме предишните си акции за споделяне на знания и стартирахме нови. Нека не губим време, потопете се в това резюме и вижте какво направихме в GetInData миналата година!

• Публикува 44 публикации в блогове за Големи данни, ML/AI, стрийминг, облак, модерна платформа за данни, събития и други.
• Сподели много съдържание за машинно обучение, облак и изкуствен интелект. В нашите социални медии популяризирахме събития и конференции. Също така редовно публикувахме технически факти с новини от света на големите данни. Не на последно място, в GetInData имаше много съдържание за живота. Намерете го в нашите канали за социални медии, които можете да следвате тук.
• Стартирахме нови формати: Radio Data podcast и Data Pill бюлетин, към който можете да се присъедините, за да създадете общност за данни с нас.
• Стартирахме Paper Talks — вътрешни срещи, които в крайна сметка станаха публични и сега изграждаме общност в тази област.
• Организира 2 конференции за големи данни в Полша, Big Data Technology Warsaw 2022 и Data Mass Gdańsk Summit 2022, като също участва в конференции за големи данни по целия свят .
• Продължихме нашата традиция и се срещнахме повече от 10 пъти за нашите вътрешни сесии за обяд и обучение.
• Гилдиите и лабораториите непрекъснато растат. Създадохме 4 области, които са фокусирани върху DevOps, Data Engineering, MLOps и Streaming.

Ако искате да научите повече за нашите постижения, по-долу можете да намерите списък на някои от тях. Приятно четене!

Вноски

2022 г. беше пълна с принос на GetInData към отворен код.

През цялата изминала година представихме много решения, в чието създаване участваха нашите big data експерти, като:

• Нашият екип на DevOps Labs — Jakub Igła, Dominik Gniewek-Węgrzyn, Mariusz Wojakowski и Piotr Mossakowski, разработи модула Terraform за Atlantis, който получи високо признание от компанията и сега е официално препоръчан като начин за инсталиране Атлантида на лазур. Вижте го тук.
• Krzysztof Chmielewski положи огромна работа при издаването на Delta Connectors 0.6.0, който поддържа Flink/Delta Connector на Apache Flink™ 1.15.3.
• Andrzej Dackiewicz наскоро работи върху нов изходно-основен конектор за Airbyte.
• Mariusz Strzelecki имаше пръст в Apache Spark и Airflow.
• В продължение на месеци екипът на GetInData, включително Maciej Obuchowski, Paweł Leszczyński, Jakub Dardziński и Tomasz Nazarewicz, разработва проекта OpenLineage. Ние помогнахме да се оформи как Microsoft проектира и внедри приноси за поддръжка на източници на данни на Microsoft и интегриране с Azure Databricks. Освен това нашият неотдавнашен принос, поддържащ родословието на ниво колона, беше най-очакваната функция за Microsoft. Можете да намерите статия, написана от Microsoft за резултатите от тяхната работа и нашия принос тук.
• GetInData кредит в Delta Lake 2.0.0. от Grzegorz Kołakowski. Най-вълнуващата промяна в тази версия от наша гледна точка е Промяна на информационния поток. Особено когато можем да го внедрим във Flink в Streaming.
• Apache Flink Source Connector за таблици Delta Lake от Krzysztof Chmielewski.
• Принос към доставчика на Terraform за Snowflake и още един от Marek Wiewiórka

Публикации в блогове

През 2022 г. непрекъснато публикувахме в нашия блог. Това означава, че една година по-късно тук можете да намерите 44 публикувани публикации в блогове за големи данни, облак, машинно обучение и други тук. Топ 5 на най-четените са:

• Сравнение на инструменти за обслужване на модели на машинно обучение — KServe, Seldon Core, BentoML, написано от Марчин Заблоцки
• Внедряване на защитен MLflow в AWS от Марек Йендрашевски
• Внедряване на MLFlow без сървър в Google Cloud Platform с помощта на Cloud Run от Марчин Заблоцки
• Поглъщане в реално време на Iceberg с Kafka Connect — Apache Iceberg Sinkот Grzegorz Liter
• Ръководство стъпка по стъпка за обучение на модел за машинно обучение с помощта на BigQuery ML (BQML) от Michał Bryś

Това очевидно не е всичко. Публикувахме публикации за нови технологии като

• Представяне на формата за данни Geoparquet от Paweł Kociński
• Въведение в GeoSpatial стрийминг с Apache Spark и Apache Sedona от Paweł Kociński

Също така споделихме знанията си в областта на машинното обучение (ML) и MLOps

• Задълбочено обучение с Azure: PyTorch разпределено обучение, извършено точно в Kedro от Марчин Заблоцки
• MLOps: 5 проблема с машинното обучение, водещи до неефективно използване на даннии Сравнение на магазина с функции: 4 магазина с функции — обяснено и сравнено от Якуб Юрчак
• Тръбопроводите на Kubeflow започват да работят за 5 минути от Марчин Заблоцки
• Хранилище за функции — управление на множество източници на данни с Feast от Косма Гроховски
• Какво ръководи решенията на вашите клиенти? Намерете отговори с модели на машинно обучение! Състезанието Kaggle на H&M от Адриан Дембек
• Онлайн ML модел, обслужващ с помощта на MLeap и Flink с MLeap от Bartosz Chodnicki
• 2022 Big Data Trends: Търговията на дребно и електронната търговия стават един от най-горещите сектори за AI/ML от Адам Кава

Освен това можете да прочетете повече за нашето решение като GetInData Modern Data Platform

• Модерна платформа за данни — какво е, защо е и как? Демистифициране на модната дума от Якуб Пиепржик
• Обявяване на модерната платформа за данни GetInData — решение за самообслужване за инженери на анализ
• Модерна платформа за данни GetInData — функции и инструмент, и двете написани от Михал Рудко.

Истории на клиенти

Също така споделихме нашите истории за успех в работата с клиенти с вас:

• Как изградихме модерна платформа за данни за 4 месеца за Volt.io, разширяване на FinTech от Paweł Kociński и Paweł Zalewski
• Платформа, фокусирана върху централизирането на източниците на данни и демократизирането на данните с ING и Насърчаване на потребителското изживяване с мащабируема и сигурна платформа за данни за игра

Също така започнахме да споделяме нашето съдържание в Medium. Кликнете, ако искате да ни следвате тук.

Уеб семинари и видеоклипове

През 2022 г. организирахме два уебинара на живо. Не беше ли с нас този ден? Това изобщо не е проблем! Можете да гледате две от тях тук:

• Изграждане на ML тръбопроводи с Kedro и Vertex AI на Google Cloud Platform, където Michał Bryś демонстрира начина за привеждане в действие на модели на машинно обучение с помощта на инструменти с отворен код, като Kedro и внедряването им с помощта на облачни изчисления.
• Бърз път, управляван от данни: Въведение в управлението на данни с Piotr Menclewicz, който обясни управлявания от данни Fast Track на GetInData, рамката в 3 стъпки за трансформиране на данни. В този можете да научите как да оцените доколко вашата компания се ръководи от данни, как да генерирате идеи за нови инициативи, за да тласнете компанията си към по-добри решения и как да обмислите прилагането на тези инициативи, за да увеличите шансовете си за успех.

В нашия YouTube канал можете също да намерите видеоклипове с нашите експерти:

• Внедрени MLOps — Как комбинираме облака и отворения код, за да подобрим работата на специалистите по данни. с Марек Wiewiórka и Krzysztof Zarzycki, които споделиха своя опит с платформата MLOps, която са създали за нашите клиенти, и как те подобриха начина, по който работят учените по данни. Те показаха как проекти на клиенти за обучение на ML модели могат да преминат от нула до производство за много по-кратко време, като същевременно постигат превъзходна производителност, високо качество на кода, повторяемост на обучението и управление.
• Как да стартирате тръбопроводи на Kedro в услугата за тръбопроводи на Azure ML? — MLOps Tutorial от Marcin Zabłocki, където той обясни какво точно представлява Kedro и какви са предимствата на това решение, как да проследявате показателите с помощта на MLflow и как да инсталирате този плъгин.
• Как да станете добър разработчик в Scrum Team? с Рафал Залевски
• 7 архитектури на Jupyter за 7 различни организации с Mariusz Strzelecki, показа различните възможни настройки на Jupyter с техните плюсове и минуси и сподели уроците, които научихме, като също така обхваща теми като избиване (спиране на неактивни бележници) и стартиране сесии на spark-on-kubernetes директно от преносими компютри.

Radio DaTa Podcast

Щастливи сме да споделим с вас и друг проект, който започнахме през 2022 г. — Подкаст за радио данни! В Radio Data говорим за данни, облак, анализи и AI/ML/BIс различни гост-експерти и различни хостове в различни сегментни формати. Вече започнахме два сегмента:

Пътешествия с данни — епизоди със специални гости, в които нашите гост-експерти говорят за това как данните се движат в тяхната компания, какви технологии използват и защо, както и стойността, която данните носят на техните продукти. Това са интервютата. Водещ на подкаста е Адам Кава. Някои от най-слушаните епизоди са:

• Arunabh Singh (Willa) — Изграждане на надеждни възможности за ML & Analytics много рано във FinTech, умения и компетенции за специалист по данни, прогнози за ML/AI за следващите десетилетия
• Alessandro Romano (БЕЗПЛАТНО СЕГА) — Динамично ценообразуване в приложение в реално време, стек от технологии и прагматизъм в науката за данни
• Виктория Букта (Shopify) — Apache Iceberg и поглъщане на данни
• Wounter de Bie (Datadog) — Опит за разработчици в много облаци, Datadog срещу Spotify, области за гледане в пейзажа на данните
• Макс Шулце (Zalando) — Data Mesh в Zalando, какво е, какво НЕ е, как помага на Zalando да стане още по-ориентирана на данни компания
• Симона Мериам (Aidoc) — Неструктурирани данни и прослушване на данни

Актуализации на данни — епизоди с нашите експерти от GetInData, в които споделяме интересни новини или описваме интересна тема, свързана с данни, облак, анализи и AI/ML/BI. Най-слушаните епизоди бяха:

• Paweł Leszczyński (GetInData) — Инженер по данни, ориентиран към бъдещето
• Адам Кава (GetInData) — 5 текущи тенденции в пейзажа на данните и изкуствения интелект (H1 2022)

Планът за следващата година е да развием съществуващите формати и да създадем нови, така че ако искате да сте в течение, следвайте Radio DaTa в Spotify.

Електронна книга

През 2022 г. издадохме и нашата електронна книга „MLOps: Power Up Machine Learning Process. Изградете магазини за функции по-бързо”.

Какво ще намерите там?

• Как да елиминираме риска от неефективно използване на данни в машинното обучение
• Как да достигнете пълния потенциал на вземането на решения, базирани на данни, в реално време
• Ръководство стъпка по стъпка за изграждане на добре функциониращ магазин за функции
• Какво е MLOps и платформата MLOps

Тази електронна книга е разделена на две части. Първо от бизнес гледна точка на MLOps. Обясняване на условията и зависимостите, необходими за вземане на решения в бизнес контекст, като какво представлява платформата MLOps и дали имате нужда от нея или не. Вторият има техническа гледна точка с усъвършенствано техническо съдържание, необходимо за прилагане на знанията за електронни книги.

Изтеглете електронната книга безплатно.

Нашите експерти по големи данни на конференции и срещи

Миналата година организирахме две конференции: Big Data Tech Warsaw Summit и DataMass Gdańsk Summit.

8-тото издание на срещата на високо равнище за технологиите за големи данни във Варшава беше както на място, така и онлайн. Ако не сте били там, можете да прочетете преглед на презентации и преглед на топ 3 презентации, които ще ви помогнат да решите да се присъедините към нас тази година на 29–30 март 2023 г.!

Там имахме удоволствието да представим:

• Bartosz Chodnicki и Linkier Seixas говориха за Предимствата на домашна ML платформа.
• Mariusz Zaręba беше домакин на презентация, наречена Позволете на вашите анализатори да изградят канали за данни на Modern Data Platform с помощта на SQL.
• Мрежи! проект — анализи в реално време, които контролират 50% от мобилните мрежи в Полша — нашето водещо ръководство за големи данни — нашите колеги Maciej Bryński и Michał Maździarz от NetWorkS! описа как управляваме Flink задачи в мащаб с помощта на Ververica и Kubernetes, как наблюдаваме платформата с помощта на Clickhouse и какви проблеми трябва да преодолеем в проекта.

На срещата на върха на DataMass Gdańsk нашите експерти изнесоха две презентации:

• Marek Wiewiórka изнесе презентация, озаглавена От първия контакт до пълното зареждане… Как изградихме модерна платформа за данни за 4 месеца за разширяване на FinTech.
• Също така Адриан Дембек и Пьотр Чаберски говориха за От състезание за машинно обучение до рамка за корпоративни анализи.

Това не е всичко! Нашите експерти имаха удоволствието да участват и в други интересни Big Data събития, като:

• По време на Airflow Summit 2022 Maciej Obuchowski и Paweł Leszczyński изнесоха презентация, озаглавена OpenLineage & Airflow — родословието на данни никога не е било по-лесно.

Бяхме и на Data Science Summit ML Edition 2022

• Mariusz Strzelecki говори за 7 архитектури на Jupyter за 7 различни организации.
• Адриан Дембек и Пьотр Чаберски представиха как да НЕ спечелите състезание на Kaggle.

По време на Data Science Summit 2022 нашите експерти изнесоха няколко презентации:

• Михал Рудко говори заПлатформа за данни — какво е необходимо, за да бъде наречена модерна? Нов стек с добре познати най-добри практики.
• Piotr Menclewicz представи своята презентация Бързо управление на данни — 3 стъпки, за да направите вашата компания управлявана от данни.
• Piotr Chaberski представи Докажете своята концепция — по-бързо, по-добре, по-интелигентно.
• Михал Ставиковски говори за графичните невронни мрежи в съвременните системи за препоръки.
• на IT семинар, организиран от Veolia, Grzegorz Rycaj говори защо данните харесват облака и показа някои успешни истории с облака от нашето портфолио.

И накрая, бяхме на Warszawskie Dni Informatyki 2022

• Grzegorz Rycaj беше домакин на презентация „Извинете, мога ли да видя кухнята?“.
• Марек Дроб говори за „Бяхте ли повишени в ръководител на екип или искате да станете такъв? Практически съвети как да успеете в новата си ролята”.

Нещо повече, започнахме нашата среща, наречена Paper Talks. Срещнахме се за няколко месеца, за да обсъдим нови и интересни проекти за машинно обучение. В края на годината решихме да направим тези срещи публични. Следващият ще бъде през януари, така че ако искате да говорите или просто да ни слушате, тогава последвайте ни в Linkedin, за да бъдете в крак със съобщенията.

Вътрешно споделяне на знания

Lunch&Learn — ние продължаваме нашите срещи, където нашите експерти имат възможност да споделят знанията си с нас. Това е една от най-важните вътрешни инициативи на GetInData. По време на онлайн среща един от нашите специалисти (или екип) изнася презентация, а останалите от групата имат възможност да задават въпроси и да обменят опит в тази област.

Някои теми от предишни срещи през 2022 г.:

• Flink DBT адаптер
• Докажете концепцията си - по-бързо, по-добре, по-интелигентно
• Как да станете добър разработчик в scrum
• Lookerstein Monster – защо не трябва да се страхувате от Looker
• Прогноза за CTR на базата на изображения и Google Tag Manager Webscraping

Гилдиите са общност от хора, които са запалени по една и съща тема. Всеки от GetInData може да се присъедини към гилдия чрез slack и присъствието е доброволно.

Имаме 5 работещи гилдии:

• MLOps
• DevOps
• Поточно предаване (обработка на данни в реално време)
• Инженеринг на данни
• Разширен анализ

В GetInData имаме и лаборатории. Мисията на Labs е да изследва и произвежда иновативни решения, които развиват нашия бизнес и хора, за да поддържаме нашата лидерска позиция.

В момента имаме 5 работни потока:

• DataOps Labs
• ML/MLOps Labs
• DevOps/лаборатории за разработчици
• Streaming Analytics Labs
• Advanced Analytics Labs

Data Pill Бюлетин

През тази година разработихме нови формати. Можете да прочетете за нашия подкаст, но има още. През юни пуснахме първото издание на нашия общностен бюлетин, наречен DATA Pill. Това е седмичен бюлетин, изпращан всеки петък сутрин с преглед на най-добрите Big Data, Cloud, ML и AI съдържание.

До момента сме пуснали 33 издания на DATA Pill. Пускаме го в две форми: като традиционен бюлетин и бюлетин в LinkedIn (в профила на Adam Kawa).

Нашата общност има почти 1500 души, 200 в традиционния пощенски списък и около 1300 в Linkedin.

Можете да прочетете всички предишни издания на DATA Pill и да се регистрирате тук.

Планове за 2023 г

Можете да сте сигурни, че имаме много нови идеи, които да ви покажем и да развием съществуващите през 2023 г. Очакваме с нетърпение други преживявания в процес на подготовка, възможности и начини да споделяме знания с всички вас. Бъдете в крак с нас и следвайте нашите канали: Linkedin, Facebook, Twitter и не се колебайте да се абонирате към нашия канал в Youtube.

Автор на блога: Katarzyna Kusznierczuk — специалист по маркетинг на съдържанието

Първоначално публикувано на https://getindata.com.