بخش IT مهندسی داده (Data engineering) چیست؟

[ممد صنوبر]

 

[ممد صنوبر]

داده همه جا هست و هر روز هم در حال رشد است. پس تعجبی ندارد که رشته‌ای به اسم مهندسی داده به وجود آید؛ رشته‌ای که به طور مستقیم روی انتقال، تبدیل و ذخیره داده تمرکز دارد. از این گذشته، در سال‌های اخیر نیاز کسب‌وکارهای زیادی به مهندس داده بیشتر و بیشتر شده است و این رشته را به شغلی با نیازمندی بالا و درآمد بالا تبدیل کرده است.

 

[ممد صنوبر]

معنای مهندسی داده را بیشتر می‌توان در بخش «مهندسی» آن یافت؛ وظیفه مهندس‌ها طراحی و ساختن است. مهندسان داده هم روندهایی (pipeline) طراحی می‌کنند که داده‌ها به نوعی ذخیره، تبدیل و منتقل شوند که وقتی به دست دانشمندان داده می‌رسند، کاملا آماده و کاربردی باشند. داده‌ها از منابع مختلفی جمع می‌شوند و در یک انبارداده ذخیره می‌شوند که به عنوان یک منبع داده قابل اتکا مورد استفاده قرار بگیرد.

 

[ممد صنوبر]

اما نکته‌ی قابل توجه این است که با توجه به عمر نه چندان طولانی مشاغل مرتبط با داده نسبت به سایر مهندسی‌ها، ممکن است وظایف و لیست مهارتهای مورد نیاز برای مهندس های داده، مبهم باشد.

 

[ممد صنوبر]

هدف از مهندسی داده چیست؟​

در طول دهه گذشته، بسیاری از شرکت‌ها به یک تحول دیجیتال قدم گذاشته‌اند. به این معنی که در حال تولید حجم‌های غیرقابل‌باوری از انواع مختلف داده هستند؛ داده‌هایی پیچیده‌تر از همیشه که با سرعت تولید می‌شوند. دانشمند داده باید بتواند از تمام داده ها سردر بیاورد و آنها را ساماندهی کنید. اما در کنار دانشمنده داده به شخصی نیاز است که نسبت به کیفیت، امنیت و کاربردی بودن داده ها اطمینان حاصل کند و آنها را برای پیدا کردن الگوها و تحلیل آماده کند.

 

[ممد صنوبر]

در روزهای آغازین پیدایش Big data، ساختن زیر ساخت و pipeline برعهده‌ی دانشمند داده بود. اما چون این مهارت جزو مهارت‌های ضروری برای دانشمند داده نبود، مدل‌کردن داده به خوبی انجام نمی‌شد و این موضوع به دوباره‌کاری و ناپایدار بودن داده منجر می‌شد. در نتیجه شرکت‌ها نمی‌توانست از ارزشمندی داده‌هایشان به خوبی بهره‌مند شوند و پروژه‌های داده‌محورشان را به خوبی پیش ببرند. اما این روزها با حجم زیاد داده ناشی از تحولات دیجیتال، اینترنت اشیا و رقابت بر سر داده‌محور شدن، کاملا واضح است که شرکت‌ها به مهندس داده نیاز دارند تا بتوانند زیربنای موفقیت پروژه‌های داده و کارهای دانشمندان داده را بنا بگذارند.

 

[ممد صنوبر]

گفتیم که مهندس داده روی ساختن پایپ‌لاین برای داده کار می‌کند. در ادامه نمونه‌ای از این پایپ‌لاین‌ها را مشاهده می‌کنید.

 

[ممد صنوبر]

در تصویر بالا نمونه‌ی ساده شده‌ای از pipeline داده را می‌بینید. در این pipeline، داده از منابع مختلف می‌آید، وارد دریاچه داده می‌شود، مدل‌داده یکپارچه ایجاد می‌شود، داده‌های تکراری حذف می‌شوند، یک بار دیگر مدل‌داده یکپارچه ایجاد می‌شود و در آخر وارد پایگاه داده محصول می‌شود.

داده می‌تواند از منابع مختلفی آمده باشد:

• ابزارهای اینترنت اشیا
• تله‌متری خودروها (telemetry)
• داده‌های مربوط به املاک
• فعالیت کاربران در یک اپلیکیشن وب
• هر ابزار اندازه‌گیری دیگری که فکرش را کنید

براساس ماهیت این منابع، داده‌های ورودی در جریان‌های بلادرنگ (real-time stream) یا در دسته‌های یکسانی پردازش می‌شوند.

 

[ممد صنوبر]

مهندس داده چه وظایفی برعهده دارد؟​

مسئولیت اصلی مهندس داده به طور خلاصه این است که به نیازهای داده‌ای مشتری پاسخ دهد. اما چندین رویکرد برای انجام این کار وجود دارد که در ادامه با آنها آشنا می‌شویم.

 

[ممد صنوبر]

جریان داده (Data Flow)​

برای انجام هر کاری با داده در یک سیستم، باید اول اطمینان حاصل کنیم که داده، به طور قابل اعتمادی به سیستم وارد می‌شود و حرکت می‌کند. ورودی‌ها می‌توانند هرچیزی، از جمله داده‌های JSON یا XML، آپدیت‌هایی به صورت ویدئو، تصورهای برچسب‌دار، داده‌های مربوط به آزمایش‌های پزشکی، یا سنسورهای دما باشند.

مهندس داده مسئولیت دارد، سیستمی طراحی کند که این داده‌ها به عنوان ورودی از منابع مختلف وارد شوند، تغییرات لازم روی آنها انجام شود و سپس ذخیره شوند. به چنین سیستمی معمولا پایپ‌لاین ETL می‌گویند که مخفف استخراج (Extract)، تبدیل(Transform) و بارگذاری (Load) است.

جریان داده معمولا در همان بخش اول، یعنی مرحله استخراج اتفاق می‌افتد. اما کار مهندس داده فقط این نیست که داده را وارد پایپ‌لاین کند. بلکه لازم است اطمینان پیدا کند که پایپ‌لاین به اندازه ‌کافی پایدار است که در مواجه با دیتاهای ناهنجار، هنگام آفلاین شدن منابع و باگ‌های بحرانی، همچنان سرپا می‌ماند. زمان به کار (Uptime) بسیار مهم است، به خصوص وقتی که با داده حساس به زمان سروکار داشته باشید.