چطور معماری Medallion با لایههای Bronze، Silver و Gold دادهٔ خام را به ارزش تبدیل میکند؟
اگر با دیتابیس، انبار داده یا سیستمهای تجزیه و تحلیل کار کرده باشی، احتمالاً اسم «معماری مدالین» (Medallion Architecture) یا همان معماری سهلایهٔ «Bronze – Silver – Gold» را شنیدهای.این معماری یکی از استانداردهای مدرن دنیای داده است و تقریباً در تمام پلتفرمهای مطرح مثل Oracle ADW، Databricks، Snowflake و…
تفاوت ETL و ELT در معماری داده مدرن: کدام روش سریعتر و کاراتر است؟
سالها مدل ETL (استخراج–تبدیل–بارگذاری) قلب معماری داده در سازمانها بود. هر دادهای که از ERP، فایلهای CSV یا سیستمهای CRM میآمد، ابتدا در سرورهای میانی پردازش میشد و بعد وارد انباره داده میگردید.اما با تحول معماریهای ابری مثل Snowflake، BigQuery و Azure Synapse، رویکرد جدیدی زاده شد: ELT.در این مقاله آموزش Data Engineering، بهصورت…
Lakehouse چیست و چرا معماری آیندهٔ مهندسی داده روی آن بنا شده؟
سالها بود مهندسین داده میان دو انتخاب گیر کرده بودند:Data Warehouse برای تحلیلهای دقیق، و Data Lake برای دادههای حجیم و خام.اما هر دو جدا از هم عمل میکردند، و همین جدایی تولید دادهی تکراری، ETLهای سنگین، و هزینههای زیاد نگهداری را رقم میزد.نتیجه؟ ظهور معماری جدیدی به نام Lakehouse بهعنوان پلی…
آشنایی با دستورات پایه لینوکس برای مهندسان داده
مقدمه آیا تازه وارد دنیای لینوکس شدید و دنبال یادگیری سریع و ساده دستورات کاربردی لینوکس هستید؟ یا شاید مدتیه با لینوکس کار میکنید و میخواید یه مرور کلی و منظم داشته باشید؟در این مقاله آموزش مهندسی داده قصد داریم بهصورت کامل و با زبانی ساده، دستورات پرکاربرد لینوکس رو…
راهنمای جامع داکر: نحوه استفاده از Docker برای توسعه سریعتر برنامهها
مقدمه امروزه ابزارهای مختلفی برای سادهسازی فرآیندهای توسعه نرمافزار در دسترس هستند که یکی از مهمترین این ابزارها داکر است.داکر به شما این امکان را میدهد که برنامهها را در محیطهای ایزوله اجرا کنید و به این ترتیب به راحتی میتوانید اپلیکیشنها و سرویسها را در هر محیطی که بخواهید،…
درک عمیق Apache Hadoop؛ از صفر تا صد
مقدمه آیا آمادهاید تا با Apache Hadoop و دنیای Big Data آشنا شوید؟در این مقاله مهندسی داده (Data Engineering)، خیلی ساده. و روان، هر آنچه برای یادگیری و راهاندازی Hadoop نیاز دارید را توضیح میدهیم. در این نوشته شما می خوانید چرا Apache Hadoop؟ مقیاسپذیری بالا: با افزودن سرورهای Commodity…