احمدرضا صمدی / خانهمطالعه موردی
Oxfam Novib: زیرساخت داده برای CRM و تحلیل
مهندسی داده با Azure برای مهاجرت، حاکمیت داده و فرایندهای گزارش‌گیری.
مسئله عملیاتی
محیط CRM و تحلیل داده Oxfam Novib به فرایندهایی برای مهاجرت داده از چند منبع، از جمله SAP و Salesforce، نیاز داشت؛ فرایندهایی که نیازهای گزارش‌گیری و حاکمیت داده را نیز پوشش دهند.
نقش من
خطوط پردازش مبتنی بر Azure را با Databricks، Data Factory، SQL، Key Vault و Azure DevOps طراحی و پیاده‌سازی کردم. این کار شامل استخراج و تبدیل داده از چند منبع، سازمان‌دهی داده و مستندسازی فرایندهای محیط توسعه و عملیاتی بود.
تصمیم‌های معماری
معماری داده برنزی، نقره‌ای و طلایی را پیاده‌سازی کردم تا مراحل آماده‌سازی داده از هم جدا شوند و تحلیل‌های پایین‌دستی و مدیریت کمپین پشتیبانی شوند. همچنین منطق ناشناس‌سازی و نگهداری داده‌های حساس را توسعه دادم و فرایندهای عملیاتی را برای نگهداری و تحویل کار مستند کردم.
تفکیک مراحل آماده‌سازی داده
لایه‌های برنزی، نقره‌ای و طلایی برای ورود داده، تبدیل آن و استفاده پایین‌دستی جایگاه‌های جداگانه‌ای در فرایند داده فراهم کردند. این تفکیک، توضیح و مستندسازی ساختار خطوط پردازش را هنگام توسعه و تحویل کار آسان‌تر کرد.
حاکمیت داده بخشی از پیاده‌سازی بود: منطق ناشناس‌سازی و نگهداری، در کنار کد خطوط پردازش و مستندات عملیاتی، نحوه کار با داده‌های حساس را پوشش می‌داد.
آنچه این کار ممکن کرد
زیرساخت تحویل‌شده از مهاجرت CRM پشتیبانی کرد و داده‌ها را برای گزارش‌گیری و تحلیل آماده ساخت. این پروژه پیاده‌سازی خطوط پردازش را با فرایندهای حاکمیت داده و مستندات عملیاتی ترکیب کرد تا پایه‌ای فراهم شود که پس از توسعه اولیه نیز قابل نگهداری باشد.