BIG DATA / BI / SAP BW

عناوین یادداشت‌ها

  • نگاهی اجمالی به برنامه نویسی ABAP در SAP دوشنبه 4 بهمن 1400 13:00
  • تنظیمات layout برای SAP سه‌شنبه 28 دی 1400 08:52
    * برای تنظیم layout مناسب برای SAP کافیست که ابتدا با Alt+F12 فرم زیر را فراخوانی نموده و Option را انتخاب کنید. در ادامه ابتدا SAP Signature Theme را انتخاب، در ادامه تیک فیوری را برداشته و Apply کنید. برای اثر کردن این تغییرات خروج و ورود به سیستم لازم است.
  • SAP Data Extract شنبه 1 آبان 1400 14:25
  • خطاهای مشاهده شده در SAP BW و روش رفع آنها جمعه 5 شهریور 1400 11:22
  • راه اندازی SAP BW و بقیه چیزها جمعه 29 مرداد 1400 11:11
  • مطالب اساسی در kafka - راه اندازی Realtime Data Pipeline سه‌شنبه 26 مرداد 1400 17:03
    جلسه یازدهم: 1400/05/19 سناریوی اصلی 1- اتصال به دیتابیس مبدا از طریق Source Connector 2- شناسایی تغییرات داده در دیتابیس مبدا و ارسال به Kafka Broker 3- نگهداری موقت داده در Kafka (استفاده از سرویس Schema Registry برای کنترل ساختار) 4 - درصورت نیاز پردازش و اعمال تغییرات 5- انتقال داده ها به دیتابیس مقصد از طریق Sink...
  • مفاهیم، نصب و راه اندازی kafka جمعه 22 مرداد 1400 22:47
    جلسه دهم: 1400/05/19 چنداصطلاح در kafka: - broker: سروری که kafka برروی آن نصب است - producer: کسی که پیام را تولید و به kafka ارسال می کند - consumer: کسی که پیام ها را از kafka دریافت و مصرف می کند روش انجام کار: زمانی که producer پیام را ارسال می کند، broker آن را در فضای logical بنام topic قرار می دهد (مثل table...
  • ادامه Nifi، توزیع شوندگی zookeeper و شروع کار با Kafka سه‌شنبه 19 مرداد 1400 09:47
    جلسه نهم: 1400/05/17 چند دستور لینوکسی - با دستور tail سیستم انتهای فایل را نمایش داده و افزودن پارامتر f به معنی follow بوده و درصورتیکه به فایل مذکور اضافه شد، آخرین مقادیر انتهایی فایل را نیز نمایش خواهد داد. برای آزمایش tail -f /opt/nifi/logs/nifi-app.log - دستور ll فهرستی از فایل های موجود شامل زیر شاخه ها را...
  • تکمیل Sqoop و شروع کار با nifi دوشنبه 18 مرداد 1400 17:01
    جلسه هشتم: 1400/05/12 چند دستور لینوکسی - شکستن اطلاعات (انتقال اطلاعات از بانک اطلاعاتی به hdfs) - روال Sqoop در هنگام استفاده از split-by و مبنا قراردادن یک فیلد برای انتقال اطلاعات به هادوپ، به این گونه است که min و max فیلد مورد نظر را شناسایی و سپس آن را به شکل پیش فرض 4 تکه می کند. حال درصورتیکه پراکندگی...
  • کم و زیاد کردن نود در هادوپ و RACK AWARENESS بودن و HA ؛ آشنایی با SQOOP دوشنبه 11 مرداد 1400 09:27
    جلسه هفتم: 1400/05/10 چند دستور لینوکسی: - Rack Awareness چیست؟ برای بالابردن تحمل خرابی لازم است تا داده ها را میان نودهای مختلف تقسیم کنیم. بطور مثال بافرض replication=3 و در اختیار داشتن 3 رک خوب است که 3 نود حاوی داده ها برروی 3 رک مختلف قرار گیرد. مشکلی که در این بین به وجود می آید کاهش کارایی بخاطر ارتباط کند...
  • تفکر MapReduce، کمی کار با Spark پنج‌شنبه 7 مرداد 1400 15:42
    جلسه ششم: 1400/05/05 چند دستور لینوکسی: - با دستور History، تاریخچه اجرای دستورات در سیستم عامل نمایش داده می شود. Application Master درخواست اجرای Job برای Resource Manager (اینجا YARN) ارسال می شود. Resource Manager به ازای هر Job یک Application Master ریجیستر می کند. این Application Master روی یکی از DN ها تشکیل...
  • HADOOP، فضای ذخیره سازی، امنیت، شروع کار با YARN دوشنبه 4 مرداد 1400 12:52
    جلسه پنجم: 1400/05/03 چند دستور لینوکسی: - دستور ssh node-x باعث می شود که از روی سرور جاری به سرور جدید بروید - با دستور logout به سرور لاگین شده ی اولیه بازمی گردید فضای ذخیره سازی: دیسکهای ذخیره سازی براساس پارامترهایی مانند سرعت، قابلیت اطمینان و ..... قیمت های مختلفی دارند؛ با این توجه خوب است که اطلاعاتی که به...
  • تنظیمات بیشتر برروی HADOOP و چندین مفهوم جمعه 1 مرداد 1400 16:00
    جلسه چهارم: 1400/04/29 چند دستور لینوکسی: - دستور زیر، سرویس های جاوایی که در سیستم عامل استارت هستند را نمایش می دهد - reboot باعث ریست شدن سیستم عامل می شود jps *مثلا اگر start-dfs.sh را اجرا کرده باشیم، برروی سرور namenode سرویس های NameNode و SecondaryNameNode استارت خواهد بود و برروی سایر نودها سرویس DataNode...
  • راه اندازیHADOOP دوشنبه 28 تیر 1400 14:43
    جلسه سوم: 1400/04/27 چند نکته: - منظور از At Scale همان Large Scale است. - در بانک های اطلاعاتی، معمولا دیتا در قالب Data Block های 8 کیلوبایتی نگهداری می شوند. در DWH ها با هدف کاهش تعداد دفعات مراجعه به دیسک سایز Data Block ها را بیشتر درنظر می گیرند تا در یک نوبت خواندن اطلاعات، حجم بیشتری از داده در حافظه منتقل...
  • راه اندازی محیط کار (سیستم عامل ها) شنبه 26 تیر 1400 09:26
    جلسه دوم: 1400/04/22 HDFS: Hadoop Distributed File System چند دستور در لینوکس - su - root: سویچ کردن ز کاربر جاری به لاگین root در این دستور - nmtui: برای انجام تنظیمات شبکه - systemctl: برای انجام امور سرویس ها؛ مانند استاپ و استارت کردن سرویس شبکه systemctl stop network systemctl start network - cat /etc/hosts: برای...
  • Applied Big Data Fundamentals چهارشنبه 23 تیر 1400 08:45
    عنوان دوره: Big Data ؛ مقدماتی استاد: مهندس احمدخانی طول دوره: 14 جلسه 3 ساعته جلسه اول: داده؛ از آغاز تا پایان / تاریخ 1400/04/20 اکوسیستم داده در سیستم های اطلاعاتی شامل گام های زیر است: 1- Data Ingestion (تزریق یا ورود داده) این همان مرحله ورود اطلاعات به سیستم است به هر طریق ممکن. ورود اطلاعات می تواند از طریق...
  • یک راه برای اجرای Package های SSIS یکشنبه 11 بهمن 1394 11:55
    آیا برای اجرای Package های SSIS لازم است تا SQL Server Data Tools را روی کامپیوتر مقصد نصب کنیم ؟ آیا راهی وجود دارد که از طریق امکانات موجود SQL Server کار را انجام داد ؟ یک راه: کافی است تا در JOB های SQL یک JOB از نوع SQL Server Integration Services Package ایجاد کنید و Package source آن را از نوع File System...
  • ایجاد بعد تاریخ فارسی در Data Warehouse - DimDate - ویرایش دوم شنبه 10 بهمن 1394 13:56
    در لینک زیر تولید جدول DimDate بهبود یافته است DimDate
  • چگونه امکان استفاده از profile بانک اطلاعاتی MS SQL Server را برای کاربری که نقش sysadmin ندارد فراهم کنیم ؟ سه‌شنبه 17 آذر 1394 13:17
    کافی است تا از دستور زیر استفاده کنید: Use Master; go GRANT ALTER TRACE TO [loginname];
  • احیای بانک اطلاعاتی suspect شده در sql server سه‌شنبه 3 آذر 1394 13:22
    --1) EXEC sp_resetstatus 'testdb'; --2) ALTER DATABASE testdb SET EMERGENCY; --3) DBCC checkdb('testdb'); --4) ALTER DATABASE testdb SET SINGLE_USER WITH ROLLBACK IMMEDIATE; --5) DBCC CheckDB ('testdb', REPAIR_ALLOW_DATA_LOSS); --6) ALTER DATABASE testdb SET MULTI_USER; --7) DBCC checkdb('testdb');
  • تبدیل بانک اطلاعاتی از SQL Server به Oracle دوشنبه 19 مرداد 1394 13:53
    براساس نیاز پروژه ای قصد تبدیل بانک اطلاعاتی از MS SQL Server 2014 به ORACLE 12c را دارم. تجارت کسب شده خودم را در این ارتباط با شما به اشتراک می گذارم. یک نکته راه اندازی اوراکل روی ویندوز: - اولین مشکلی که در نصب اوراکل به آن برخورد کردم، آن بود که در 59% از نصب متوقف می شد و فایلی با عنوان dr0ulib.sql.sbs را پیدا...
  • کار با حجم اطلاعات زیاد شنبه 3 مرداد 1394 09:28
    چقدر با اطلاعات با حجم زیاد سروکار داشته اید؟ راستی به چه حجمی از اطلاعات خیلی زیاد گفته می شود؟ از چه تکنیکی برای افزایش کارایی Query ها در اطلاعات با حجم زیاد بهره می برید؟ از چه مدل ایندکسی برای مرتب سازی اینگونه جداول استفاده می کنید ؟ آیا تاکنون از نوع ایندکس ColumnStore Index استفاده کرده اید؟ حتما مزایایی آن را...
  • غیبت کبری دوشنبه 21 اردیبهشت 1394 13:50
    سلام دوستان متاسفانه غیبتم طولانی شد! اما مطالبی آمده کرده ام که در اسرع وقت در سایت قرار می دهم. موفق باشید
  • آخر ساله، سرم شلوغه ! سه‌شنبه 19 اسفند 1393 18:10
    دوستان عزیز آخرساله و سرم خیلی شلوغه، در 3، 4 هفته اخیر چیزهایی خوبی در زمینه BI یادگرفتم که امیدوارم فرصت بشه تا آخر هفته آینده برای استفاده شما در وبلاگ بگذارم. موفق باشید
  • روش­هایی برای بهبود کارایی Processing و Query در BI ها یکشنبه 12 بهمن 1393 08:39
    بهبود کارایی در BI ها به روش های مختلف قابل انجام است. در ادامه به تعدادی از این روش ها اشاره شده است. · Dimension 1. Dimension های اضافی باعث افزایش حجم Cube و کاهش سرعت پرس وجوها می­شود. 2. مانند مورد فوق، Attribute های اضافی نیز باعث افزایش حجم Cube و کاهش سرعت پرس وجوها می­شود 3. انتخاب کلید مناسب برای Dimension :...
  • Dictinct Count و استفاده از آن سه‌شنبه 7 بهمن 1393 14:47
    گاهی مواقع بجای استفاده از Count معمولی ناچار هستید تا از Distinct Count استفاده کنید. متاسفانه ماهیت این تابع همانند سایر توابع sum، count و ... نیست. هنگام استفاده از این تابع Analyse Service باید در همان موقع محاسبات مربوطه به آن را انجام دهد و این یعنی افت چشمگیر سرعت ! اینکه چطور می توان سرعت را هنگامی که ناچار...
  • "Errors in the OLAP storage engine: The sort order specified for distinct count records is incorrect" شنبه 4 بهمن 1393 18:54
    اگر یک measure از نوع count distinct تعریف کردید و در هنگام deploy با پیغام زیر مواجه شدید کافی است تا به ترتیب زیر عمل کنید: "Errors in the OLAP storage engine: The sort order specified for distinct count records is incorrect" از داخل محیط SQL Server Management Studio به Analysis Services متصل شوید روی نام...
  • محدود کردن دسترسی به بانک اطلاعاتی به سرور مشخص شنبه 4 بهمن 1393 11:48
    اگر در MS SQL Server به دنبال محدود کردن دسترسی به بانک اطلاعاتی و مثلا اجرای یک Stored Procedure فقط زمانی که فراخوانی آن از روی سرور خاصی انجام شود هستید؛ کافی است تا در ابتدای Stored Procedure مذکور کنترل زیر را انجام دهید. if host_name() = 'CallerServerName' ..... else return
  • یک نکته در مورد Referenced Relationship در Dimension Usage و گم شدن رکوردهای اطلاعاتی ! جمعه 3 بهمن 1393 19:20
    در رابطه ی Referenced Relationship یک Dimension واسط ارتباط بین جدول Fact و Dim اصلی مورد نظر شما می شود. مثلا حالتی را در نظر بگیرید که : ================= مفروضات: ----------- - جدول FACT شما فروش است، یک فیلد فروشنده دارد - جدول فروشنده، Dimension شما است، در این جدول یک فیلد موقعیت جغرافیایی فروشنده وجود دارد که...
  • عدد منفی در خروجی MDX پنج‌شنبه 2 بهمن 1393 21:11
    زمانی که مقادیر خروجی در اجرای دستور MDX اعداد بزرگ باشند، خروجی به اشتباه عدد منفی باز می گرد.، در نگاه اول تصور می کنید که با تغییر نوع فیلد در بانک Data Warehouse خود مثلا از Int به BigInt می توانید مشکل را حل کنید، که البته این راه حل نیست. راه حل رفع این مشکل آن است که در بخش Cube Structure رفته، فیلد اطلاعاتی...