-
تکمیل Sqoop و شروع کار با nifi
دوشنبه 18 مرداد 1400 17:01
جلسه هشتم: 1400/05/12 چند دستور لینوکسی - شکستن اطلاعات (انتقال اطلاعات از بانک اطلاعاتی به hdfs) - روال Sqoop در هنگام استفاده از split-by و مبنا قراردادن یک فیلد برای انتقال اطلاعات به هادوپ، به این گونه است که min و max فیلد مورد نظر را شناسایی و سپس آن را به شکل پیش فرض 4 تکه می کند. حال درصورتیکه پراکندگی...
-
کم و زیاد کردن نود در هادوپ و RACK AWARENESS بودن و HA ؛ آشنایی با SQOOP
دوشنبه 11 مرداد 1400 09:27
جلسه هفتم: 1400/05/10 چند دستور لینوکسی: - Rack Awareness چیست؟ برای بالابردن تحمل خرابی لازم است تا داده ها را میان نودهای مختلف تقسیم کنیم. بطور مثال بافرض replication=3 و در اختیار داشتن 3 رک خوب است که 3 نود حاوی داده ها برروی 3 رک مختلف قرار گیرد. مشکلی که در این بین به وجود می آید کاهش کارایی بخاطر ارتباط کند...
-
تفکر MapReduce، کمی کار با Spark
پنجشنبه 7 مرداد 1400 15:42
جلسه ششم: 1400/05/05 چند دستور لینوکسی: - با دستور History، تاریخچه اجرای دستورات در سیستم عامل نمایش داده می شود. Application Master درخواست اجرای Job برای Resource Manager (اینجا YARN) ارسال می شود. Resource Manager به ازای هر Job یک Application Master ریجیستر می کند. این Application Master روی یکی از DN ها تشکیل...
-
HADOOP، فضای ذخیره سازی، امنیت، شروع کار با YARN
دوشنبه 4 مرداد 1400 12:52
جلسه پنجم: 1400/05/03 چند دستور لینوکسی: - دستور ssh node-x باعث می شود که از روی سرور جاری به سرور جدید بروید - با دستور logout به سرور لاگین شده ی اولیه بازمی گردید فضای ذخیره سازی: دیسکهای ذخیره سازی براساس پارامترهایی مانند سرعت، قابلیت اطمینان و ..... قیمت های مختلفی دارند؛ با این توجه خوب است که اطلاعاتی که به...
-
تنظیمات بیشتر برروی HADOOP و چندین مفهوم
جمعه 1 مرداد 1400 16:00
جلسه چهارم: 1400/04/29 چند دستور لینوکسی: - دستور زیر، سرویس های جاوایی که در سیستم عامل استارت هستند را نمایش می دهد - reboot باعث ریست شدن سیستم عامل می شود jps *مثلا اگر start-dfs.sh را اجرا کرده باشیم، برروی سرور namenode سرویس های NameNode و SecondaryNameNode استارت خواهد بود و برروی سایر نودها سرویس DataNode...
-
راه اندازیHADOOP
دوشنبه 28 تیر 1400 14:43
جلسه سوم: 1400/04/27 چند نکته: - منظور از At Scale همان Large Scale است. - در بانک های اطلاعاتی، معمولا دیتا در قالب Data Block های 8 کیلوبایتی نگهداری می شوند. در DWH ها با هدف کاهش تعداد دفعات مراجعه به دیسک سایز Data Block ها را بیشتر درنظر می گیرند تا در یک نوبت خواندن اطلاعات، حجم بیشتری از داده در حافظه منتقل...
-
راه اندازی محیط کار (سیستم عامل ها)
شنبه 26 تیر 1400 09:26
جلسه دوم: 1400/04/22 HDFS: Hadoop Distributed File System چند دستور در لینوکس - su - root: سویچ کردن ز کاربر جاری به لاگین root در این دستور - nmtui: برای انجام تنظیمات شبکه - systemctl: برای انجام امور سرویس ها؛ مانند استاپ و استارت کردن سرویس شبکه systemctl stop network systemctl start network - cat /etc/hosts: برای...
-
Applied Big Data Fundamentals
چهارشنبه 23 تیر 1400 08:45
عنوان دوره: Big Data ؛ مقدماتی استاد: مهندس احمدخانی طول دوره: 14 جلسه 3 ساعته جلسه اول: داده؛ از آغاز تا پایان / تاریخ 1400/04/20 اکوسیستم داده در سیستم های اطلاعاتی شامل گام های زیر است: 1- Data Ingestion (تزریق یا ورود داده) این همان مرحله ورود اطلاعات به سیستم است به هر طریق ممکن. ورود اطلاعات می تواند از طریق...
-
یک راه برای اجرای Package های SSIS
یکشنبه 11 بهمن 1394 11:55
آیا برای اجرای Package های SSIS لازم است تا SQL Server Data Tools را روی کامپیوتر مقصد نصب کنیم ؟ آیا راهی وجود دارد که از طریق امکانات موجود SQL Server کار را انجام داد ؟ یک راه: کافی است تا در JOB های SQL یک JOB از نوع SQL Server Integration Services Package ایجاد کنید و Package source آن را از نوع File System...
-
ایجاد بعد تاریخ فارسی در Data Warehouse - DimDate - ویرایش دوم
شنبه 10 بهمن 1394 13:56
در لینک زیر تولید جدول DimDate بهبود یافته است DimDate
-
چگونه امکان استفاده از profile بانک اطلاعاتی MS SQL Server را برای کاربری که نقش sysadmin ندارد فراهم کنیم ؟
سهشنبه 17 آذر 1394 13:17
کافی است تا از دستور زیر استفاده کنید: Use Master; go GRANT ALTER TRACE TO [loginname];
-
احیای بانک اطلاعاتی suspect شده در sql server
سهشنبه 3 آذر 1394 13:22
--1) EXEC sp_resetstatus 'testdb'; --2) ALTER DATABASE testdb SET EMERGENCY; --3) DBCC checkdb('testdb'); --4) ALTER DATABASE testdb SET SINGLE_USER WITH ROLLBACK IMMEDIATE; --5) DBCC CheckDB ('testdb', REPAIR_ALLOW_DATA_LOSS); --6) ALTER DATABASE testdb SET MULTI_USER; --7) DBCC checkdb('testdb');
-
تبدیل بانک اطلاعاتی از SQL Server به Oracle
دوشنبه 19 مرداد 1394 13:53
براساس نیاز پروژه ای قصد تبدیل بانک اطلاعاتی از MS SQL Server 2014 به ORACLE 12c را دارم. تجارت کسب شده خودم را در این ارتباط با شما به اشتراک می گذارم. یک نکته راه اندازی اوراکل روی ویندوز: - اولین مشکلی که در نصب اوراکل به آن برخورد کردم، آن بود که در 59% از نصب متوقف می شد و فایلی با عنوان dr0ulib.sql.sbs را پیدا...
-
کار با حجم اطلاعات زیاد
شنبه 3 مرداد 1394 09:28
چقدر با اطلاعات با حجم زیاد سروکار داشته اید؟ راستی به چه حجمی از اطلاعات خیلی زیاد گفته می شود؟ از چه تکنیکی برای افزایش کارایی Query ها در اطلاعات با حجم زیاد بهره می برید؟ از چه مدل ایندکسی برای مرتب سازی اینگونه جداول استفاده می کنید ؟ آیا تاکنون از نوع ایندکس ColumnStore Index استفاده کرده اید؟ حتما مزایایی آن را...
-
غیبت کبری
دوشنبه 21 اردیبهشت 1394 13:50
سلام دوستان متاسفانه غیبتم طولانی شد! اما مطالبی آمده کرده ام که در اسرع وقت در سایت قرار می دهم. موفق باشید
-
آخر ساله، سرم شلوغه !
سهشنبه 19 اسفند 1393 18:10
دوستان عزیز آخرساله و سرم خیلی شلوغه، در 3، 4 هفته اخیر چیزهایی خوبی در زمینه BI یادگرفتم که امیدوارم فرصت بشه تا آخر هفته آینده برای استفاده شما در وبلاگ بگذارم. موفق باشید
-
روشهایی برای بهبود کارایی Processing و Query در BI ها
یکشنبه 12 بهمن 1393 08:39
بهبود کارایی در BI ها به روش های مختلف قابل انجام است. در ادامه به تعدادی از این روش ها اشاره شده است. · Dimension 1. Dimension های اضافی باعث افزایش حجم Cube و کاهش سرعت پرس وجوها میشود. 2. مانند مورد فوق، Attribute های اضافی نیز باعث افزایش حجم Cube و کاهش سرعت پرس وجوها میشود 3. انتخاب کلید مناسب برای Dimension :...
-
Dictinct Count و استفاده از آن
سهشنبه 7 بهمن 1393 14:47
گاهی مواقع بجای استفاده از Count معمولی ناچار هستید تا از Distinct Count استفاده کنید. متاسفانه ماهیت این تابع همانند سایر توابع sum، count و ... نیست. هنگام استفاده از این تابع Analyse Service باید در همان موقع محاسبات مربوطه به آن را انجام دهد و این یعنی افت چشمگیر سرعت ! اینکه چطور می توان سرعت را هنگامی که ناچار...
-
"Errors in the OLAP storage engine: The sort order specified for distinct count records is incorrect"
شنبه 4 بهمن 1393 18:54
اگر یک measure از نوع count distinct تعریف کردید و در هنگام deploy با پیغام زیر مواجه شدید کافی است تا به ترتیب زیر عمل کنید: "Errors in the OLAP storage engine: The sort order specified for distinct count records is incorrect" از داخل محیط SQL Server Management Studio به Analysis Services متصل شوید روی نام...
-
محدود کردن دسترسی به بانک اطلاعاتی به سرور مشخص
شنبه 4 بهمن 1393 11:48
اگر در MS SQL Server به دنبال محدود کردن دسترسی به بانک اطلاعاتی و مثلا اجرای یک Stored Procedure فقط زمانی که فراخوانی آن از روی سرور خاصی انجام شود هستید؛ کافی است تا در ابتدای Stored Procedure مذکور کنترل زیر را انجام دهید. if host_name() = 'CallerServerName' ..... else return
-
یک نکته در مورد Referenced Relationship در Dimension Usage و گم شدن رکوردهای اطلاعاتی !
جمعه 3 بهمن 1393 19:20
در رابطه ی Referenced Relationship یک Dimension واسط ارتباط بین جدول Fact و Dim اصلی مورد نظر شما می شود. مثلا حالتی را در نظر بگیرید که : ================= مفروضات: ----------- - جدول FACT شما فروش است، یک فیلد فروشنده دارد - جدول فروشنده، Dimension شما است، در این جدول یک فیلد موقعیت جغرافیایی فروشنده وجود دارد که...
-
عدد منفی در خروجی MDX
پنجشنبه 2 بهمن 1393 21:11
زمانی که مقادیر خروجی در اجرای دستور MDX اعداد بزرگ باشند، خروجی به اشتباه عدد منفی باز می گرد.، در نگاه اول تصور می کنید که با تغییر نوع فیلد در بانک Data Warehouse خود مثلا از Int به BigInt می توانید مشکل را حل کنید، که البته این راه حل نیست. راه حل رفع این مشکل آن است که در بخش Cube Structure رفته، فیلد اطلاعاتی...
-
MDX و Column Alias
پنجشنبه 25 دی 1393 14:54
آنچنان که در TSQL از Alias می توان برای نام گذاری ستون ها استفاده کرد این امکان در MDX وجود ندارد. برای شبیه سازی آن می توانید به یکی از دو روش زیر عمل کنید: 1- در صورتیکه عبارت MDX تان را از داخل SSAS اجرا می کنید: with member [measures].[new name] as [measures].[old name] select {[measures].[new name]} ON COLUMNS,...
-
آیا SQL Server Agent در حال اجراست ؟
پنجشنبه 25 دی 1393 06:37
اگر قصد استفاده از امکان CDC (شناسایی تغییرات محتوای جداول) از سیستم تراکنشی خود (OLTP) و انتقال تغییرات به Data Warehouse خود را داشته باشید، باید از اجرا بودن سرویس SQL Agent به عنوان پیش نیاز آن مطمئن باشد که در غیر اینصورت زحمات شما در انتقال تغییرات به هدر خواهد رفت. به این منظور کافی است تا از دستورات زیر...
-
برای شناسایی وابستگی یک عنصر از بانک اطلاعاتی به سایر عناصر چکار باید کرد؟
دوشنبه 22 دی 1393 13:07
- اگر تنها وابستگی سطح اول برایتان مهم است از دستور زیر استفاده نمایید. کافی است تا بجای 'YourObjectWithOwner' مقدار عنصر اطلاعاتی خود را قرار دهید. خروجی این دستور تمامی عناصر وابسته (به همراه ستون های اطلاعاتی) را نمایش می دهد. Select OBJECT_NAME ( referenced_major_id ) AS referenced_entities , OBJECT_NAME (...
-
جلسه بیست و دوم – 15/10/93 داده کاوی DQL
شنبه 20 دی 1393 15:59
جلسه بیست و دوم –15/10/93 Data Mining – داده کاوی معمولا روش استفاده از الگوهای بدست آمده در فرایند داده کاوی به این ترتیب است که یکسری Model Content برای مجموعه مسائل آماده می شود. این آماده سازی معمولا در یک برنامه شبانه انجام می شود. بنابراین در هنگام نیاز به ا نجام پیش بینی براساس الگوهای استخراج شده صرفا کافی است...
-
چگونه بدون داشتن نقش sysadmin برنامه SQL Profiler را اجرا کنم ؟
چهارشنبه 17 دی 1393 09:12
اگر می خواهید کاربر SQL Server شما (معمولا برنامه نویس ها) ، ضمن آنکه دسترسی محدودی دارند بتوانند از امکانات SQL Profiler استفاده کنند از دستور زیر استفاده بفرمایید: grant alter trace to username
-
فایل مثالهای کلاسی - BI
سهشنبه 16 دی 1393 13:16
در لینک های زیر امکان دانلود فایل های کلاس BI برای شما مقدور است: مثال های SSIS: http://www.4shared.com/rar/8w_ccKUXce/Integration_Services_Project-9.html مثال های Multi Dimensional http://www.4shared.com/rar/JJdLejhcba/MultidimensionalProject-930709.html مثال های Tablular Model...
-
جلسه بیست و یکم –10/10/93 Data Mining – داده کاوی
دوشنبه 15 دی 1393 15:24
جلسه بیست و یکم –10/10/93 Data Mining – داده کاوی مراحل پیاده سازی ساختار و مدل داده کاوی در SSDT (این کار با استفاده از زبان DMX هم مقدور است) انتخاب ساختار منبع داده برای ساخت ساختار داده کاوی ( Relational ، Multi Dimensional ) انتخاب الگوریتم مورد نظر جهت ساخت اولین مدل داده کاوی (انتخاب از میان 9 الگوریتم) معمولا...
-
جلسه بیستم – 08/10/93 اصول داده کاوی
پنجشنبه 11 دی 1393 12:53
Data Mining – داده کاوی Data mining is the computational process of discovering patterns in large data sets involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems. چند نکته: · داده کاوی به دنبال الگوهای تکرار شونده است. · برخی الگوها پنهان هستند. · کشف...