نگاهی بر معماری Oracle GoldenGate - قسمت دوم

بعد از اینکه با معماری اوراکل خوب آشنا شدید و شناخت این موضوع که اوراکل گلدن‌گیت کجای سازمان ما میتونه باشه و چه راه‌کارهایی رو میتونه به ما ارائه بده به معماری خود گلدن‌گیت می‌رسیم. در کل همین اول کار بهتره بدونید گلدن‌گیت عملاً از یکسری سرویس تشکیل شده یعنی اینکه اگه فکر می‌کنید اپلیکیشن گرافیکی هستش و دیتابیسی پشتش قرار می‌گیره نه این اتفاق در گلدن‌گیت صورت نمی‌گیره.

گلدن‌گیت در اصل یکسری سرویسه اینکه من تو پست‌های قبلی همش تاکید می‌کردم ما CDC داریم این سرویس‌ها هستن که اینکار رو انجام میدن و تغییرات رو میفهمن و تو شبکه جا به جا میکنن و در نهایت اعمال می‌کنن یا باز همین سرویسها هستن که منتظر تغییرات می‌مونن و به محض دریافت اونها رو اعمال میکنن و خودشون رو SYNC نگه میدارن درکل ما با یکسری سرویس سر و کار داریم و تمام فعالیت‌های ما هم روی همین سرویسهاست حالا این سرویسها هر کدوم برای خودشون آرگومانهایی دارند که ما Config Fileهای موجود آرگومانهای مختلفی رو براشون در نظر می‌گیریم و در نهایت این کانفیگ‌ها هستن که شما با اونها بسیار کار دارید.

سناریوهای قابل پیاده‌سازی در گلدن‌گیت

- DB: database
- EDW: Enterprise Data Warehouse
- ETL: Extract, Transform, and Load
- HW: Hardware (Intel 32-bit, Intel 64-bit, SPARC, and so on)
- ODS: Operational Data Store
- OLTP: Online Transaction Processing
- OS: operating system (Linux, Windows, and so on)

نگاهی بر معماری Oracle GoldenGate - قسمت اول

معماری اوراکل

خیلی مهمه برای درک معماری گلدن گیت معماری اوراکل رو خوب بلد باشیم، برای مطالعه معماری اوراکل 11g می‌تونید از لینک‌های زیر استفاده کنید

نگاهی بر معماری Oracle Database 11g - قسمت اول

نگاهی بر معماری Oracle Database 11g - قسمت دوم

نگاهی بر معماری Oracle Database 11g - قسمت سوم

مهمترین بخش معماری که باید برای گلدن‌گیت خوب بلد باشید شکل زیر هستش:

خب میخوام معماری اوراکل رو به صورت سناریو بیس و خلاصه دوباره دوباره تکرار کنم چون مسلط بودن به این معماری از ضروریات کاره

تعاریف پایه Oracle GoldenGate

گلدن گیت ۲ نوع معماری کلی داره:

• classic capture

در این سناریو گلدن گیت وابسته به ورژن باینری خودش بر روی پلتفرم مورد نظر هستش و گلدن گیت باید کنار هر دیتابیس در سرور مبدا و مقصد نصب بشود

• integrate capture

در این معماری گلدن گیت بر روی یک سرور در کنار یک دیتابیس نصب میشه و با agentهایی دیتابیس‌ها باید logهای خودشون رو به این سرور ارسال کنند و capture (بازکردن لاگها) در سرور گلدن گیت انجام میشه. مثلاً شما می‌تونید گلدن گیت رو بر روی یک سرور لینوکسی نصب و راه‌اندازی کنید و ریپلیکیشن بین دیتابیسهای سرورهای ویندوزی راه‌اندازی کنید.

• • integrate capture downstream

اگر سرور گلدن گیت با یکی از دیتابیس‌ها یکی باشه بهش integrate capture میگن ولی اگه کلاً سرور گلدن گیت جدا از سرورهای دیتابیس باشه بهش integrate capture downstream میگن

نکته: یادمون باشه مبنای سناریوی integrate کلاً انجام عملیات logminer هستش

-- توپولوژی‌هایی که GG می‌تونه برای ما ساپورت بکنه به صورت کلی شکل زیر هستش راجع به هر توپولوژی من یک توضیح مختصری میدم:

 

از نیاز تا آینده Oracle GoldenGate

سناریو

به عنوان DBA یک بانک که در ایران و اروپا دفتر دارد مشغول کار هستید. بانک شما ۲ تا دیتابیس اوراکل 12C مجزا بر روی دو container مجزا در دفاتر اصلی خود دارد. شما نیاز دارید که برخی از جداول را از اسکیمای IR به اسکیمای EURO ببرید برای رسیدن به این هدف می‌توانید Oracle GoldenGate for Oracle 12c را امتحان کنید.

شما برای امتحان حتماً دارید از یه محیط توسعه و آزمایشی استفاده می‌کنید (جدا از نگرانی‌های محیط عملیاتی) که این محیط آزمایشی میتونه روی یه PC هم باشه ولی یادمون باشه در محیط عملیاتی دیتابیس EURO و IR از هم جدا هستند.

دسته‌بندی

• DB = دیتابیس
• EDW = انباره‌داده سازمانی (Enterprise Data Warehouse)
• ETL = فرآیند Extract, Transform, Load
• HW = سخت‌افزار رایانه‌ای (Intel 32-bit, Intel 64-bit, SPARC و خیلی محصولات دیگه)
• ODS = محل ذخیره گزارشهای عملیاتی بر روی EDW
• OLTP = دیتابیس تراکنشی
• OS = سیستم‌عامل (ویندوز، لینوکس و خیلی محصولات دیگه)

اوراکل گلدن‌گیت یکی از محصولاتیه که تاثیرات خیلی کمی موقع کپچر اطلاعات(capture)، مسیریابی(routing)، تفییر اطلاعات(transformation) و انجام تراکنشهای مختلف در پایگاه‌داده‌های مختلف داره تقریباً زمانی نزدیک به زمان بی‌درنگ

اوراکل گلدن‌گیت تبادل و تغییر داده‌ها رو در سطح پایگاه‌داده‌های مختلف و سیستم‌عاملهای مختلف به صورت بی‌درنگ انجام می‌دهد همچنین یکپارچگی تراکنشها رو با زمان تاخیر خیلی کم نزدیک به بی‌درنگ انجام می‌دهد.

همچنین قابلیت پیاده‌سازی سولوشنهای high availability و zero down time برای انواع upgrades یا migrations و live reporting و operational business intelligence و transactional data integration را به ما می‌دهد.

راه‌اندازی FTP و HTTP در ASM

FTP

شما می‌تونید از FTP در ASM استفاده کنید این قابلیت از طریق محصول Oracle XML DB پشتیبانی میشه پس شما باید این قابلیت رو نصب داشته باشید که به طور معمول در هنگام ایجاد دیتابیس نصب میشه و احتمالاً همین الان این ویژگی رو نصب دارید.

اگه این قابلیت رو نداشتید و یا نیاز داشتید در یک نصب جدید اون رو فعال کنید باید موقع ایجاد دیتابیس (DBCA) تیک مربوط رو بزنید و در صورت تمایل می‌تونید از طریق ویزارد پیکربندی‌های مورد نیاز رو انجام بدید:

موقع نصب database software نیازی به این قابلیتها به طور معمول نیست مگر اینکه ادمین تشخصی بده پس من همه‌ی تیکها رو برمیدارم

سطح redundancy دیسک گروه‌ها در ASM

سطح redundancy دیسک گروه ها در ASM به سه حالت زیر است:

نوع اول Normal
اطلاعات فایل ما را در دو جا نگهداری می‌کند. یعنی شبیه سناریو RAID 1 می‌باشد. تحمل خرابی یک گروه ۱ دیسک است. اگر یک دیسک از بین برود دیگری وجود دارد. برای راه‌اندازی آن دو تا دیسک و یا دو تا گروه failure نیاز است.

نوع دوم High
اطلاعات فایل را در ۳ جا نگهداری می‌کند. برای این حالت نمونه سناریو RAID ای وجود ندارد. تحمل خرابی ۲ تا دیسک و یا ۲ گروه failure است. اگر یکی از بین برود اطلاعات دو جای دیگر وجود دارد. برای راه اندازی آن ۳ تا دیسک و یا سه تا گروه failure نیاز است.

نوع سوم External
هیچ mirrory برای دیسک ها در ASM وجود ندارد و در صورت لزوم براساس RAID سخت‌افزاری دیسک‌ها سناریوبندی می‌شوند.

تحلیل و بررسی Online Redo Logs

تا حالا شده بخواین یک redo log یا archive log رو باز کنید؟ مجموعه ابزار Toad for Oracle یکی از ابزارهای قدرتمند مدیریت پایگاه‌داده اوراکل هستش که با در اختیار قراردادن ابزار Oracle LogMiner به صورت گرافیکی و ویزاردی به ما کمک میکنه که بتونیم redo log ها رو بخونیم. سرور فعلی من آرشیو لاگش فعال نیست و فعلا به خوندن redo logها بسنده میکنم.

برای بررسی و تحلیل Redo Logها پس از اتصال به دیتابیس از Database > Diagnose > LogMiner ابزار مدنظر رو فراخوانی می‌کنیم:

الحاق چند کارت شبکه در خانواده RHEL 6

فکر کنید شما یک ماشین DL380-G9 برای نصب سیستم‌عامل و دیتابیس در اختیار دارید. همونطور که می‌دونید این ماشین دارای ۴ پورت شبکه به صورت Onboard هستش و اگه ما به صفحه مشخصات این ماشین در سایت HP مراجعه کنیم (HPE ProLiant DL380 Gen9 Server) می‌بینیم که در قسمت SPECIFICATIONS در مشخصات کنترلر شبکه ۴ پورت رو نوشته که بسته به مدل و سفارش میتونه متفاوت باشه برای اطلاعات بیشتر می‌تونید به راهنمای کاربر این ماشین مراجعه کنید:

 HPE-ProLiant-DL380-Gen9-Server-User-Guide

حجم: 14.9 مگابایت

شاخص کلیدی عملکرد (KPI)

شاخص های کلیدی عملکرد یا KPI، متریک یا سنجه‌هایی هستند که برای ارزیابی عوامل تاثیرگذار بر موفقیت یک سازمان مورد استفاده قرار میگیرند. در واقع میزان موفقیت یک سازمان در یک یا چند فعالیت را با شاخصهای کلیدی عملکرد ارزیابی میکنند. به عنوان یک مدیر برای کنترل و پایش میزان دستیابی به اهداف بلندمدت و کوتاه مدت در سازمان خود، نسبت به تعیین و ارزیابی شاخصهای عملکرد اقدام نمایید. کنترل بر اساس شاخصهای عملکرد یکی از رموز موفقیت مدیران نمونه است. KPI مخفف (Key Performance Indicator) به معنای شاخص عملکرد کلیدی می باشد.

در واقع KPI به درک ما نسبت به میزان خوب بودن سازمان، واحد سازمانی و افراد در مقایسه با اهداف کمی و کیفی تعریف شده است کمک خواهد کرد.

مشکلی که بسیاری از سازمان‌ها با آن مواجه هستند، در این است که آنها وقت بسیار زیادی برای ایجاد برنامه‌های راهبردی صرف می‌کنند، ولی فرصتی برای فورموله کردن این برنامه‌های نمی‌گذارند.

به منظور تدوین یک استراتژی جهت فرموله نمودن شاخص‌های کلیدی عملکرد، تیم مربوطه در سازمان باید با اصول اولیه را شروع کرده، اهداف سازمان را شناسایی نموده، برای دستیابی به آن‌ها برنامه‌ریزی نماید و تعیین کند که چه کسانی می‌توانند بر روی این اطلاعات اقدام نماید.

این فرآیند تکرار شونده، شامل دریافت بازخورد تحلیلگران، مدیران و سرپرستان بخش‌ها می‌باشد و در حین انجام آن، نسبت به اینکه کدام فرایند تجاری نیاز به سنجش توسط شاخص‌های کلیدی عملکرد داشته و اطلاعات مربوط به آن را با چه کسی باید در میان می‌گذارد، درک بهتری خواهند داشت.

انتخاب اشتباه KPI این خطر را برای سازمان به ارمغان خواهد آورد که آنها را در مسیر اشتباهی قرار دهد و آنها را تشویق به پیگیری چیزی کند که هیچ پیشرفتی برای آنها ندارد.

همچنین شاخص کلیدی عملکرد پارامتری قابل اندازه‌گیری است، که می تواند منعکس کننده فاکتورهای حیاتی موفقیت یک سازمان باشد. این پارامترها از هر سازمانی به سازمان دیگر متغیر هستند.

سه ویژگی مهم KPI

• منعکس کننده اهداف سازمانی باشند
• قابل اندازه‌گیری باشند
• کلید موفقیت سازمان باشند

افزایش فضای Heap, PermGen سرور OBIEE 11g

ممکنه شما هم به مشکلاتی نظیر پایین اومدن سرور bi بعد از لاگین چندکاربر خورده باشید

یکی از دلایل این مشکل به این خاطره که شما کلی گزارش سنگین دارید و کاربرها هم در آن واحد در حال استفاده از سامانه هوش تجاری شما هستند، پس ادمین اپلیکیشن شما باید فضای heap جاوا رو tune کنه تا سرور بتونه بدون مشکل گزارشها رو برای کاربرها لود کنه

تشخیص مقدار فضای heap

• اوراکل پیشنهاد میکنه که فضای اولیه heap ماشین مجازی جاواتون رو 1/64 مقدار حافظه‌ی فیزیکی ماشین بذارید (Initial heap size)
• همچنین توصیه میکنه مقدار بیشترین فضای heap ماشین مجازی جاواتون رو 1/4 مقدار حافظه‌ی فیزیکی ماشینتون بذارید (Maximum heap size)

بازبینی معماری حافظه در جاوا

خب میخوایم یه نگاه سریع به معماری حافظه در جاوا بکنیم:

[oracle@oraserv /]$ java -X
 -Xmixed           mixed mode execution (default)
 -Xint             interpreted mode execution only
 -Xbootclasspath:<directories and zip/jar files separated by :>
                   set search path for bootstrap classes and resources

 -Xbootclasspath/a:<directories and zip/jar files separated by :>
                   append to end of bootstrap class path

 -Xbootclasspath/p:<directories and zip/jar files separated by :>
                   prepend in front of bootstrap class path

 -Xdiag            show additional diagnostic messages
 -Xnoclassgc       disable class garbage collection
 -Xincgc           enable incremental garbage collection
 -Xloggc:<file>    log GC status to a file with time stamps
 -Xbatch           disable background compilation
 -Xms<size>        set initial Java heap size
 -Xmx<size>        set maximum Java heap size
 -Xss<size>        set java thread stack size
 -Xprof            output cpu profiling data
 -Xfuture          enable strictest checks, anticipating future default
 -Xrs              reduce use of OS signals by Java/VM (see documentation)
 -Xcheck:jni       perform additional checks for JNI functions
 -Xshare:off       do not attempt to use shared class data
 -Xshare:auto      use shared class data if possible (default)
 -Xshare:on        require using shared class data, otherwise fail.
 -XshowSettings    show all settings and continue

 -XshowSettings:all
 show all settings and continue

 -XshowSettings:vm show all vm related settings and continue

 -XshowSettings:properties
 show all property settings and continue

 -XshowSettings:locale
 show all locale related settings and continue

The -X options are non-standard and subject to change without notice.