Author: Lin Ar

CLICK ESSAYS SECTION ThAT YOU WANT AND ENJOY READING!

As a beginner, did you ask yourself what are the basic steps for any Data Science project?

1. Project’s idea study:

The objective of this step is to comprehend the issue by applying a study for the business problem.

For example, let’s say you are trying to predict the obesity rate in certain country. In this case, you need to comprehend the terminology used in the research industry and the main problem, and then collect enough relevant data about that meet your research. 

2- Preparing the Data:

 A data scientist should first explore the dataset to specify any missing data or data that are useless to our analysis goals. During this process, you must go through several steps, including:

Data Integration:

It is used to Resolve any struggles in the dataset and wipe out redundancies.

Data Transformation

Normalize, transform and aggregate data using ETL (extract, transform, load) methods

Data Reduction

decrease the size of the data without affecting the quality of the results

Data Cleaning

learning has many steps depending on the data quality and the mess levels. So, in this step, we perform filling in the gaps, transform the data structure from one type to another.

3-Model Planning:

After you have cleaned up the data, you should pick an appropriate model. The model you need should match with the idea of the issue—is it a regression issue, or a classification one? This part of working additionally includes an Exploratory Data Analysis (EDA) to dive more into data to reveal the insights and comprehend the connection between the variables. A few strategies utilized for EDA are histograms, box plots, bar charts, and so on.

After finishing choosing the model, split the data into training and testing data—training data to prepare the model, and testing information to validate the model. On the off chance that the testing isn’t exact, you should re-train another model. but if it is good working, you can place it into production.

The different tools utilized for modeling are:

R:

This tool can be used for normal statistical analysis and visualization

Python:

Python has great scientific libraries to apply machine learning and data analysis

SAS:

It is a great tool to perform full statistical analysis.

4- Model Building:

The following step is to create the model. Utilizing different analytical methods to discover useful information. You can quickly build models using Python packages from libraries like Pandas, Matplotlib, or NumPy.

5- Communication

During this step, the basic goal is to interpret our work to the stakeholders

by including details about steps taken and visualize it to make it easier to read.

6- Finalizing:

When all the team parties approve the discoveries, they get started. In this stage, the partners likewise get the last reports, code, and specialized archives.

:بالعربي
: الخطوات الاساسية اللازمة لتنفيذ مشروع في مجال علم البيانات-

.كمبتدىء في مجال علم البيانات يجب كمرحلة اولى ان يكون لديك دراية بماهية الخطوات المتبعة اثناء تنفيذ مشروع لعلم البيانات

:١- اجراء دراسة اولية لفكرة المشروع

الغاية من هذه الخطوة هو فهم الفكرة الاساسية للمشروع المراد تنفيذه من خلال المعرفة الكافية بالمصطلحات الاساسية الخاصة بالمشروع وما هي الغاية من تنفيذ المشروع

:مثال على ذلك

اذا اردنا التنبؤ بمعدل البدانة ببلد ما , في هذه الحالة يجب فهم المصطلحات الاساسية الخاصة بهذا المجال وماهي البدانة والعوامل المؤثرة في ازدياد معدل البدانة وبالتالي معرفة المتغيرات اللازم ادخالها في عملية التحليل والتي تفيدنا بالحصول على نتائج جيدة

:٢- مرحلة تحضير البيانات

كأي عالم بيانات يجب بداية استكشاف الداتا للتخلص من البيانات الغير مهم ادخالها في عملية التحليل او اذا كانت هناك بيانات مفقودة يجب التعامل معها اما بحذفها او بملئها ببيانات جديدة مشتقة من البيانات الموجودة سابقا

:يعتمد تنفيذ هذه المرحلة على عدة مراحل لاحقة

Data Integration:

تستخدم هذه المرحلة للتخلص من البيانات المكررة

Data Transformation

وهي مرحلة من مراحل معالجة البيانات تعتمد على استخلاص البيانات من قواعد البيانات معالجتهاETLتدعى هذه

واعادة تحميلها

Data Reduction

اذا كان لدينا بيانات هائلة وضخمة فيمكن التخلص من جزء من هذه الداتا او اخذ عينة منها بحيث لايتم التأثير على مدى جودة الداتا

Data Cleaning

كماذكرنا سابقا هذه المرحلة تعتمد على مدى فوضوية البيانات وعشوائيتها لنقوم باتخاذ الخطوات المناسبة لتصحيحها وجعلها جاهزة لاعطاء النتائج

:٤- التخطيط لبناء المودل

بعد عملية تصحصح البيانات عليك البدء باختيار المودل المناسب لحل المشكلة التي تواجهك حسب نوعيتها هل هيه مشكلة لتحليل بيانات متوالية او مشكلة تصنيفية بمعنى النتائج يجب ان تكون اما نعم او لا

اي عملية استكشاف البيانات لايجاد العلاقة بين المتغيرات وماهية البيانات وتوزعها EDAايضا تتصمن هذه المرحلة ويكون ذلك بالتمثيل البياني والمخططات البيانية كمنحني التوزع الطبيعي (الهيستوغرام) او ال(البوكس بلوت) او( الباي تشارت

والغاية منه تدريب Training dataنقوم بتقسيم البيانات الى قسمين الاول يسمى EDAبعد الانتهاء من انتقاء المودل وعملية ال

والغاية منه تطبيق المودل بعد تدريبه للحصول على النتائجtesting dataالمودل على جزء من الداتا والبيانات والقسم التاني هو ال

اذا كانت النتائج مشكوك بدقتها او صحتها فيجب اخيتار داتا اكتر للتدريب واذا استمر الخطأ ممكن ان testing فبعد عملية ال

نقوم باستبدال المودل بمودل اخر

ماهي الادوات المستخدمة في عملية التحليل وما هي ميزاتها

R١- برنامج ال

هو لغة من لغات البرمجة يتم استخدامها من اجل العمليات الاحصائية والتمثيل البياني يتميز بقوته في رياضيات الاحصاء

٢-. البايثون

هو ايضا لغة من اللغات البرمجة والتي تعتبر سهلة جدا بالتعلم للمبتدئين في هذا المجال يتميز بتنوع مكاتبه العلمية المستخدم لرياضيات خوارزميات الماشين ليرنينغ وايضا مكاتب التمثيل البياني

SAS– ٣

من اهم البرامج المستخدمة في عمليات التحليل الاحصائي للبيانات

٤- مرحلة بناء المول

بناء المودل المناسب الهدف منه كما ذكرنا سابقا هو اكتشاف ماوراء الداتا , ففي حالة برنامج البايثون يتم استخدام مكتبات متعددة Matplotlibوايضاpandasوايضا Numpyمثل ال

٥- مرحلة مايسمى بترجمة النتائج

تعتبر هذه المرحلة من اهم مراحل عمل مشاريع الداتا ساينس وهي كتابة التقريرالنهائي بطريقة مبسطة وسهلة الفهم وباستخدام مخططات تمثيلية تسهل وصول الفكرة بشكل بسيط يتم شرح مبسط لما تم تطبيقه سابقا وشرح النتائج التي تم الوصول اليها وتقديم الحلول اذا اقتضى الامر

٦- المرحلة النهائية

وهي المرحلة النهائية التي يتم اعتماد النتائج التي تم الوصول اليها لتطبيقها ومرحلة استلام كودات العمل والتقارير النهائية

What is Data Science?

• Data Science is the space of study that manages tremendous volumes of information utilizing new instruments and procedures to discover what is behind the data, determine significant points to settle on business choices. Besides, Data Science utilizes complex AI calculations to assemble predictive models.

Where to get the Data?

• The Data utilized for the analysis can be from different sources and present in different arrangements.
• Best sources to get data sets to work and train on it are kaggle.com and github.com

Data Science lets you:

• Track down the main source of an issue by posing the correct inquiries

• Proceed exploratory examination on the data

• Process the data by utilizing different algorithms

• Interpret the outcomes by performing visualization using charts, dashboards, and so forth.

LET US TAKE AN EXAMPLE RELATED TO Data Science APPLIANCE:

• We can see the appliance of Data Science in many life’s aspects, the most common example is the weather forecasting.

We all have mobile phones and weather application is installed to know the weather every hour, did you ask yourself before how would that happen?

Data about temperature, humidity, wind speed, and air quality are collected every day to feed the weather applications’ algorithms in order to perform weather forecasting either day by day or for the week.

Do you think the type of algorithm is differ between the day-by-day temperature or by saying the weather sunny today, rainy or even snowy?

The answer is yes absolutely there is a difference.

Can you guess what is the difference ??!, write in comments 🙂

: بالعربي

علم البيانات هو علم العصر , يعتمد هذا النوع من العلوم على جمع معلومات وبيانات ضخمة وتطبيق طرق خاصة بهدف الكشف عن ماوراء هذه الداتا وبالتالي اتخاذ القرارات الصائبة

كيف يمكن الحصول على هذه الداتا والبيانات؟

الحصول على هذه البيانات يكون عادة من مصادر مختلفة كالمؤسسات الاحصائية التي تقوم بجمع البيانات فيما يخص حدث معين كجمع معلومات عن اعداد الناس التي تمت اصابتهم بفايروس كورونا ضمن منطقة معينة بحيث تصبح هذه الاحصائية مرجعا فيما بعد لدراسات لاحقة. اما اذا اردت الحصول على بيانات من اجل التدريب وتطبيق خوارزميات تعلم الالة فيمكنك زيارة موقعين .kaggle and githubهما

:نستفيد من هذا المجال بمايلي –

اولا- علم البيانات يتيح المجال باستكشاف الأخطاء واصلاحها والاجابة على كل الأسئلة

٢- هذا المجال يتيح لنا استكشاف الداتا وتحليلها.

٣- استخدام خوارزميات تعلم الالة من اجل معالجة البيانات لاحقا والحصول على نتائج

٤- ترجمة هذه النتائج باستخدام أساليب التمثيل البياني من مخططات وغرافات من اجل سهولة الشرح للمستخدم النهائي

:مثال تطبيقي لمفهوم علم البيانات–

بداية يمكننا ان نرى ان علم البيانات اصبح متاح في كل مناحي حياتنا واكبر مثال على ذلك التطبيقات الموجودة على هواتفنا المحمولة التي تخص حالة الطقس لمعرفة حال الطقس كل ساعة بعد ساعة وممكن لأسبوع كامل, هل سألت نفسك بيوم من الأيام كيف يتم هذا؟

ان بيانات الحرارة والرطوبة وسرعة الرياح تجمع كل يوم لتغذية الخوارزميات القائمة عليها تطبيقات التنبؤ في حالة الطقس بهدف-الحصول على حالة الطقس يوما بع يوم او على مدى أسبوع كامل.

 هل باعتقادك هناك فرق في نوعية الخوارزمية المطبقة لمعرفة درجة الحرارة يوميا او لمعرفة ماهي حالة الطقس سواء ماطر او صيفي او حتى مثلج؟

الجواب: طبعا. نعم هناك فرق بين الخوارزميتين المطبقتين.

(إذا عرفتم ما هو الفرق او ماهي الخوارزميات المطبقة في الحالتين السابقتين يرجى الكتابة في التعليقات).

Beginners  Guide

• Here I will cover things you should learn to become a data scientist, including the basics of business intelligence, statistics, programming, and machine learning.

Is it simple to learn Data Science?! You could decide after you read the following requirements.

• Most of the time when you read about data scientist job roles, you think there is no such way that a common person can learn data science!. Data science is just an extension of 21st-century mathematics that people have been doing for centuries. In essence, it is the skill that uses the information available to gain insights and improve actions whether it is a small Excel spreadsheet or 100 million records in a database; the goal is always the same: discover the insights behind the data. 
• What makes data science different from traditional statistics is that it does not only explain values but also tries to predict future trends.

Here we have the summary of the Data Science usages:

• Moreover, Data science is a newly developed blend of machine learning algorithms, the math of statistics and probabilities, business intelligence, and technology. This mixture helps us clear hidden information behind the data in a way that fits business needs.

• What should a data scientist know?

To start with Data Science, you need the abilities of a business analyst, a statistician, a programmer, and a Machine Learning developer, but to enter the world of data, you are not required to be a specialist in any of these fields.

• The minimum that you need are the followings:

• 1- Business Intelligence:
• At the point when we first look at Data Science and Business Intelligence, we can see the likeness: both of them center around data to give the best results and reliable decision-support system. The thing that matters is that while BI works with static and organized information, Data Science can deal with rapid and complex, multi-organized information from a wide assortment of information sources.

However, to begin a straightforward a Data Science project, you don’t need to be a specialist Business Analyst. What you need is to have clear thoughts of the accompanying focuses:

• have an inquiry or something you are interested about.

• find and gather significant information that exists for your area of interest and may address your inquiry.

• Break down your information with common analytical tools; then take a look at your work and try to extract the conclusions.
• 2- Statistics and probability:

Probability and statistics are the backbones of data science. Simply, statistics is the mathematics method for technical analysis, but to make estimates and predictions for further analysis we should know that statistical methods rely on probability theory to make predictions.

• 3- Programming:

Data science is an exciting field of work because it combines advanced statistical and quantitative skills with real-world programming skills. Depending on your background, you can choose a programming language based on your preference. However, the most popular in the data science community are R, Python, and SQL.

• 4- Machine Learning and AI

While artificial intelligence and data science usually go hand in hand, many data scientists do not understand the areas and techniques of machine learning. However, data science involves working with large amounts of data sets for which machine learning techniques such as “supervised machine learning, decision trees, logistic regression, etc” must be mastered. These skills will help you solve various data science problems based on the predictions of the main organization outcomes.

• What are additional skills should a data scientist have?

Now you know the main data science prerequisites. What makes you a better data scientist? While there is no one correct answer, there are several things to keep in mind:

1-Analytical Mindset

2-Focus on Problem Solving

3-Domain Knowledge

4-Communication Skills

:(In Arabic) بالعربي

هل تريد الدخول بمجال عالم البيانات او ان تكون عالم بيانات جيد؟؟

: (اقرأ هذا الدليل التوجيهي )

هنا سنقوم باستعراض الاساسيات اللازمة بشكل عام التي يجب التعرف عليها قبل الدخول بمجال علم البيانات كأهمية تحليل البيانات, التطرق للوسائل التكنولوجية اللازم تعلمها, الرياضيات وراء علم البيانات , و لماذا يجب التعرف على خوارزميات تعلم الالة

بداية كيف نشأ علم البيانات وما الغاية منه ؟

علم البيانات هو مجرد امتداد لرياضيات القرن الحادي والعشرين وبكلمة اخرى هو مزيج مطور حديثًا من خوارزميات التعلم الآلي، ورياضيات الإحصاء والاحتمالات، والتكنولوجيا الحديثة . يستخدم هذا العلم المعلومات المتاحة لاكتشاف ما وراء البيانات وبالتالي تحسين العمل سواء كانت هذه البيانات جداول اكسل او بيانات عبارة 100 مليون سجل في قاعدة بيانات، فإن الهدف دائمًا هو نفسه: اكتشاف ما وراء الداتا.. وهذا ما يجعل علم البيانات مختلفًا عن الإحصائيات التقليدية حيث إنه لا يشرح القيم فحسب، بل يحاول أيضًا التنبؤ بالمستقبل.

:باختصار وجد علم البيانات من اجل

:لنرى هذا المخطط التوضيحي البسيط

ما الذي يجب أن يعرفه عالم البيانات؟

– لتبدأ بالخوض بهذا العلم ، فعليك التعرف على المهارات التي يجب ان تتواجد عند عالم البيانات والتي هي جامعة لمهارات التحليل البياني ، والعلوم الاحصائية والبرمجية ، ومهارات التعلم الآلي

:سنتحدث عما سبق بشكل مختصر

القدرة على تحليل البيانات –

عند المقارنة بين علوم البيانات وتحليل البيانات، نرى ان التشابه بينهما كلاهما يتمحور حول دراسة البيانات لإعطاء افضل النتائج التي تساهم في دعم القرارات المتمحورة حول نجاح البزنس.

الشيء المهم هو انه بينما يتعامل محلل البيانات مع معلومات ثابتة ومنظمة يمكن لعالم البيانات التعامل مع معلومات سريعة ومعقدة ومتعددة التنظيم نحصل عليها من مجموعة متنوعة من مصادر المعلومات فلبدء مشروع في علم البيانات، لا تحتاج إلى أن تكون محلل أعمال متخصص. ما تحتاجه هو أن يكون لديك أفكار واضحة حول النقاط الاساسية لهذا العلم.

:الإحصاء والاحتمال

الاحتمالات والإحصاء هما العمود الفقري لعلوم البيانات فالإحصاء بالاعتماد على الاحتمالات هو الرياضيات المستخدمة في عملية تحليل للبيانات وامكانية التنبؤ بالنتائج..

البرمجة

علم البيانات هو مجال عمل فريد من نوعه لأنه يجمع بين المهارات الإحصائية والكمية ومهارات البرمجة وبناءً على خلفيتك ومهاراتك يمكنك اختيار لغة البرمجة التي تريد استخدامها في عملية التحليل

: التعلم الالي والذكاء الاصطناعي

بما ان الذكاء الاصطناعي وعلوم البيانات يسيران جنبًا إلى جنب ، حيث يتضمن علم البيانات العمل مع كميات كبيرة من البيانات التي يجب إتقان تقنيات التعلم الآلي الخاصة بها مثل التعلم الآلي الخاضع للإشراف ، وأشجار القرار ، والانحدار اللوجستي ، وما إلى ذلك. ستساعدك هذه المهارات في حل مشاكل علوم البيانات المختلفة بناءً على نتائج التوقعات التي حصلت عليها عند تطبيق خوارزميات التعلم الالي

:اضافة الى ماسبق يجب لعالم البيانات ايضا ان يتمتع بمايلي

العقلية التحليلية-

التركيز على حل المشكلات-

المعرفة الكافية عن هذا المجال-

مهارات التواصل-

https://Do Not Sell or Share My Personal Information