AI News, US10118696B1 artificial intelligence

The Most Amazing Artificial Intelligence Milestones So Far

Artificial Intelligence (AI) is the hot topic of the moment in technology, and the driving force behind most of the big technological breakthroughs of recent years.

Since the dawn of computing in the early 20th century, scientists and engineers have understood that the eventual aim is to build machines capable of thinking and learning in the way that the human brain – the most sophisticated decision-making system in the known universe – does.

1956 – The Dartmouth Conference With the emergence of ideas such as neural networks and machine learning, Dartmouth College professor John McCarthy coined the term 'artificial intelligence' and organized an intensive summer workshop bringing together leading experts in the field.

ELIZA represented an early implementation of natural language processing, which aims to teach computers to communicate with us in human language, rather than to require us to program them in computer code, or interact through a user interface.

However, it was important from a publicity point of view – drawing attention to the fact that computers were evolving very quickly and becoming increasingly competent at activities at which humans previously reigned unchallenged.

This was significant because while Deep Blue had proven over a decade previously that a game where moves could be described mathematically, like chess could be conquered through brute force, the concept of a computer beating humans at a language based, the creative-thinking game was unheard of.

2012 – The true power of deep learning is unveiled to the world – computers learn to identify cats Researchers at Stanford and Google including Jeff Dean and Andrew Ng publish their paper Building High-Level Features Using Large Scale Unsupervised Learning, building on previous research into multilayer neural nets known as deep neural networks.

2015 – Machines “see” better than humans Researchers studying the annual ImageNet challenge – where algorithms compete to show their proficiency in recognizing and describing a library of 1,000 images – declare that machines are now outperforming humans.

Since the contest was launched in 2010, the accuracy rate of the winning algorithm increased from 71.8% to 97.3% - promoting researchers to declare that computers could identify objects in visual data more accurately than humans.

2016 – AlphaGo goes where no machine has gone before Gameplay has long been a chosen method for demonstrating the abilities of thinking machines, and the trend continued to make headlines in 2016 when AlphaGo, created by Deep Mind (now a Google subsidiary) defeated world Go champion Lee Sedol over five matches.

Although Go moves can be described mathematically, the sheer number of the variations of the game that can be played – there are over 100,000 possible opening moves in Go, compared to 400 in Chess) make the brute force approach impractical.

While human operators currently ride with every vehicle, to monitor their performance and take the controls in case of emergency, this undoubtedly marks a significant step towards a future where self-driving cars will be a reality for all of us.

شبكة عصبونية اصطناعية

الشبكات العصبونية الاصطناعية (بالإنجليزية: Artificial Neural Network ANN) أو ما يدعى أيضا بالشبكات العصبونية المحاكية simulated neural network أو SNN : مجموعة مترابطة من عصبونات افتراضية تنشئها برامج حاسوبية لتشابه عمل العصبون البيولوجي أو بنى إلكترونية (شيبات إلكترونية مصممة لمحاكاة عمل العصبونات) تستخدم النموذج الرياضي لمعالجة المعلومات بناء على الطريقة الاتصالية في الحوسبة.

يكمن أحد أسباب تفوق الدماغ البشري في قدرته على معالجة المعطيات في شكل هيكلي بمعني ان كل جزء من المخ له وظيفه ويشرف علي عمله جزء اخر يدير عمله ويستطيع ان يغير عمل الاجزاء ويسمي ذلك Plasticity كما أن كل جزء من المخ يعمل بصفه منفصله عن الاخر كما لو كان جهاز كمبيوتر به عدد كبير جدا من المعالجات(Processors)، أجهزة الحاسوب اليوم تقوم بمحاكاة هذه العملية في ما يسمى حوسبة متوازية، Parallel Computing، وبالرغم من السرعة العالية الناتجة عن هذه التقنية إلا أنها تفتقر إلى القدرة على الاستقلال بحل المشكلة، وذلك لان الحاسب الإلكتروني يقوم بارسال بيانات كثيرة جدا في صورة رقمية بينه كل من اجزائه اما المخ فيقوم بعمل ذلك في صورة رقميه في بعض الأماكن وفي أماكن اخري في صورة انالوج كما أن الكمبيوتر يرسل عدد كبير من البيانات المتكرره ولكن المخ لايرسل بيانات متكرره ومثال علي ذلك الكاميرا فهي ترسل حالة كل نقطه تصورها واذا لم تتغير الحالة ترسلها كما هي أيضا اما العقل فيرسل التغيير فقط وذلك علي شكل Spikes أو إشارات عصبية.

حينما فكروا في البداية وجدوا ان الخلايا العصبية تقوم بعملية جمع لإشارات بمعني انه يوجد وصلتين لخلية عصبية مثلا وكل وصلة عليها إشارة تكون النتيجة هي محصلة الإشارات بالجمع العادي ومن ثم وجدوا ان كل عصبون يستطيع ان يقوم بعمل تكبير أو تصغير فتم إضافة عامل اسمه (Weighting Factor) بمعني انه إذا كان هناك خلية مثلا ولها مدخلان فيتم ضرب الإشارة الأولي في المعامل الخاص بالعصبون هذا وكذا للمدخل الثاني ومن ثم يتم جمعهم وعلي ذلك تم بناء النظام الهندسي للخلايا الصناعية مع الاخذ في الاعتبار انه ليس صحيح 100% بالنسبة للخلايا العصبية البيولوجية كما سيوضح لاحقا.

يوجد شيء اسمه Dendrite أو العصبون وهذا في النموذج الهندسي عبارة عن سلكة ليس لها تاثير علي الإشارة الداخله للخلية اما في الحقيقة فان ذلك الجزء تعتبر مجموعة من الدوائر الإلكترونية القادرة علي أحداث الإشارة ذاتيا وهي تعامل معاملة المكثفات والملفات Active Component كما أنه وجد ان هذة العصبونات لها تأثير علي بعض فمثلا إذا تواجدت العصبونات بجانب بعض فتجمع الإشارة بجمع غير خطي nonlinear اما إذا كان العصبونات بعيدة عن بعض فتجمع جمع خطي عادي.

وتقوم بعملية التغيير هذة بطريقتين اما طريقة اسمها Long Term Plasticity وهذا معناه تغيير معاملات العصبونات وذلك أيضا معناه تغيير وظيفة الخلايا الصناعية وهذا معروف فمثلا خلايا النظر في الكفيف تغير وظيفتها بعد زمن معين من عدم العمل الي وظيفة خلايا سمعية وذلك يتم عن طريق تغيير المعاملات والطريقة الاخري هي Short Term Plasticity وهذا معناه ان الخلايا العصبية قادرة علي تغيير حجم الإشارة الخارجه منها حسب الوقت والظروف بمعني انه في بعض الأحيان يكون الخارج منها مكبر بصورة كبيرة وبعض الأحيان الاخري يكون الخارج مصغر ولا زال الأسباب غير معروفه حتي الآن.

لكن على العموم، ورغم أن الفكرة أساسا مستوحاة من آلية عمل العصبونات الدماغية فلا يجب أن نخلط كثيرا أو نشابه بين الدماغ والشبكات العصبونية فالشبكات العصبونية أصغر وأبسط من العصبونات البيولوجية وقد تكون مجرد وحدات افتراضية تنشأها برامج الحاسب، كما إن آلية عمل العصبونات الاصطناعية تقتبس بعض ميزات العصبون البيولوجي ولا تشابهه تماما، بالمقابل أضيفت العديد من الميزات وتقنيات المعالجة إلى العصبونات الاصطناعية بناء على أفكار رياضية أو هندسية، وهذه الإضافات أو أساليب العمل الجديدة (بعضها مقتبس من الإحصاء أو من نظرية المعلومات) لا ترتبط بالعصبونات البيولوجية أبدا.

عادة ما تكون العصبونات البيولوجية تابعة لقاعدة قيمة العتبة 'threshold value' فإذا كان المجموع الموزون weighted Sum لقيم الدخل أكبر من قيمة معينة تدعى العتبة threshold، يضطرم العصبون أو لنقل انه يتفعّل مرسلا إشارة كهربائية تدعى كمون الفعل على طول المحور العصبي axon ومن ثم تصل هذه الإشارة عن طريق تفرعات المحور إلى كل المشابك الخارجة outgoing synapses التي تتصل بعصبونات أخرى في الدماغ

A radical new neural network design could overcome big challenges in AI

David Duvenaud wascollaboratingon a project involving medical data when heran up againsta major shortcoming in AI.

But data from medical records is kind of messy: throughout your life, you might visit the doctor at different times for different reasons, generating a smattering of measurements at arbitrary intervals.

Last week their paper was among four others crowned “best paper” at the Neural Information Processing Systems conference, one of the largest AI research gatherings in the world.

A traditional neural net is made up of stacked layers of simple computational nodes that work together to find patterns in data.

The most common process for training a neural network (a.k.a.supervised learning) involves feeding it a bunch of labeled data.

Each subsequent layer would identify increasingly complex features of the animal, until the final layer decides “dog” on thebasis of the accumulated calculations.

This step-by-step breakdown of the process allows a neural net to build more sophisticated models—which in turn should lead tomore accurate predictions.

You could have gone to the doctor twice in one day!) Taken to the extreme, this means the best neural network for this job would have an infinite number of layers to model infinitesimal step-changes.

Calculus gives you all these nice equations for how to calculate a series of changes across infinitesimal steps—in other words, it saves you from the nightmare of modeling continuous change in discrete units.

Nonetheless, sticking with convention, the researchers named this design an “ODE net”—ODE for “ordinary differential equations.” (They still need to work on their branding.) If your brain hurts (trust me, mine does too), here’s a nice analogy that Duvenaud uses to tie it all together.

With a traditional neural net, you have to specify the number of layers you want in your net at the start of training, then waituntil the training is done to find out how accurate the model is.

The new method allows you to specify your desired accuracy first, and it will find the most efficient way to train itself within that margin of error.

“Many of the key advances in the field of machine learning have come in the area of neural networks,” says Richard Zemel, the research director at the Vector Institute, who was not involved in the paper.

“The paper will likely spur a whole range of follow-up work, particularly in time-series models, which are foundational in AI applications such as health care.” Just remember that when ODEnets blow up, you read about it here first.