برنامه‌نویسی ژنتیک





****************
ارسال شده توسط:
حسن خ
Thursday - 19/10/2023 - 9:58

سایت مؤسسه هوش مصنوعی و تمدن اسلامی«همتا»

به دنبال تهیه دستیاران هوشمند در خدمت دین:

محصولات:

جستجوی هوشمند جهد

هستان نگار علوم اسلامی برهان

سامانه پاسخگویی سؤالات پارسا

گراف موجودیت های اسلامی قم نت

 

****************
ارسال شده توسط:
حسن خ
Thursday - 19/10/2023 - 10:2

معرفی برخی کتب در حوزه هوش مصنوعی

مقاله سیر مطالعاتی هوش مصنوعی

هوش مصنوعی یکی از موضوعات جذاب در سالهای اخیر است که در علوم مختلف از قبیل، روان شناسی، علوم شناختی، پزشکی، جامعه شناسی، فلسفه، حقوق و ... در مورد آن بحث می شود. لیست زیر یک سیر مطالعاتی در ابعاد روان شناختی، اجتماعی و فلسفی هوش مصنوعی در اختیار شما قرار می دهد.

درباره علم شناختی: هوش مصنوعی، روان‌شناسی، زبان‌شناسی، علم اعصاب و فلسفه ذهن / مؤلف: جواد حاتمی / ناشر: موسسه‌ انتشارات‌ امیرکبیر

زندگی 3.0: انسان بودن در عصر هوش مصنوعی / مؤلف: مکس تگمارک / مترجم: میثم محمدامینی / ناشران: فرهنگ نشر نو، آسیم

هوش مصنوعی (قدم اول) / مؤلف: هنری برایتون / مترجم: ابراهیم اسکافی / ناشر: پردیس دانش

مقایسه تطبیقی ذهن و هوش مصنوعی / مؤلف: محمد عباس‌زاده‌جهرمی / ناشر: پیمان غدیر

علوم شناختی: مقدمه‌ای بر مطالعه‌ی ذهن / مؤلفان: جی فردنبرگ، گوردون سیلورمن / مترجمان: محسن افتاده‌حال / ناشران: شرکت پیشرو فناوری قائد، موسسه آموزشی و تحقیقاتی صنایع دفاعی

علوم شناختی: مقدمه‌ای بر علم ذهن / مؤلف: خوسه‌لوئیس برمودس / مترجم: تورج بنی‌رستم / ناشر: کیان افراز

علوم شناختی: مقدمه‌ای بر ذهن و مغز / مؤلفان: دنیل کالک، ویلیام هیرشن، پیت مندیک، جاناتان واسکان / مترجمان: شهره صادقی، الهه کمری / ناشر: نویسه پارسی

روان‌شناسی شناختی / مؤلفان: محمدحسین عبداللهی، حسین زارع / ناشر: سمت

ذهن: درآمدی بر علوم ‌شناختی / مؤلف: پل تاگارد / مترجم: رامین گلشائی / ناشر: سمت

قلمرو تازه علوم شناختی: آن‌چه مقوله‌ها درباره ذهن فاش می‌کنند / مؤلف: جرج لاکوف / مترجم: جهانشاه میرزابیگی ناشر: آگاه / دو جلد

درآمدی تاریخی به علوم شناختی: مطالعات میان رشته‌ای ریاضیات، روان‌شناسی، سایبرنتیک ... / مؤلف: محمدمحسن بیاتانی / ناشر: دانشگاه تفرش / دو جلد

مقدمه‌ای بر علوم و فناوری‌های شناختی و کاربردهای آن / مؤلف: سیدکمال خرازی / ناشر: سمت

علم شناخت یا شناخت‌پژوهی: مقدمه‌ای بر رویکردها،‌ نظریه‌ها و پژوهش‌های علمی درباره ذهن / مؤلفان: جی فریدنبرگ، گوردون سیلورمن / مترجم: حبیب‌الله قاسم‌زاده / ناشر: کتاب ارجمند / دو جلد

مقدمه‌ای فلسفی بر علوم‌ شناختی / مؤلف: رم هره / مترجمان: مجید داودی‌بنی، حسین شیخ‌رضایی / ناشران: فرهنگ نشر نو، آسیم

فلسفه علم شناختی / مؤلف: ام.ج. کین / مترجم: مصطفی تقوی / ناشر: ترجمان علوم انسانی

مسوولیت کیفری ربات‌ها: هوش مصنوعی در قلمرو حقوق کیفری / مؤلف: گابریل هالوی / مترجمان: فرهاد شاهیده، طاهره قوانلو / ناشر: میزان

عصر چهارم ربات‌های هوشمند، کامپیوترهای هوشیار و آینده بشریت / مؤلف: بایرون ریس / مترجم: مرتضی شانی / ناشر: شرکت چاپ و نشر بازرگانی

روابط عمومی در عصر هوش مصنوعی / مؤلفان: مهدی باقریان، حنانه باقریان / ناشر: کارگزار روابط عمومی

آدن و آدم / مؤلف: عبدالرضا جغتایی / ناشر: دانشگاه صنعتی شریف، موسسه انتشارات علمی

ذهن و کامپیوتر: مقدمه‌ای بر فلسفه هوش مصنوعی / مؤلف: تورج بنی‌رستم / ناشر: تورج بنی ‌رستم

مبانی فلسفی هوش مصنوعی / مؤلف: علی‌اکبر ضیایی / ناشر: امین

عصر ماشین‌های معنوی: وقتی رایانه‌ها از هوش انسان پیشی می‌گیرند / مؤلف: ری کورزویل / مترجم: سیمین موحد / ناشر: پیکان

آینده شبیه‌سازی مغز: چگونگی خلق یک مغز غیربیولوژیک / مؤلف: ری کورزویل / مترجم: حسین کاشفی‌امیری / ناشر: آینده‌پژوه

راهنمای هوش مصنوعی: کاربرد هوش مصنوعی در پیشرفت کسب و کارها / مؤلف: اندرو برجس / مترجمان: مهدی ابراهیمی، رضا اسدی، رضا عسگری / ناشر: آینده‌پژوه

ابرقدرت‌های هوش مصنوعی: چین، سیلیکون ولی و نظم نوین جهانی / مؤلف: کای‌فو. لی / مترجمان: میرجواد سیدحسینی، مژگان محمدی / ناشر: بنگاه ترجمه و نشر کتاب پارسه

تاثیر فناوری‌های پیشرفته بر آینده دولت‌ها و کشورها / مؤلفان: کانر گریفین، مایکل مارتینز / مترجمان: فرزان مجیدفر، فرشید مجیدفر، عباسعلی کارشناس / ناشر: رسا

****************
ارسال شده توسط:
حسن خ
Saturday - 23/12/2023 - 10:13

مقاله «بررسی توان رقابت هوش مصنوعی با ذهن انسان از منظر قرآن»

****************
ارسال شده توسط:
حسن خ
Saturday - 20/1/2024 - 10:39

مقاله  «معانی چهارگانه آگاهی»

****************
ارسال شده توسط:
حسن خ
Sunday - 14/1/2024 - 10:11

مدخل هوش مصنوعی در دائرة المعارف اینترنتی استنفورد

****************
ارسال شده توسط:
حسن خ
Sunday - 4/2/2024 - 23:58

مقاله تحلیل مفهوم آگاهی از دیدگاه ملاصدرا و پیوند‌گرایی

چکیده
مسئله ­ی آگاهی از مهم‌ترین مسائل تاریخ فلسفه است. به دلیل دشواری تعریف آگاهی برخی فیلسوفان آن را به آگاهی پدیداری، آگاهی دسترسی، خودآگاهی و آگاهی نظارتی تقسیم کرده­اند. فیلسوفانی مانند ملاصدرا که آگاهی (علم) را به نفس نسبت می­دهند و بر این اساس ویژگی­های مربوط به آگاهی را تبیین می­کند، تمام اقسام آگاهی را به امری فراتر ماده نسبت می­دهد. از این­رو از دیدگاه وی نمی­توان آگاهی را به ماده تقلیل داد.
این در حالی است که نظریات فیزیکالیستی مانند نظریه ­ی پیوند­گرایی آگاهی را به ماده نسبت می‌دهند. طبق نظر پیوند­گرایان می­توان آگاهی را با استفاده از شبکه­ های عصبی مصنوعی تبیین کرد. اما این نظریه بر خلاف ادعای خود ناتوان از تبیین اقسام و ویژگی­های ­آگاهی است. در این نظریه دلیلی که باعث می­شود آگاهی را به شبکه‌های عصبی نسبت دهند این است که آگاهی را مساوی با پردازش اطلاعات می­دادند. در حالی که طبق نظر ملاصدرا آگاهی (درک اطلاعات) معمولاً همراه با پردازش اطلاعات هست، اما پردازش اطلاعات بدون آگاهی نیز امکان پذیر است. از این­رو مطابق دیدگاه ملاصدرا نمی­توان رابطه آگاهی و پردازش اطلاعات، را تساوی دانست.

****************
ارسال شده توسط:
حسن خ
Thursday - 25/4/2024 - 10:43

آنچه ابن سینا می‌تواند در مورد هوش مصنوعی به ما بیاموزد

سایت زومیت

ابن سینا که قرن‌ها قبل از هوش مصنوعی زندگی می‌کرد، می‌تواند به ما کمک کند به سوالات خود دراین‌باره پاسخ دهیم که آیا هوش مصنوعی آگاهی دارد‌؟
در سال ۲۰۲۲، بلیک لوموئن، مهندس گوگل با سخنوری برجسته ارتباط برقرار کرد. دیالوگ‌های آن‌ها به‌طور طبیعی در جریان بود و از موضوعاتی از فلسفه گرفته تا تلویزیون تا رویاهای آینده را شامل می‌شد. فقط یک مشکل وجود داشت: آن سخنور چت‌بات هوش مصنوعی بود.

لوموئن در گفتگو با مدل زبانی LaMDA گوگل به‌تدریج متقاعد شد چت‌بات نیز مانند یک شخص است. اما آیا این ادعا می‌تواند واقعیت داشته باشد؟

ابیگیل تولنکو، دانشجوی دکترای فلسفه علم دانشگاه هاروارد می‌گوید در بیشتر چارچوب‌های اخلاقی، ملاحظات خاصی همچون حقوق، وظایف، تمجید، سرزنش، کرامت و عاملیت در سطح فرد ظاهر می‌شود. بنابراین، این سوال که آیا سیستم‌های الکترونیکی می‌توانند شخصیت پیدا کنند، پیامدهای گسترده‌ای برای نحوه تعامل ما با این فناوری‌ها دارد.

ابن سینا درمورد بسیاری از سوالات مشابهی تامل می‌کرد که اخلاق‌شناسان امروزی به آن‌ها فکر می‌کنند

در سال‌های اخیر بسیاری از فیلسوفان استدلال کرده‌اند آنچه از ما انسان می‌سازد، ظرفیت ما برای تجربه آگاهانه است. اما چگونه آگاهی را تعریف می‌کنیم؟ از چه شواهد بیرونی می‌توانیم برای تعیین این موضوع استفاده کنیم که موجودی دارای آگاهی است؟ عدم اجماع در مورد این سؤالات یکی از دلایلی است که بحث درمورد شخصیت داشتن هوش مصنوعی مدت‌ها است به نتیجه نرسیده است.
ابن سینا قرن‌ها قبل از اختراع ماشین چاپ زندگی می‌کرد، چه برسد به هوش مصنوعی. با‌این‌حال، او درمورد بسیاری از سوالات مشابهی تامل می‌کرد که اخلاق‌شناسان امروزی به آن‌ها فکر می‌کنند: چه چیزی موجب می‌شود فرد به جای حیوان، یک انسان باشد؟

همان‌طور که پژوهشگران معاصر هوش مصنوعی علاقمند به مقایسه فرآیندهایی هستند که زیربنای پاسخ انسان و هوش مصنوعی به وظایف مشابه است، ابن سینا نیز علاقمند به مقایسه فرایندهای درونی انسان و حیوانات برای رسیدن به خروجی‌های رفتاری مشابه بود. ازنظر او، یکی از قابلیت‌های کلیدی تمایز انسان، درک کلیات است. درحالی که حیوانات فقط می‌توانند درمورد جزئیات فکر کنند (موارد خاصی که درست پیش روی آن‌ها است)، انسان‌ها می‌توانند از قواعد کلی استدلال کنند.

ابن سینا در کتاب النفس از مثال معروف باستانی درمورد گوسفندی صحبت می‌کند که با گرگی رو‌به‌رو می‌شود. او ادعا می‌کند درحالی‌که انسان‌ها به اصلی کلی استناد می‌کنند که «گرگ‌ها به‌طورکلی خطرناک هستند و حیوان خاصی که مقابل آن‌ها است، گرگ است، بنابراین باید فرار کرد»، حیوانات متفاوت فکر می‌کنند. آن‌ها از روی قانونی کلی استدلال نمی‌کنند، بلکه فقط گرگ را می‌بینند و می‌دانند باید فرار کنند. آن‌ها به‌جای استدلال کردن درمورد ویژگی‌های کلی گرگ‌ها، به جزئیات محدود می‌شوند.

تمایزی که ابن سینا بین روانشناسی انسان و حیوان قائل می‌شود، شباهت بالایی به تمایزی دارد که دانشمندان عصر جدید در ارتباط با هوش مصنوعی درحال بررسی آن هستند.

پژوهش‌های کنونی نشان می‌دهد شبکه‌های عصبی مصنوعی توانایی تعمیم‌پذیری ترکیبی سیستماتیک را ندارند. زبان‌شناسان و دانشمندان علوم شناختی از این اصطلاح برای توصیف انواع استنتاج‌هایی استفاده می‌کنند که از روی قواعد تعمیم‌یافته به دست می‌آیند. این روش یکی از راه‌های اصلی استدلال است که انسان‌ها در زندگی روزمره خود به کار می‌برند.

درحالی‌که انسان‌ها معانی انتزاعی را از دنباله‌ای از کلمات درمی‌یابند که سپس می‌توانند به شکل ایده‌های پیچیده‌تر ترکیب شوند، هوش مصنوعی درون مجموعه داده‌های آماری برای ورودی‌های داده خاص که با وظیفه خاصی مطابقت دارند، جستجو می‌کند.

تفاوت یاد شده تا حد زیادی محدودیت‌های هوش مصنوعی معاصر را توضیح می‌دهد. برای اینکه این تفاوت را در عمل ببینید، به آزمون‌های کپچا نگاه کنید که به منظور تمایز بین انسان‌ و ربات‌ به کار می‌روند و ربات‌ها نمی‌توانند آن‌ها را بخوانند. تغییرات کافی تشخیص حروف را برای پیچیده‌ترین سیستم‌های مصنوعی دشوار می‌کند. علت آن است که سیستم فاقد ظرفیت ترکیبی برای تعمیم انتزاعی درمورد ویژگی‌های اصلی حروف است و نمی‌تواند آن را به نمونه کج و معوج تعمیم دهد.
حروف کپچا

این تفاوت بین شناخت انسان و شناخت مصنوعی به‌خوبی با توصیف ابن سینا از آنچه در مورد استدلال انسان منحصربه‌فرد است، منطبق است. او در کتاب الشفا توضیح می‌دهد چگونه موجود دارای خرد می‌آموزد چه چیزهایی مشترک هستند و چه چیزهایی مشترک نیستند و بنابراین ماهیت چیزهای مشترک را در انواع مختلف استخراج می‌کند.

ازنظر ابن سینا یکی از ویژگی‌های متمایز انسان درک کلیات است

ما انسان‌ها ویژگی‌های اساسی اشیاء را از ویژگی‌های کمتر ضروری جدا می‌کنیم تا به مفاهیم تعمیم‌یافته برسیم. سپس به کمک این مفاهیم استدلال می‌کنیم و آن‌ها را روی موارد مختلف اعمال می‌کنیم. به‌عنوان مثال، در کودکی یاد می‌گیریم ویژگی اصلی حرف ایکس را استخراج کنیم: این حرف از دو خط متقاطع تشکیل شده است. سپس تعمیمی کلی درمورد ویژگی‌های اصلی X انجام می‌دهیم تا به این نتیجه برسیم که همه X-ها از دو خط متقاطع تشکیل شده‌اند.

درنهایت با اعمال این تعمیم می‌توانیم X-ها را تشخیص دهیم. می‌دانیم دو خط متقاطع ویژگی‌های اصلی حرف X هستند و خطوط اضافی تصادفی و پیچ‌وخم‌ها در تصاویر کپچا این‌طور نیستند. این درحالی است که کامپیوتر نمی‌تواند استنباط کند تصویر نشان‌دهنده X است، مگر اینکه تصویر دقیقی از X یا چیزی که به اندازه کافی مشابه است، به آن داده شود. خطوط اضافی و اشکال پیچ و تاب‌دار برای غیرقابل تشخیص شدن X کافی است، زیرا در مخزن بزرگ کامپیوتر از تصاویری که به‌عنوان X طبقه‌بندی شده‌اند، وجود ندارد.

به‌طور مشابه، اگر وظیفه‌ای مانند مورد گوسفند به شبکه عصبی مصنوعی سپرده شود، شبکه عصبی مصنوعی مانند انسان نتیجه‌گیری کلی نمی‌کند و درعوض مانند گوسفندان فکر می‌کند و به جزئیات محدود می‌شود.
یکی از تفاوت‌های اساسی بین گوسفند و شبکه عصبی مصنوعی در این است که شبکه عصبی مصنوعی به مخزن بسیار بزرگ‌تری از جزئیات به شکل مجموعه داده‌های جامع دسترسی دارد.

چیزی که یادگیری عمیق را در وظایف زبانی بسیار موفق می‌سازد، دسترسی به مجموعه داده‌های بزرگ با جزئیات زیاد به جای استدلال ازطریق تعمیم‌پذیری ترکیبی است.

معیار اصلی ابن سینا برای شخصیت (استدلال از روی کلیات) شباهت زیادی به تعمیم‌پذیری ترکیبی سیستماتیک دارد. این معیار می‌تواند استاندارد احتمالا قابل آزمایشی برای دارا بودن شخصیت ارائه دهد. تاکنون، هوش مصنوعی در این آزمایش بارها شکست خورده است.

آثار ابن سینا را به‌عنوان راه‌حل موضوع شخصیت‌داشتن هوش مصنوعی بپذیریم یا نه، روایت وی دریچه جدیدی برای حل مساله شخصیت هوش مصنوعی ارائه می‌دهد که فرضیات گزارش‌های مبتنی‌بر آگاهی را به چالش می‌کشد.

اصول اخلاقی علمی اغلب با آخرین پژوهش‌ها، جدیدترین فناوری و هجوم مداوم داده‌ها پیوند خورده است. اما گاهی اوقات سؤالات آینده مستلزم بررسی دقیق گذشته است. نگاهی به تاریخ به ما این امکان را می‌دهد که فراتر از تصورات و پیش‌فرض‌های زمانه خود به موضوع بنگریم و ممکن است از بن‌بست‌های کنونی رهایی یابیم.

****************
ارسال شده توسط:
حسن خ
Thursday - 25/4/2024 - 10:47

هوش مصنوعی LaMDA گوگل؛ خودآگاهی یا تظاهر به خودآگاهی؟

سایت زومیت

تاریخ هوش مصنوعی-ایجاد شده توسط: حسن خ


مسئله چارچوب-frame problem-ایجاد شده توسط: حسن خ


آزمون تورینگ-ایجاد شده توسط: حسن خ



****************
ارسال شده توسط:
ح و
Tuesday - 12/11/2024 - 18:52

تفاوت های هوش مصنوعی و هوش انسانی

https://didbaan.com/mag/difference-between-artificial-intelligence-and-human-intelligence/

Continuously embedded
در ریاضیات، به یک فضای برداری هنجاری گفته می شود که به طور پیوسته در فضای برداری هنجاری دیگری تعبیه شده است، اگر تابع گنجاندن بین آنها پیوسته باشد. به نوعی، این دو هنجار «تقریباً معادل» هستند، حتی اگر هر دو در یک فضا تعریف نشده باشند. چند مورد از قضایای تعبیه سوبولف، قضایای تعبیه پیوسته هستند.




While both latent and embedding spaces are able to represent high-dimensional data in a reduced form, they serve distinct purposes and have different applications. Latent space focuses on compression and capturing essential features. Nevertheless, embedding space focuses more on capturing relationships and semantics.۲۸ اسفند
در حالی که هر دو فضای پنهان و جاسازی می‌توانند داده‌های با ابعاد بالا را به شکل کاهش‌یافته نشان دهند، اما اهداف مشخصی را دنبال می‌کنند و کاربردهای متفاوتی دارند. فضای پنهان بر فشرده سازی و گرفتن ویژگی های ضروری تمرکز دارد. با این وجود، جاسازی فضا بیشتر بر روی گرفتن روابط و معناشناسی تمرکز دارد. ۲۸ اسفند




Mathematically, an embedding space, or latent space, is defined as a manifold in which similar items are positioned closer to one another than less similar items. In this case, sentences that are semantically similar should have similar embedded vectors and thus be closer together in the space.
از نظر ریاضی، فضای تعبیه شده یا فضای پنهان، به عنوان منیفولدی تعریف می‌شود که در آن موارد مشابه نسبت به موارد کمتر مشابه نزدیک‌تر به یکدیگر قرار می‌گیرند. در این حالت جملاتی که از نظر معنایی مشابه هستند باید بردارهای تعبیه شده مشابهی داشته باشند و بنابراین در فضا به هم نزدیکتر باشند.





What’s an embedding?

A text embedding is a piece of text projected into a high-dimensional latent space. The position of our text in this space is a vector, a long sequence of numbers. Think of the two-dimensional cartesian coordinates from algebra class, but with more dimensions—often 768 or 1536.

For example, here’s what the OpenAI text-embedding-ada-002 model does with the paragraph above. Each vertical band in this plot represents a value in one of the embedding space’s 1536 dimensions.
تعبیه چیست؟
تعبیه متن قطعه ای از متن است که در یک فضای پنهان با ابعاد بالا نمایش داده می شود. موقعیت متن ما در این فضا یک بردار است، یک دنباله طولانی از اعداد. مختصات دکارتی دو بعدی از کلاس جبر را در نظر بگیرید، اما با ابعاد بیشتر - اغلب 768 یا 1536.

به عنوان مثال، در اینجا چیزی است که مدل OpenAI text-embedding-ada-002 با پاراگراف بالا انجام می دهد. هر نوار عمودی در این نمودار نشان دهنده مقداری در یکی از ابعاد 1536 فضای تعبیه شده است.












از زمان آغاز به کار ChatGPT در اواخر سال 2022، این یک دوره هوش مصنوعی مولد است که ما در آن زندگی می کنیم و کلمه "LLMs" هسته اصلی زندگی همه است.

اما اخیراً، حتماً شنیده‌اید که برخی از «بچه‌های بزرگ فناوری» اشاره می‌کنند که رشد LLM در حال افزایش است.

بنابراین، بعدی چیست؟ متا پاسخی دارد

متا اخیراً LCM ها، مدل های مفهومی بزرگ را معرفی کرده است که به نظر می رسد گام بزرگ بعدی باشد، ارتقاء بزرگی به LLM.
مشترک شدن در datasciencepocket در Gumroad
در یک ماموریت برای آموزش هوش مصنوعی به همه!

datasciencepocket.gumroad.com
مدل های مفهومی بزرگ چیست؟

مدل‌های مفهومی بزرگ متا (LCM) یک رویکرد جدید برای مدل‌سازی زبان است که در سطح بالاتری از انتزاع در مقایسه با مدل‌های سنتی زبان بزرگ (LLM) عمل می‌کند.

به جای پردازش متن در سطح نشانه، LCM ها با مفاهیمی کار می کنند که بازنمایی زبان و مدالیته از ایده ها یا اقدامات سطح بالاتر هستند.

در چارچوب LCM متا، یک مفهوم به عنوان یک ایده انتزاعی و اتمی تعریف می شود. در عمل، یک مفهوم اغلب با یک جمله در متن یا یک بیان گفتاری معادل مطابقت دارد. این به مدل اجازه می دهد تا در سطح معنایی بالاتر، مستقل از زبان یا روش خاص (مانند متن، گفتار یا تصاویر) استدلال کند.
این اصلا به چه معناست؟

بیایید یک مثال ببینیم
مدل‌های زبان سنتی (LLM): پیش‌بینی کلمه به کلمه

تصور کنید در حال نوشتن یک داستان هستید و از یک مدل زبان سنتی مانند ChatGPT استفاده می کنید. با پیش‌بینی کلمه بعدی (یا «نشان») بر اساس کلماتی که قبلاً نوشته‌اید کار می‌کند. به عنوان مثال:

شما می نویسید: «گربه روی…»

مدل پیش بینی می کند: "حصیر."

مثل پر کردن جاهای خالی یک کلمه در یک زمان است. این به خوبی کار می کند، اما بسیار بر روی کلمات تکی متمرکز است و همیشه به تصویر بزرگتر یا معنای کلی جمله فکر نمی کند.
مدل های مفهومی بزرگ متا (LCM): پیش بینی ایده به ایده

حال تصور کنید به جای پیش بینی کلمه بعدی، مدل ایده یا مفهوم بعدی را پیش بینی می کند. یک مفهوم مانند یک فکر یا جمله کامل است، نه فقط یک کلمه. به عنوان مثال:

شما می نویسید: "گربه روی تشک نشست. یک روز آفتابی بود. ناگهان ..."

این مدل پیش بینی می کند: "صدای بلندی از آشپزخانه آمد."

در اینجا، مدل فقط کلمه بعدی را حدس نمی‌زند؛ در حال فکر کردن به کل ایده ای است که باید در آینده بیاید. این مانند برنامه ریزی قسمت بعدی داستان به صورت تکه تکه است، نه کلمه به کلمه.

این فقط دیوانه است!!

چرا این باحاله؟

مستقل از زبان:

مدل اهمیتی نمی‌دهد که ورودی به انگلیسی، فرانسوی یا هر زبان دیگری باشد. با معنی جمله کار می کند نه کلمات خاص. به عنوان مثال:

ورودی به انگلیسی: "گربه گرسنه است."

ورودی به زبان فرانسوی: «Le chat a faim».

هر دو جمله به یک معنی هستند، بنابراین مدل آنها را به عنوان یک مفهوم در نظر می گیرد.

چندوجهی (کار با متن، گفتار و غیره):

این مدل همچنین می تواند با گفتار یا حتی تصاویر کار کند. به عنوان مثال:

اگر بگویید «گربه گرسنه است» یا تصویری از یک گربه گرسنه نشان دهید، مدل همان مفهوم را می‌فهمد: «گربه به غذا نیاز دارد».

برای محتوای طولانی بهتر است:

هنگام نوشتن یک داستان یا مقاله طولانی، مدل می‌تواند جریان ایده‌ها را به‌جای گیرکردن در تک تک کلمات برنامه‌ریزی کند. به عنوان مثال:

اگر در حال نوشتن یک مقاله تحقیقاتی هستید، مدل می تواند به شما کمک کند نکات اصلی (مفاهیم) را ترسیم کنید و سپس آنها را گسترش دهید.

معماری

پردازش ورودی:

متن ورودی ابتدا به جملات تقسیم می شود و هر جمله با استفاده از یک رمزگذار جملات از قبل آموزش دیده (به عنوان مثال SONAR) در یک جاسازی با اندازه ثابت کدگذاری می شود. SONAR تا 200 زبان را پشتیبانی می کند و می تواند ورودی های متن و گفتار را مدیریت کند.
این تعبیه‌ها مفاهیم موجود در توالی ورودی را نشان می‌دهند.

مدل مفهومی بزرگ (LCM):

LCM دنباله ای از جاسازی های مفهومی را پردازش می کند و مفهوم بعدی را در دنباله پیش بینی می کند. این مدل برای انجام پیش‌بینی جملات خودرگرسیون در فضای جاسازی آموزش داده شده است.
خروجی LCM دنباله‌ای از تعبیه‌های مفهومی است که می‌تواند با استفاده از رمزگشای SONAR دوباره به متن یا گفتار رمزگشایی شود.

تولید خروجی:

تعبیه‌های مفهومی ایجاد شده به متن یا گفتار رمزگشایی می‌شوند و خروجی نهایی را تولید می‌کنند. از آنجایی که LCM در سطح مفهوم عمل می کند، فرآیند استدلال یکسانی را می توان برای زبان ها یا روش های مختلف بدون آموزش مجدد اعمال کرد.
LCM از تعمیم شات صفر پشتیبانی می‌کند، به این معنی که می‌توان آن را روی زبان‌ها یا روش‌هایی اعمال کرد که به صراحت روی آن‌ها آموزش ندیده‌اند، تا زمانی که رمزگذار و رمزگشا SONAR از آن‌ها پشتیبانی می‌کنند.

چند نکته کلیدی برای درک در اینجا عبارتند از:

فضای تعبیه سونار:

SONAR یک فضای چند زبانه و چندوجهی برای جاسازی جملات است که از 200 زبان برای متن و 76 زبان برای گفتار پشتیبانی می کند.

تعبیه‌های SONAR بردارهایی با اندازه ثابت هستند که معنای معنایی جملات را به تصویر می‌کشند و آنها را برای استدلال در سطح مفهوم مناسب می‌سازند.

انتشار و تولید مبتنی بر کوانتیزه:

متا چندین رویکرد را برای آموزش LCM از جمله تولید مبتنی بر انتشار بررسی کرد. مدل های انتشار برای پیش بینی مفهوم بعدی استفاده می شود

متا چندین رویکرد را برای آموزش LCM از جمله تولید مبتنی بر انتشار بررسی کرد. مدل‌های انتشار برای پیش‌بینی تعبیه مفهوم بعدی با یادگیری توزیع احتمال شرطی در فضای جاسازی پیوسته استفاده می‌شوند.

رویکرد دیگر شامل کمی کردن تعبیه‌های SONAR در واحدهای مجزا و آموزش LCM برای پیش‌بینی مفهوم کوانتیزه‌شده بعدی است. این امکان تولید و نمونه‌گیری کنترل‌شده‌تری را فراهم می‌کند، مشابه نحوه نمونه‌گیری نشانه‌های LLM از واژگان.

LCM در مقابل LLMs
1. سطح انتزاع

LLM: در سطح نشانه کار می کند و کلمه یا زیرکلمه بعدی را در یک دنباله پیش بینی می کند.
LCM: در سطح مفهوم کار می کند و جمله یا ایده بعدی را در یک دنباله پیش بینی می کند.

2. نمایش ورودی

LLM: توکن های فردی (کلمات یا زیرکلمه ها) را در یک زبان خاص پردازش می کند.
LCM: جاسازی‌های جملاتی (مفاهیم) را پردازش می‌کند که زبانی و مدالیته-آگنوستیک هستند.

3. تولید خروجی

LLM: متن را کلمه به کلمه تولید می کند، با تمرکز بر انسجام محلی.
LCM: جمله به جمله متن را تولید می کند، با تمرکز بر انسجام جهانی و استدلال سطح بالاتر.

4. زبان و روش پشتیبانی

LLM: معمولاً برای زبان ها و روش های خاص (مثلاً متن) آموزش دیده است. اگرچه، LLM های چند وجهی می توانند چندین روش را پشتیبانی کنند.
LCM: طراحی شده برای مدیریت چندین زبان و روش (مانند متن، گفتار، تصاویر) از طریق یک فضای مفهومی مشترک.

5. هدف آموزشی

LLM: آموزش دیده برای به حداقل رساندن خطای پیش بینی نشانه (به عنوان مثال، از دست دادن آنتروپی متقابل).
LCM: آموزش دیده برای به حداقل رساندن خطای پیش بینی مفهوم (به عنوان مثال، میانگین مربعات خطا در فضای جاسازی شده).

6. استدلال و برنامه ریزی

LLM: به طور ضمنی استدلال سلسله مراتبی را می آموزد اما به صورت محلی عمل می کند (توکن به نشانه).
LCM: به طور صریح استدلال سلسله مراتبی، برنامه ریزی در سطح جمله یا ایده را مدل می کند.

7. تعمیم شات صفر

LLM: با تکالیف صفر شات در زبان‌ها یا روش‌هایی که روی آن‌ها آموزش ندیده مبارزه می‌کند.
LCM: به دلیل رویکرد مبتنی بر مفهوم، در تعمیم صفر شات در سراسر زبان ها و روش ها اکسل می کند.

8. کارایی با زمینه های طولانی

LLM: به دلیل پیچیدگی درجه دوم در مکانیسم های توجه، با زمینه های طولانی مبارزه می کند.
LCM: با زمینه‌های طولانی کارآمدتر است زیرا دنباله‌هایی از جاسازی‌های جمله را پردازش می‌کند، که کوتاه‌تر از توالی‌های نشانه هستند.

9. برنامه های کاربردی

LLM: بهترین کار برای کارهای سطح کلمه مانند تکمیل متن، ترجمه و پاسخ به سؤال.
LCM: بهترین کار برای کارهای سطح جمله مانند خلاصه سازی، تولید داستان و استدلال چندوجهی است.

10. انعطاف پذیری

LLM: محدود به وظایف مبتنی بر متن است و نیاز به آموزش مجدد برای زبان‌ها یا روش‌های جدید دارد.
LCM: به لطف طراحی مبتنی بر مفهوم، در بین زبان‌ها و روش‌ها بدون آموزش مجدد قابل انعطاف است.

در نتیجه، مدل‌های مفهومی بزرگ متا (LCM) جهشی قابل توجه در مدل‌سازی زبان را نشان می‌دهند. با عملکرد در سطح مفهومی، LCM ها رویکردی انتزاعی، زبانی-شناسانه و چندوجهی به استدلال و تولید ارائه می دهند. در حالی که LLM ها در وظایف کلمه به کلمه برتری دارند، LCM ها در برنامه های سطح بالاتر مانند خلاصه سازی، تولید داستان و درک متقابل وجهی می درخشند. همانطور که هوش مصنوعی به تکامل خود ادامه می دهد، LCM ها می توانند راه را برای تعاملات شهودی تر و شبیه انسان با ماشین ها هموار کنند و صنایع را از آموزش به سرگرمی تبدیل کنند.

آینده هوش مصنوعی فقط در مورد پیش بینی کلمه بعدی نیست - بلکه در مورد درک ایده بعدی است!


ince ChatGPT’s inception in late 2022, it’s a Generative AI era we’ve been living in with the word “LLMs” becoming the core of everyone’s life.

But recently, you must have heard of some “big tech guys” mentioning that LLM growth is plateauing.

So, what’s next? Meta has an answer

Meta recently introduced LCMs, Large Concept Models, which looks to be the next big step, a major upgrade to LLMs.
Subscribe to datasciencepocket on Gumroad
On a Mission to teach AI to everyone !

datasciencepocket.gumroad.com
What are Large Concept Models?

Meta’s Large Concept Models (LCMs) represent a novel approach to language modelling that operates at a higher level of abstraction compared to traditional Large Language Models (LLMs).

Instead of processing text at the token level, LCMs work with concepts, which are language- and modality-agnostic representations of higher-level ideas or actions.

In Meta’s LCM framework, a concept is defined as an abstract, atomic idea. In practice, a concept often corresponds to a sentence in text or an equivalent speech utterance. This allows the model to reason at a higher semantic level, independent of the specific language or modality (e.g., text, speech, or images).
What does this even mean?

Let’s see an example
Traditional Language Models (LLMs): Word-by-Word Prediction

Imagine you’re writing a story, and you’re using a traditional language model like ChatGPT. It works by predicting the next word (or “token”) based on the words you’ve already written. For example:

You write: “The cat sat on the…”

The model predicts: “mat.”

It’s like filling in the blanks one word at a time. This works well, but it’s very focused on individual words and doesn’t always think about the bigger picture or the overall meaning of the sentence.
Meta’s Large Concept Models (LCMs): Idea-by-Idea Prediction

Now, imagine instead of predicting the next word, the model predicts the next idea or concept. A concept is like a complete thought or sentence, not just a single word. For example:

You write: “The cat sat on the mat. It was a sunny day. Suddenly…”

The model predicts: “a loud noise came from the kitchen.”

Here, the model isn’t just guessing the next word; it’s thinking about the entire idea that should come next. It’s like planning the next part of the story in chunks, not word by word.

This is just crazy !!

Why is this cool?

Language-Independent:

The model doesn’t care if the input is in English, French, or any other language. It works with the meaning of the sentence, not the specific words. For example:

Input in English: “The cat is hungry.”

Input in French: “Le chat a faim.”

Both sentences mean the same thing, so the model treats them as the same concept.

Multimodal (Works with Text, Speech, etc.):

The model can also work with speech or even images. For example:

If you say, “The cat is hungry,” or show a picture of a hungry cat, the model understands the same concept: “A cat needs food.”

Better for Long-Form Content:

When writing a long story or essay, the model can plan the flow of ideas instead of getting stuck on individual words. For example:

If you’re writing a research paper, the model can help you outline the main points (concepts) and then expand on them.

Architecture

Input Processing:

The input text is first segmented into sentences, and each sentence is encoded into a fixed-size embedding using a pre-trained sentence encoder (e.g., SONAR). SONAR supports up to 200 languages and can handle both text and speech inputs.
These embeddings represent the concepts in the input sequence.

Large Concept Model (LCM):

The LCM processes the sequence of concept embeddings and predicts the next concept in the sequence. The model is trained to perform autoregressive sentence prediction in the embedding space.
The output of the LCM is a sequence of concept embeddings, which can then be decoded back into text or speech using the SONAR decoder.

Output Generation:

The generated concept embeddings are decoded into text or speech, producing the final output. Since the LCM operates at the concept level, the same reasoning process can be applied to different languages or modalities without retraining.
The LCM supports zero-shot generalization, meaning it can be applied to languages or modalities it was not explicitly trained on, as long as the SONAR encoder and decoder support them.

A few key points to understand here are:

SONAR Embedding Space:

SONAR is a multilingual and multimodal sentence embedding space that supports 200 languages for text and 76 languages for speech.

SONAR’s embeddings are fixed-size vectors that capture the semantic meaning of sentences, making them suitable for concept-level reasoning.

Diffusion & Quantized Based Generation:

Meta explored several approaches for training the LCM, including diffusion-based generation. Diffusion models are used to predict the next concept embedding by learning a conditional probability distribution over the continuous embedding space.

Another approach involves quantizing the SONAR embeddings into discrete units and training the LCM to predict the next quantized concept. This allows for more controlled generation and sampling, similar to how LLMs sample tokens from a vocabulary.

LCM vs LLMs
1. Level of Abstraction

LLM: Works at the token level, predicting the next word or subword in a sequence.
LCM: Works at the concept level, predicting the next sentence or idea in a sequence.

2. Input Representation

LLM: Processes individual tokens (words or subwords) in a specific language.
LCM: Processes sentence embeddings (concepts) that are language- and modality-agnostic.

3. Output Generation

LLM: Generates text word by word, focusing on local coherence.
LCM: Generates text sentence by sentence, focusing on global coherence and higher-level reasoning.

4. Language and Modality Support

LLM: Typically trained for specific languages and modalities (e.g., text). Though, multi-modal LLMs can support multiple modalities.
LCM: Designed to handle multiple languages and modalities (e.g., text, speech, images) through a shared concept space.

5. Training Objective

LLM: Trained to minimize token prediction error (e.g., cross-entropy loss).
LCM: Trained to minimize concept prediction error (e.g., mean squared error in embedding space).

6. Reasoning and Planning

LLM: Implicitly learns hierarchical reasoning but operates locally (token by token).
LCM: Explicitly models hierarchical reasoning, planning at the sentence or idea level.

7. Zero-Shot Generalization

LLM: Struggles with zero-shot tasks in languages or modalities it wasn’t trained on.
LCM: Excels at zero-shot generalization across languages and modalities due to its concept-based approach.

8. Efficiency with Long Contexts

LLM: Struggles with long contexts due to quadratic complexity in attention mechanisms.
LCM: More efficient with long contexts as it processes sequences of sentence embeddings, which are shorter than token sequences.

9. Applications

LLM: Best for word-level tasks like text completion, translation, and question answering.
LCM: Best for sentence-level tasks like summarization, story generation, and multimodal reasoning.

10. Flexibility

LLM: Limited to text-based tasks and requires retraining for new languages or modalities.
LCM: Flexible across languages and modalities without retraining, thanks to its concept-based design.

In conclusion, Meta’s Large Concept Models (LCMs) represent a significant leap forward in language modelling. By operating at the concept level, LCMs offer a more abstract, language-agnostic, and multimodal approach to reasoning and generation. While LLMs excel at word-by-word tasks, LCMs shine in higher-level applications like summarization, story generation, and cross-modal understanding. As AI continues to evolve, LCMs could pave the way for more intuitive, human-like interactions with machines, transforming industries from education to entertainment.

The future of AI is not just about predicting the next word — it’s about understanding the next idea !

LCM vs. LLM