Torchino

#آموزش #کتاب #NLP

من کلی تحقیق کردم که openai چیکار کرده که تونستی همچین پیشرفتی کنه! کلی سایت را زیر و رو کردم و حتی از هوش مصنوعی های متفاوت هم پرسیدم که چطوری اینکارو کرده، چیو تغییر داده؟! بعد از تحقیق ها به نتایج زیر دست یافتم: 1.پیشرفته تر کردن الگورتم هاشون 2.داده های خیلی خیلی بیشتری بهش دادن 3.توکن های استدلال داره، یعنی می‌تونه مسائل پیچیده را تقسیم کنه به قسمت های کوچیک تر، مثلا اگه بهش یک مسئله ی ریاضی پیچیده بهش بدین تا حلش کنه تنها در یک مرحله اون را حل نمیکنه! بر خلای نسخه ی gpt4o میاد اون را تقسیم به قسمت های مختلف میکنه و هر قسمت را جدا جدا حل میکنه یعنی از استدلال زنجیره ای استفاده میکنه که باعث میشه مدل سوال شما را به قسمت های مختلف تقسیم کنه و این باعث میشه که مدل بهتر کار کنه و دچار توهم نشه و پاسخ های چرت و پرت تولید نکنه و در سوگیری و نابرابری کاهش داشته که باعث عملکرد بالا شده

یک پست مفید، آخرین مدل پیشرفته OpenAI به نام o1 را به این صورت خلاصه کرده است: 🔹 بهبود کیفیت: دلیل بهبود این مدل، توانایی آن در استدلال قبل از ارائه پاسخ است. در حالی که خودِ فرآیند استدلال نشان داده نمی‌شود، یک خلاصه سطح بالا از آن ارائه خواهد شد. 🔹 پیشرفت در استدلال: مدل‌های قبلی نیز می‌توانستند استدلال کنند، اما با کارایی کمتر. تمرکز OpenAI بر بهبود توانایی مدل در رسیدن به پاسخ صحیح از طریق اصلاح و استدلال مکرر بوده است. 🔹 تمرکز مدل: o1 قرار نیست جایگزین gpt-4o در همه وظایف شود. این مدل در زمینه‌های ریاضی، فیزیک و برنامه‌نویسی بهتر عمل می‌کند، دستورالعمل‌ها را دقیق‌تر دنبال می‌کند، اما ممکن است در زبان‌شناسی ضعیف‌تر باشد و دانش پایه محدودتری داشته باشد. بهتر است این مدل را به عنوان "متفکر" (مانند مفهوم "اندیشمند" در روسی) در نظر بگیرید. نسخه مینی این مدل با gpt-4o-mini قابل مقایسه است و تفاوت بزرگی وجود ندارد. 🔹 دسترسی به مدل: در حال حاضر، این مدل برای تمامی مشترکین پرداختی ChatGPT Plus در دسترس است، اما با محدودیت‌های سختگیرانه: 30 پیام در هفته برای مدل بزرگ و 50 پیام برای نسخه مینی. بنابراین، درخواست‌های خود را با دقت برنامه‌ریزی کنید! 🔹 دسترسی از طریق API: اگر از API به طور مکرر استفاده کرده‌اید و در گذشته بیش از 1000 دلار هزینه کرده‌اید، می‌توانید از طریق API به این مدل دسترسی داشته باشید، اما با محدودیت 20 درخواست در دقیقه. 🔹 هزینه‌ها: هزینه‌ها بالاست: نسخه کوچک‌تر o1-mini کمی گران‌تر از نسخه gpt-4o در ماه آگوست است. در واقع شما برای استدلال‌هایی که مدل انجام می‌دهد (و نمی‌بینید)، هزینه پرداخت می‌کنید که ممکن است به طور قابل توجهی بیشتر باشد. بنابراین، افزایش قیمت می‌تواند بین 3 تا 10 برابر باشد، بسته به میزان زمانی که مدل برای "تفکر" صرف می‌کند. 🔹 توانایی‌ها: این مدل مسائل ریاضی و برنامه‌نویسی در سطح المپیاد را با مهارت برنده‌های بین‌المللی حل می‌کند و برای مسائل پیچیده فیزیکی که به سادگی با جستجوی گوگل قابل حل نیستند، در سطح یک دانشجوی دکتری (~75-80% صحیح) عمل می‌کند. 🔹 ویژگی‌ها: در حال حاضر، مدل نمی‌تواند از تصاویر استفاده کند، در اینترنت جستجو کند یا کد اجرا کند، اما این ویژگی‌ها به زودی اضافه خواهند شد. 🔹 محدودیت‌ها: زمینه (Context) مدل هنوز به 128 هزار توکن محدود است، مشابه نسخه‌های قبلی. با این حال، انتظار می‌رود این مقدار در آینده افزایش یابد، زیرا OpenAI ادعا می‌کند که مدل در حال حاضر به مدت چند دقیقه "فکر" می‌کند و هدف، افزایش این مدت زمان است. 🔹 مشکلات اولیه: مانند هر انتشار اولیه، ممکن است برخی باگ‌های ساده وجود داشته باشد که مدل به درخواست‌های واضح پاسخ ندهد یا به "راه‌های فرار" منجر شود. این موضوع طبیعی است و انتظار می‌رود این مشکلات طی 2-3 ماه کاهش یابد، زمانی که مدل از حالت پیش‌نمایش خارج شود. 🔹 نسخه غیر پیش‌نمایش: OpenAI در حال حاضر نسخه غیر پیش‌نمایش این مدل را در اختیار دارد که در حال آزمایش است و گفته می‌شود از نسخه فعلی بهتر است. 🔹 عملکرد خودکار: مدل جدید بدون نیاز به درخواست‌های خاص عمل می‌کند؛ نیازی نیست از آن بخواهید به‌طور دقیق و مرحله‌به‌مرحله پاسخ دهد، این کار به‌صورت خودکار در پس‌زمینه انجام خواهد شد. #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

میخوای هوش مصنوعی را یاد بگیری؟ نمیدونی باید از کجا شروع کنی؟ چیا یاد بگیری؟ فقط روی این لینکی که گذاشتم کلیک کنید : https://roadmap.sh/ai-data-scientist شما وارد یکی از برترین سایت هایی که رودمپ های هر حوزه را میزاره شدید 😁 یکی از کامل ترین رودمپ ها در این وب سایت قرار گرفته! که همه چیز را بهت میگه! و قشنگ راه رو جلوت میزاره دیگه چی میخوای؟🤪

روز برنامه نویس را به شما دوستان عزیز تبریک میگم🥳 امیدوارم سالی بدون باگ داشته باشین بهترین‌ پرفورمنس را از توی مدل هاتون بگیرید😄 و بهترین مدل های جهان را طراحی کنید و باگ‌ کمتر توی کدتون باشه😁 و کافئین خونتون هم همیشه بالا باشه و همیشه پر انرژی و خندون باشید :)

درضمن‌ نگران دیتاست نباشید 😁 چیزی که زیاده داده هست (توی گوگل البته) با اسکرپت کردن میتونیم کلی داده بدست بیاریم مثلا از پذیرش ۲۴ و ... داده ی پزشکی گیتهاب و ... داده ی برنامه نویسی برای آشپزی نمیشناسم ولی راه حل دیگه ای دارم برای گرفتن داده

در ضمن تمامی مدل ها اوپن سورس هست! ورژن اولیه ربات که فقط می‌تونه حرف بزنه(مثل یک آدم!) تا روز های آینده درست میشه و الان در مرحله ی آموزش مدل و تست هستیم برای ورژن دوم چی کار کنیم؟ انتخواب کنید

درود 🫡 دوستان یک سوالی ازتون دارم! چرا openai و شرکت های دیگه، میان chatbot هایی میسازن که همه چیز را یاد داشته باشن؟! یعنی چرا نمیان چند تا هوش مصنوعی متفاوت برای کار های متفاوت بسازن؟🙄 اگه نظر منو بخواین میگم خب اگه بیان برای هر حوزه ی فناوری یک هوش مصنوعی بسازن خیلی بهتر هست! تا اینکه بیان میلیارد ها میلیارد پارامتر برای مدل هاشون بسازن بیان میلیونی برای کار های متفاوت مدل بسازن! تاره اینجوری بجای اینکه کلی GPU, tpu و کلی سخت افزار دیگه را برای یک هوش مصنوعی که هنوز کلی خطا داره خرج کنن! طبق این پستی که خوندم: https://t.me/cvision/3690 آقای Ray Kurzweil میگه که قسمتی که به ما اجازه ی فکر کردن و درک مطالب را میده تقریبا ۶ میلیون نورون داره !‌ و همین ۶ میلیون نورون میتونه کل کار ها را انجام بده! خب منم نمیگم که بیایم مدل هایی با سایز خیلی کوچیک بسازیم! ولی باید اینو در نظر بگیریم که اگه من یک برنامه نویس هستم پس از پزشکی هیچی سرم نمیشه! یا یک نجار نمیتونه مهارت هایی که نداره را انجام بده! پس باید مدل ها را طوری بسازیم که مثل انسان باشه و کار های مربوطه ی خودش را انجام بده ! نه اینکه همه‌چیز دان باشه! مثلا توی این پست دیگه یک سوالی برام ایجاد شد! https://t.me/cvision/3691 چرا باید بیان مدلی که الان خیلی خفن تر از بقیه هست را از سایز 70B به 405 میلیاردی تبدیل کنن؟! چرا سعی نمیکنن که همین قدرت 70B را حفظ کنن و سایز را خیلی کوچیک تر کنن؟! آیا غیر ممکنه؟ آیا اینکه سایز کوچیک مدل باعث شده خیلی از هوش مصنوعی های روز دنیا را کنار بزنه می‌تونه دلیلی باشه که مدلی با سایز بزرگتر کلا هوش مصنوعی ها را نابود کنه یا اینکه چیز دیگه ای جای این هوش مصنوعی را میگیره؟🫥 لطفا توی کامنت ها جواب بدید و نظراتتون را بگید:

میدونستی که ChatGPT چطوری کار میکنه؟ 🤨 توی این پست می‌خوام توضیح بدم که GPT چطور متن تولید می‌کنه! GPT چیه؟ GPT یک مدل هوش مصنوعی از نوع LLM (Large Language Model) هست که برای تولید و پردازش زبان طبیعی استفاده میشه. LLM چطور متن تولید می‌کنه؟ برای ساختن یک دستیار شخصی با LLM، می‌تونید از چند روش مختلف استفاده کنید. قبل از اینکه به این راهکارها بپردازم، باید بدونید که تقریباً ۸۰ درصد کار، بستگی به داده‌هایی داره که به مدل می‌دین. 1. روش Q&A: داده‌ها به‌صورت سوال و جواب ساده باشن، مثل:

"سلام" : "سلام، چطور می‌تونم کمک کنم؟" "چند سالته؟" : "من سنی ندارم!"

این روش مشابه به آموزش کودکان هست که با تقلید از اطرافیان، یاد می‌گیرن چطور جواب بدن. 2. روش لیستی: داده‌ها به‌صورت لیست‌های مجزا از جمله‌های کامل باشن، مثل:

["سلام، من یک ربات هستم که می‌تونم به شما کمک کنم"] ["من می‌تونم براتون کد بنویسم"]

این روش به مدل کمک می‌کنه تا الگوهای عمومی‌تر رو یاد بگیره و پاسخ‌ها متنوع‌تر باشن. 3. روش کتابی: داده‌ها مثل یک کتاب یا راهنما باشن، مثل:

"سلام، من رباتی هستم که می‌تونم برای شما کد بنویسم. برای نوشتن تابعی که دو عدد را جمع کند، باید این کد را بنویسید:..."

در این روش، مدل دانش جامع‌تری یاد می‌گیره و می‌تونه با متن‌های پیچیده‌تر هم کار کنه. انتخاب الگوریتم برای ساخت یک مدل GPT، الگوریتم‌ها هم نقش مهمی دارن. در ادامه چند روش معروف رو معرفی می‌کنم: 1. LSTM و RNN: این الگوریتم‌ها روابط بین کلمات رو بررسی می‌کنن و الگوهای جملات رو به‌خوبی درک می‌کنن. برخلاف N-gram ها که محدودتر هستن، این روش‌ها می‌تونن بهتر کلمات بعدی رو پیش‌بینی کنن. 2. N-gram ها: در این روش، کلمه‌ی بعدی بر اساس تعداد تکرار کلمات قبلی انتخاب می‌شه. برای مثال، در یک مدل ۴-gram، فقط چهار کلمه قبلی بررسی می‌شن. 3. Embedding (بردارسازی): کلمات به بردارهای عددی تبدیل می‌شن و مدل بر اساس نزدیکی این بردارها به همدیگه، کلمه‌ی بعدی رو پیش‌بینی می‌کنه. این روش شبیه به الگوریتم KNN عمل می‌کنه. چطور متن تولید می‌شه؟ مدل‌های LLM برای تولید متن، کلمه بعدی رو پیش‌بینی می‌کنن. برای مثال، وقتی شما به مدل می‌گید "سلام"، مدل بر اساس داده‌های قبلی خودش پیش‌بینی می‌کنه که کلمه‌ی بعدی مثلاً "خوبی؟" باشه. اما فرآیند پیش‌بینی خیلی ساده نیست. مدل ابتدا چندین کلمه‌ی مختلف رو بررسی می‌کنه و بر اساس احتمالات، کلمه‌ای که بیشترین احتمال رو داره انتخاب می‌کنه. نکته آخر ساختن یک مدل قدرتمند مثل GPT ساده نیست. شما نیاز به سخت‌افزار قوی و بهینه‌سازی‌های مناسب دارین. خیلی‌ها دستیارهای هوشمند قدرتمندی ساختن، ولی به‌خاطر نبود سخت‌افزار مناسب، پروژه‌هاشون متوقف شده. بهترین کد رو با بدترین سخت‌افزار هم بنویس! 🫡