دانشمندان پردو: چت‌جی‌پی‌تی در پاسخ به سوالات برنامه‌نویسی تنها ۵۲ درصد دقت دارد
تیمی از پژوهشگران دانشگاه پردو در مطالعه‌ای جدید دریافتند که چت‌بات محبوب هوش مصنوعی چت‌جی‌پی‌تی در پاسخ‌دهی به سوالات برنامه‌نویسی خطا‌های زیادی دارد و دقت آن در حد ۵۲ درصد گزارش شده است.
این گروه علمی نتایج بررسی خود را در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI 2024) که از ۱۱ تا ۱۶ می برگزار شده، ارائه کرده‌اند. مقاله مربوطه بخشی از مجموعه مقالات این کنفرانس بین‌المللی است.
محققان ۵۱۷ سوال برنامه‌نویسی را از وب‌سایت استک‌اوورفلو انتخاب کرده و آن‌ها را به چت‌جی‌پی‌تی پرسیدند. بررسی‌ها نشان داد که تنها در ۵۲ درصد موارد پاسخ‌های صحیح و دقیق دریافت شده است.
استک‌اوورفلو پلتفرمی است که برای پشتیبانی از برنامه‌نویسان و تسهیل یادگیری از طریق تعامل با دیگران طراحی شده و سوالات آن به‌صورت رایگان در دسترس عموم قرار دارد.
پژوهشگران اشاره کردند که تعداد زیادی از دانشجویان برنامه‌نویسی از مدلهای زبانی بزرگ (LLM)ها نه تنها برای کمک در نوشتن کد در تکالیف، بلکه برای پاسخ به سوالات فنی برنامه‌نویسی نیز استفاده می‌کنند.
بررسی دقت چت‌بات‌های هوش مصنوعی ادامه دارد
چت‌جی‌پی‌تی و سایر مدلهای زبانی بزرگ اخیرا مورد بررسی دقیق قرار گرفته‌اند. با وجود محبوبیت گسترده این ابزار‌ها در میان عموم، پژوهشگران هشدار می‌دهند که در کنار اطلاعات مفید، حجم قابل‌توجه‌ی از نادرستی‌ها نیز در پاسخ‌های آن‌ها وجود دارد که همیشه به‌وضوح قابل تشخیص نیستند.
مطالعات بیش‌تر در رابطه با دقت و قابلیت اعتماد چت‌بات‌های هوش مصنوعی همچنان در حال انجام است.
