چگونه از هوش مصنوعی برای استخراج نقل قول از پوسترها استفاده کردیم

آیا هوش مصنوعی می تواند نقل قول هایی را از پوسترهای کنفرانس منتشر شده در رسانه های اجتماعی استخراج کند؟ نتایج یک مطالعه تجربی توسط محققان Digital Science نشان می‌دهد که فلاش Gemini 2.0 می‌تواند داده‌های استنادی را از تصاویر X (توئیتر سابق) با دقت 92 درصد استخراج کند و آنها توانستند 63 درصد (با پتانسیل زیادی برای افزایش این درصد) را در پایگاه داده Dimensions به هم متصل کنند.

پوسترهای کنفرانس اغلب حاوی اطلاعات منتشر نشده یا مهم هستند. برای مثال، یک پوستر ممکن است بینش‌های اولیه یک مطالعه یا کارآزمایی بالینی، ماه‌ها یا سال‌ها قبل از انتشار را به اشتراک بگذارد. دسترسی به این اطلاعات می تواند تصمیمات بالینی و استراتژیک را تغییر دهد، اما از آنجا که مطالعات به اشتراک گذاشته شده در پوسترها، ارائه ها و سایر تصاویر اغلب فاقد داده های ساختاری هستند، با ابزارهای ردیابی شناسایی نمی شوند و تجزیه و تحلیل دستی آنها برای داده های استنادی بسیار وقت گیر است.

دکتر مایک تیلور (رئیس اطلاعات بینش) و دکتر کارلوس آریا (دانشمند ارشد داده)، هر دو در علم دیجیتال، یک مطالعه اکتشافی انجام دادند تا دریابند آیا امکان استخراج داده های استنادی ساختاریافته از تصاویر پوستر با استفاده از LLM وجود دارد یا خیر. برای به دست آوردن بینش معنی‌دار از این داده‌ها، این مطالعه بررسی کرد که اتصال این نتایج به پایگاه‌های داده Dimensions و Altmetric چقدر آسان است.

ما روش شناسی و نتایج این مطالعه را در اینجا خلاصه می کنیم، اما می توانید مطالعه کامل را در اینجا بیابید: https://doi.org/10.2196/78148

بیش از 115000 نشریه X مربوط به نشست انجمن انکولوژی بالینی آمریکا (ASCO) در سال 2024 برای تصاویر پوستر با کیفیت بالا غربال و فیلتر شدند. با توجه به در دسترس بودن بالای فراداده کنفرانس ASCO، یک کنفرانس کوچکتر و غیر بالینی نیز برای بررسی مجدد صحت استناد و پیوند گنجانده شد.

سپس تیم از یک مدل فلش Gemini 2.0 که به سرعت طراحی شده بود برای طبقه بندی تصاویر، خلاصه کردن پوسترها و استخراج عناصر استنادی ساختاریافته (مثلاً نویسندگان، عنوان، DOI) در JSON استفاده کرد.

یک الگوریتم سلسله مراتبی داده های JSON را به پایگاه داده ابعاد نقشه برداری کرد. اعتبار سنجی دستی بر روی یک نمونه تصادفی 20 درصدی انجام شد. می توانید متدولوژی کامل را بیابید و دستور کامل مدل را در مقاله منتشر شده بخوانید.

این مطالعه اثبات موفقیت آمیز این مفهوم است که از LLM ها می توان برای استخراج نقل قول ها از تصاویر (مانند پوسترهای کنفرانس) به شیوه ای مقیاس پذیر و دقیق استفاده کرد.

در مجموع، در 115714 نشریه و 16574 تصویر مورد تجزیه و تحلیل، 651 مورد معیارهای ورود را برآورده کردند و 1117 استناد بالقوه را به دست آوردند. این الگوریتم توانست 63 درصد از این استنادها را به 616 یافته تحقیقاتی منحصر به فرد (580 مقاله ژورنالی؛ 36 ثبت کارآزمایی بالینی) مرتبط کند. بررسی دستی 135 استناد به طور تصادفی انتخاب شده نشان داد که در 92 درصد مواقع به درستی پیوند داده شده اند.

چگونه Altmetrics و Dimensions نقل قول های پوستر کنفرانس را به بینش های ارزشمند تبدیل می کند؟

این مطالعه علاوه بر اثبات اینکه LLM می‌تواند داده‌های استنادی را از تصاویر استخراج کند، نشان می‌دهد که چگونه Altmetrics و Dimensions زمینه معناداری و عملی را برای نقل‌قول‌های کشف‌شده فراهم می‌کنند. Dimensions میزبان بزرگ‌ترین مجموعه داده‌های پژوهشی مرتبط است، و Altmetric توجه تحقیقات آنلاین، از جمله اشاره‌ها و استنادات رسانه‌های اجتماعی، رسانه‌های جریان اصلی، پتنت‌های خط‌مشی، و موارد دیگر را نظارت و گزارش می‌دهد.

برخلاف معیارهای سنتی مبتنی بر استناد، این پلتفرم‌ها چشم‌انداز وسیع‌تری در مورد تأثیر پژوهش ارائه می‌دهند و آنها را به یک مکمل ضروری برای محققان، مؤسسات و سیاست‌گذاران تبدیل می‌کنند. ابعاد این تیم را قادر می سازد تا استنادهای کشف شده را به انتشارات، آزمایشات بالینی، پتنت ها و کمک های مالی مرتبط کند.

این امکان را برای تجزیه و تحلیل عمیق یافته ها فراهم کرد. به عنوان مثال، با استفاده از تاکسونومی مشارکت بین المللی برای تحقیقات سرطان در ابعاد، محققان توانستند به سرعت انواع اصلی سرطان ذکر شده در استنادهای پوستر را شناسایی کنند. Altmetric قادر به ارائه اندازه گیری تحقیق در زمان واقعی است. Altmetric نشان می دهد که در نهایت چندین پوستر منتشر شد و به سطح قابل توجهی از توجه دست یافت.

این مطالعه دری را برای استفاده آینده از هوش مصنوعی استخراج تصویر برای جمع‌آوری اشاره‌ها و استنادات علمی در منابع جدید و همچنین سایر داده‌های بالینی مرتبط از پوسترهای کنفرانس باز می‌کند. موفقیت این مطالعه آزمایشی گواهی بر تعهد مداوم علم دیجیتال به نوآوری در روش‌های تحقیقاتی پیشرو در صنعت است.

از سال 2010، علم دیجیتال به کسب و کارها و سازمان ها در سراسر بخش ها کمک می کند تا کشف و ایجاد راه حل های سفارشی برای نیازهای تحقیقاتی خود را تسریع کنند. چه از طریق تجزیه و تحلیل احساسات، خلاصه تاثیر، ردیابی قرارداد، یا سایر معیارهای سفارشی باشد. اکنون، پلتفرم‌ها و ابزارهای کاربرپسند ما، از جمله Altmetric و Dimensions، این فناوری‌های پیشرفته را در دسترس همگان قرار داده‌اند و محققان، دانشگاه‌ها، سرمایه‌گذاران، کسب‌وکارها و ناشران را قادر می‌سازند تا دانش را پیش ببرند و کشف کنند.