ارزیابی پژوهشی مسئولانه در عمل

ارزیابی تحقیق مسئولانه در واقع از افرادی که زیرساخت را ایجاد می کنند، نه از کسانی که خط مشی را می نویسند، نیاز دارد؟ در این پست، استفان هیل از DORA و مانیفست لیدن تا بیانیه بارسلونا را ردیابی می‌کند و معنای اصول را در عمل برای ابزارهایی که تحقیق را توصیف، کشف و اندازه‌گیری می‌کنند، بیان می‌کند.

بیش از یک دهه پیش، یکی از اولین وظایف من در یک شغل جدید، مشاوره در مورد اینکه آیا سازمانی که به تازگی به آن ملحق شده بودم، شورای تامین مالی آموزش عالی برای انگلستان، باید در اعلامیه سانفرانسیسکو در مورد ارزیابی تحقیقات (DORA) ثبت نام کند یا خیر، بود. ما به عنوان بنیانگذار این کار را انجام دادیم و تصمیم درستی بود. بحث اصلی DORA این است که معیارها، به ویژه ضریب تأثیر مجله، نباید به عنوان جایگزینی برای کیفیت تحقیقات فردی عمل کند. این اصل علاوه بر درست بودن، سیگنال مهمی است مبنی بر اینکه فرآیند ملی ارزیابی پژوهش در بریتانیا رویکردی تقلیل گرایانه به کیفیت پژوهش ندارد.

چیزی که از آن دوره به من چسبیده، امضای قرارداد نیست، بلکه آن چیزی است که بعد از آن اتفاق افتاد. سیستم تحقیقاتی علاوه بر درگیر شدن با مجموعه گسترده ای از اصول مبتنی بر DORA، به کار صبورانه برای تبدیل این اصول به واقعیت نیاز دارد. Metric Tide و پیگیری های هفت سال بعد تا حد زیادی تلاشی برای جدی گرفتن این موضوع بود و اصطلاح “ارزیابی پژوهشی مسئولانه” را برای نشان دادن این جنبش ابداع کرد. قوس DORA از طریق مانیفست لیدن، جزر و مد متریک، اصول هنگ کنگ، ائتلاف برای پیشرفت ارزیابی تحقیقات (CoARA) و اخیراً دستورالعمل‌های شورای تحقیقات جهانی (GRC)، داستان جامعه تحقیقاتی جهانی در حال حرکت از اعلام به اجراست. GRC، که سران سازمان‌های تامین مالی تحقیقات را از سراسر جهان گرد هم می‌آورد، هر دو ابزار را برای ارزیابی عملکرد خود و راهنمایی‌های عملی برای ایجاد تغییرات لازم در عملکرد خود به سرمایه‌گذاران ارائه کرد. و چارچوب SCOPE برای ارزیابی تحقیق، فرآیندی برای تفکر از طریق ارزیابی پژوهشی مسئولانه در هر زمینه ارزیابی ارائه می دهد.

من دوباره به همه اینها فکر می کنم، اما از جهتی ناآشنا. در بیشتر دوران حرفه‌ای من یک سیاست‌گذار بودم، اصول را می‌نوشتم و نگران بودم که آیا کسی از آنها پیروی می‌کند یا خیر. در علم دیجیتال، من اکنون از جهت دیگری نگاه می کنم: ساخت ابزارهایی که از طریق آن تحقیق توصیف، کشف و اندازه گیری می شود. هم تنظیم محیط سیاست و هم کمک به شکل دادن به ابزارها قدرت و مسئولیت دارند، اما پتانسیل ها و مشکلات متفاوت است. تغییر دیدگاه این سوال را مطرح می‌کند: ارزیابی پژوهشی مسئولانه چه چیزی باید از افرادی که زیرساخت را ایجاد می‌کنند بخواهد؟

اصول چه چیزی را ایجاب می کنند – و چه چیزی را ندارند

شایان ذکر است که ارزیابی تحقیق مسئول چیست زیرا به راحتی کاریکاتور می شود. این یک رد اندازه گیری نیست و درخواستی برای بازگشت به بررسی همتایان خالص و مبتنی بر داده نیست. DORA، مانیفست لیدن، جزر و مد متریک، اصول هنگ کنگ و توافقنامه CoARA را بخوانید و یک هسته منسجم پدیدار می شود. ارزشیابی باید در درجه اول بر اساس قضاوت کیفی و کارشناسی، بر اساس بررسی همتایان باشد. نگهداری می شود، با استفاده مسئولانه از شاخص های کمی جابجا نمی شود. باید در مورد اثر قضاوت کند، نه مکانی که در آن ظاهر شده است. باید تنوع واقعی آنچه که محققان تولید می‌کنند و انجام می‌دهند را بشناسد: نه فقط مقالات، بلکه داده‌ها، نرم‌افزار، راهنمایی، بررسی همتایان، مشارکت عمومی، کار اغلب نامرئی افرادی که پژوهش را ممکن می‌سازند. و باید نسبت به زمینه، نظم و انضباط، به مرحله شغلی حساس و در مورد محدودیت های خود صادق باشد. در نهایت، همانطور که در چارچوب SCOPE مشخص شده است، همچنین مهم است که به طور انتقادی در نظر بگیرید که آیا ارزیابی اصلاً ضروری است یا خیر.

همچنین منصفانه است که بگوییم که نهادهای تجاری در فضای ارزیابی پژوهش اغلب در بحث های ارزیابی پژوهشی مسئولانه مورد انتقاد قرار می گیرند. مانیفست لیدن مستلزم آن است که داده ها و روش های پشت شاخص ها باز و شفاف باشد تا ارزیابان بتوانند آنها را تأیید کنند. CoARA با فراخوانی از جامعه تحقیقاتی برای حفظ مالکیت و کنترل زیرساخت ها و معیارهای مورد استفاده برای ارزیابی آن، فراتر رفته و آشکارا نسبت به “جعبه های سیاه” اختصاصی محتاط است. آخرین بررسی Metric Tide بر آسیبی است که رتبه‌بندی دانشگاه‌های انتفاعی – که خارج از جامعه دانشگاهی ساخته شده‌اند – همچنان به فرهنگ تحقیقاتی وارد می‌کنند.

برخی از این انتقادات ممکن است معتبر باشند، اگرچه چالش های عملی واقعی در تحقق مالکیت کامل جامعه بر داده ها و زیرساخت ها وجود دارد. و بنچمارک، به خوبی ساخته شده و به درستی مورد استفاده قرار می گیرد، جایگاهی در معیارسنجی دانشگاه دارد. همچنین این سوال وجود دارد که ارائه دهندگان تجاری چگونه به ارزیابی تحقیق مسئولانه پاسخ می دهند. ابزارها و داده ها ناپدید نمی شوند. سؤال این است که آیا آنها در جهت اصول حرکت می کنند یا خلاف آن؟ این مشکل واقعی است و باید تمرکز افرادی باشد که زیرساخت ها را ایجاد می کنند، چه تجاری باشد و چه نباشد، همراه با افرادی که سیاست ها را می نویسند.

چرا صراحت حرف اول را می زند

در علم دیجیتال، همکاران در اینجا به طور علنی از طریق بیانیه بارسلونا در مورد اطلاعات تحقیقاتی با این موضوع دست و پنجه نرم می کنند. اولین تعهد اعلامیه این است که گشودگی را استاندارد کند اطلاعات تحقیق ما استفاده می کنیم و تولید می کنیم – سوابق مربوط به اینکه چه کسی چه کاری انجام داده است، پول کجا رفته، نتایج و مشارکت ها چگونه با یکدیگر مرتبط هستند – و برای حفظ زیرساخت های باز مشترک که آنها را نگه می دارند. دانیل هوک، مدیر عامل ما در این وبلاگ می نویسد که محققین حق اساسی برای دسترسی به فراداده های تحقیقاتی دارند و داده هایی که برای ارزیابی دانشگاهیان استفاده می شوند باید به طور شفاف قابل دسترسی و تکرار باشند. او همچنین استدلال می‌کند که مسائلی در ارزیابی و اندازه‌گیری وجود دارد که جمع‌آوری آن‌ها به داده‌هایی گران یا پیچیده نیاز دارد و باز بودن ممکن است در این مورد امکان‌پذیر نباشد. من فکر می‌کنم در نظر گرفتن تعادل و تنش مسیر درستی است، و ارزش آن را دارد که چرایی آن را مد نظر قرار دهیم، زیرا اطلاعات تحقیق باز، لولای است که کل بحث به آن بستگی دارد.

اصول معیارهای مسئول به سادگی در اطلاعات بسته و غیرقابل تأیید قابل دستیابی نیستند. نمی‌توانید از مردم بخواهید به رتبه‌بندی مبتنی بر داده‌هایی که اجازه دیدن آنها را ندارند اعتماد کنند. اطلاعات تحقیق باز یک پیش نیاز است، نه یک اضافی اختیاری. اما باز بودن به تنهایی کافی نیست. همکار من سیمون پورتر، دوباره در این وبلاگ، درباره مسئولیت‌های ما نوشته است کاربران فراداده، نه فقط تولیدکنندگان آن. استفاده از اطلاعات پژوهشی باید زمینه ای را که در آن تولید می شود، منشأ آن و درجه ای که می توان به منابع اطلاعاتی اعتماد کرد و نه فقط در دسترس بودن آن را در نظر گرفت. اطلاعاتی که دقیق نیستند یا به درستی دارای زمینه نیستند، می توانند قضاوت انسان را به جای حمایت از آن، تحریف کنند. سیمون همچنین به درستی به نگرانی‌های بالقوه حقوق صاحبان سهام اشاره می‌کند که در آن افراد غنی از فراداده نسبت به افراد فقیر در فراداده برتری دارند، که اصل تنوع و گنجاندن ذاتی در ارزیابی پاسخگو را تضعیف می‌کند. او همچنین خاطرنشان می کند که و همچنین مسئولین استفاده کنید اطلاعات پژوهشی، نتایج مجموعه داده ها نیز مهم است.

عملی کردن اصول

چگونه یک ارائه دهنده زیرساخت تحقیقاتی تجاری نقش خود را در حمایت از ارزیابی پژوهشی مسئولانه درک می کند؟ به جای اینکه محصولات علوم دیجیتال را یک به یک نگاه کنم، می‌خواهم روی اصول ارزیابی پژوهشی مسئولانه تمرکز کنم و نمونه‌هایی را برجسته کنم که در آن ابزارها و سایر گزینه‌های ما همسو هستند.

گسترش آنچه مهم است. تحقیق چیزی بیش از مقالات مجلاتی است و زیرساخت باید بتواند طیف وسیع تری از نتایج را ببیند و تشخیص دهد. توانایی دادن به مجموعه داده‌ها یک شناسه دائمی و خانه، روی سطح نرم‌افزار و پیش‌چاپ‌ها و اسناد خط‌مشی در کنار اسناد، پیوند دادن کمک‌های مالی، پتنت‌ها و آزمایش‌های بالینی به تصویری کامل‌تر از مشارکت، در مرکز ارزیابی مسئولانه است. ابزارهای علوم دیجیتال مانند Symplectic Elements، Figshare و Dimensions، و ابزارها و گردش‌های کاری که آن‌ها را فعال می‌کنند، دقیقاً به اندازه‌ای مفید هستند که خروجی‌های مختلف را قابل مشاهده و قابل احترام می‌سازند.

حمایت از قضاوت به جای جایگزینی آن. ارزشمندترین کاری که یک سیستم می تواند انجام دهد این است که عددی تولید نکند، بلکه این است که دیدگاهی تا حد امکان از شواهد موجود جمع آوری کند تا مردم بتوانند قضاوت خوبی داشته باشند و محقق بتواند داستان خود را بیان کند. ابعاد شامل مجموعه‌ای از ابزارها است که تصمیم‌گیرندگان را قادر می‌سازد به خلاصه‌های واضحی از داده‌ها و شواهد مورد نیاز خود دسترسی داشته باشند. سیستم‌های اطلاعات تحقیقاتی مانند Elements، که از روایت‌ها و رزومه‌های مبتنی بر شواهد پشتیبانی می‌کنند و افراد را از اهانت به استفاده مجدد از همان اطلاعات به شکلی دیگر نجات می‌دهند، واقعاً با روحیه اصلاحات کاری انجام می‌دهند. قابلیتی که اخیراً معرفی شده است برای وارد کردن رزومه به عناصر به طور مستقیم به این هدف کمک می کند.

ابعاد زیادی نه یک. هنگامی که Altmetric برای اولین بار ظاهر شد، هدف واقعی آن ارائه یک “امتیاز” جدید نبود، بلکه برجسته کردن شواهدی از مشارکت های گسترده تر فراتر از آنهایی بود که توسط استنادها اندازه گیری می شد. شواهد توجه در اسناد خط مشی، در مطبوعات، در دستورالعمل های بالینی چیزی را به شما می گوید که استناد نمی تواند آن را توضیح دهد. پیوندهای بین انتشارات و پتنت ها و اسناد خط مشی در Dimensions نیز این تصویر غنی تر از تحقیق را ارائه می دهد. فراتر از خط تولید علم دیجیتال، اورتون همچنین داده هایی را در مورد ارتباطات غنی بین تحقیق و سیاست ارائه می دهد.

شفافیت و زمینه اینجاست که بیانیه بارسلونا اهمیت دارد و اصول باز علوم دیجیتال نحوه کار ما را برای هماهنگ کردن ابزارهایمان با اهداف آن تعریف می کند. ارائه دسترسی آزاد به عناصر اصلی مجموعه داده‌های ابعاد و Altmetric، زیربنای این اصول است، همراه با تعهدات ما برای همکاری با جامعه پژوهشی و انتشار آشکار تفکر و تحقیق خود. برای مثال، زمانی که داده‌های Dimensions برای اهداف ارزیابی استفاده می‌شوند، محققان و کارفرمایان آنها می‌توانند داده‌ها را تأیید و تأیید کنند. داده‌های ما در کنار منابع باز مانند Crossref و DataCite و شناسه‌های دائمی مانند ORCID و ROR، بخش‌های کلیدی زیرساخت باز برای ارزیابی تحقیقات مسئولانه قرار دارند. OpenAlex همچنین اطلاعات کاملاً باز را به عنوان یک جمع‌کننده ثانویه ارائه می‌دهد که در برخی مناطق با ابعاد همپوشانی دارند.

من زمان کافی را در سیاست گذرانده ام تا باور کنم که همه اینها تنها با ابزارهای بهتر قابل حل است. ارزیابی پژوهشی مسئولانه به همان اندازه که به سیستم ها و زیرساخت ها مربوط می شود، به رفتار، هنجارها و مشوق ها نیز مربوط می شود. و انتخاب بین زیرساخت های تجاری و سیستم های متعلق به جامعه نیست. آنچه مهم است این است که زیرساخت به گونه ای ساخته و استفاده شود که از قضاوت انسان پشتیبانی کند، آنچه را که برای ما ارزش قائل هستیم گسترش دهد و مشمول شفافیت و کنترل باشد. این همان چیزی است که ارزیابی پژوهشی مسئولانه از کسانی که زیرساخت را ایجاد می‌کنند می‌طلبد، و باید همه چیزهایی را که در Digital Science انجام می‌دهیم، آگاه کند.