amaryllisvidalis
apkyriaz
arilab
geovardrΑριστοτέλης Παπαγεωργίου
Δικαιοσύνη στη μεταφορά των αποτελεσμάτων της έρευνας
Η γνώση, η πληροφορία κάθε μορφής και η άποψη θεωρούνται εδώ ως δημόσιο αγαθό (Suber 2009). Η ανάπτυξη των σύγχρονων μορφών επικοινωνίας ευνοεί περισσότερο από ποτέ τη διάχυση της γνώσης, της πληροφορίας και της άποψης (Abelson 2008). Η επιστημονική έρευνα είναι θεμελιώδες συστατικό της πανανθρώπινης συνύπαρξης. Είναι η βάση της ανάπτυξης της τεχνολογίας, της ευημερίας των ανθρώπων και της δημιουργίας νέας σκέψης. Συνδέει την ανάγκη διατήρησης και μεταφοράς της υφιστάμενης γνώσης και παράδοσης με την ανάπτυξη του νέου, την εξέλιξη και την πρόοδο. Κοινωνίες που έδωσαν προτεραιότητα στην επιστημονική έρευνα, θεωρητική και εφαρμοσμένη, κατάφεραν να αναπτύξουν ανταγωνιστική τεχνολογία και αξιόλογο πολιτισμό, επιτυγχάνοντας συνήθως υψηλού επιπέδου βιωτικό επίπεδο για τους πολίτες. Στον αντίποδα, όταν η έρευνα θυσιάζεται λόγω οικονομικών δυσχερειών και άλλων προτεραιοτήτων, οδηγούμαστε συνήθως σε αποκλεισμό και ύφεση.
Τα αποτελέσματα των επιστημονικών ερευνητικών δράσεων θα έπρεπε κατά συνέπεια να είναι και αυτά δημόσιο αγαθό, να διακινούνται ελεύθερα και να διαχέονται ανεμπόδιστα από και προς όποιον επιθυμεί να ενημερωθεί (Suber 2009). Η ελεύθερη αυτή διακίνηση γνώσης, πληροφορίας και άποψης στηρίζει την πρόοδο της επιστήμης αλλά και τη σύνδεση της επιστήμης με την κοινωνία. Με βάση την προσέγγιση αυτή, θεωρούμε τη δίκαιη διακίνηση των αποτελεσμάτων της έρευνας εξετάζοντας δύο βασικές συνιστώσες: (α) την ελεύθερη και ανεμπόδιστη πρόσβαση στα αποτελέσματα αυτά όλων των ανθρώπων όλου του κόσμου, των χρηστών δηλαδή και (β) τη δίκαιη και ισότιμη δυνατότητα δημοσιοποίησης των αποτελεσμάτων της επιστημονικής έρευνας για όλους τους ερευνητές. Η πρώτη συνιστώσα αφορά τα πνευματικά διακαιώματα που προκύπτουν για τα ερευνητικά προϊόντα και δεδομένα, την κατοχύρωση των δικαιωμάτων αυτών και τη δυνατότητα πρόσβασης που έχει ο κάθε ένας από εμάς σε αυτά ως χρήστης. Το δεύτερο σκέλος αφορά την αποτελεσματικότητα και δικαιοσύνη του συστήματος δημοσιοποίησης της έρευνας για τον ίδιο τον ερευνητή που το επιθυμεί. Στην εργασία αυτή θα γίνει μια προσπάθεια αξιολόγησης του ισχύοντος διεθνούς συστήματος κοινοποίησης των αποτελεσμάτων της έρευνας στις περιβαλλοντικές επιστήμες, μέσα από το πρίσμα των δύο αυτών συνιστωσών που αναφέρθησαν εδώ.
Η δημοσίευση στις περιβαλλοντικές επιστήμες
Η δημοσίευση είναι βασικός παράγοντας προόδου της επιστήμης και της ακαδημαϊκής σκέψης και η συμβολή της σε αυτήν αποτιμάται θετικά, από την εποχή του Γουτεμβέργιου μέχρι σήμερα (Suber 2012). Η επιστημονική δημοσίευση μπορεί να γίνει με διάφορους τρόπους. Το μοντέλο που κυριάρχησε κατά τον 20ό αιώνα και έφτασε στις μέρες μας ως το πλέον κυρίαρχο και αποδεκτό, είναι αυτό της δημοσίευσης των αποτελεσμάτων της επιστημονικής έρευνας με τη μορφή άρθρων σε εξειδικευμένα επιστημονικά περιοδικά. Οι άλλες μορφές δημοσίευσης (παρουσιάσεις σε συνέδρια, άτυπες αναρτήσεις στο διαδίκτυο, σημειώσεις, κεφάλαια σε βιβλία, επιστολές, κ.α.) έχουν σήμερα μικρότερη βαρύτητα, σε σχέση με τα άρθρα σε επιστημονικά περιοδικά (Van Noorden 2010). Ο λόγος για τη διάκριση αυτή είναι κυρίως η διαδικασία της κρίσης μέσα από την οποία οφείλουν να διέλθουν οι εργασίες προκειμένου να δημοσιευτούν. Πρόκειται δηλαδή για μια αξιολόγηση που γίνεται με κριτές τα ίδια τα μέλη της ακαδημαϊκής κοινότητας (peer review) και συντονιστές τους εκδότες των περιοδικών, επίσης μέλη της ίδιας κοινότητας (Hauser & Fehr 2007). Με τον τρόπο αυτό “φιλτράρονται” οι εργασίες που υποβάλλονται για δημοσίευση και το κάθε περιοδικό δημοσιεύει και παρουσιάζει εργασίες υψηλής ποιότητας, με έγκυρα επιστημονικά πορίσματα που προέρχονται από αξιόπιστα ερευνητικά αποτελέσματα. Αν δεν υπήρχε αξιολόγηση, ο χρήστης θα δυσκολεύονταν να διακρίνει τις αυθεντικές και σοβαρές επιστημονικές εργασίες από τις πρόχειρες και μη αξιόπιστες μελέτες. Το σύστημα αυτό λειτουργεί για πολλές δεκαετίες έχοντας προσφέρει πολλά στην πρόοδο της επιστήμης. Σε γενικές γραμμές φαίνεται να είναι ένας λειτουργικός και αποτελεσματικός τρόπος διάχυσης και αξιολόγησης της επιστημονικής γνώσης (Grayson 2009). Είναι όμως δίκαιος;
Το μερίδιο της περιβαλλοντικής έρευνας στις επιστημονικές δημοσιεύσεις είναι μεγάλο. Και αυτό κυρίως επειδή η ίδια η περιβαλλοντική επιστήμη είναι τόσο ευρεία και πολυδιάστατη που περιλαμβάνει σχεδόν όλα τα επιστημονικά πεδία, από τη βιολογία, τα μαθηματικά και τη φυσικοχημεία, μέχρι τα τεχνικά αντικείμενα και τις κοινωνικές και οικονομικές επιστήμες. Για το λόγο αυτό είναι πολύ δύσκολο να διακρίνει κανείς τα επιστημονικά περιοδικά που δημοσιεύουν εργασίες σχετικές με την περιβαλλοντική έρευνα και να τα διαχωρίσει από αυτά άλλων επιστημών. Σχεδόν όλα τα περιοδικά όλων των επιστημών δημοσιεύουν ή μπορούν να δημοσιεύσουν τέτοιες εργασίες.
Τα επιστημονικά περιοδικά σήμερα αξιολογούνται και αυτά ως προς την ποιότητα της επιστήμης που παρουσιάζουν. Αυτό γίνεται μέσα από διάφορους ποσοτικούς δείκτες, από τους οποίους ένας ιδιαίτερα χρησιμοποιείται σε μεγάλη έκταση και έχει καθιερωθεί διεθνώς: ο “δείκτης βαρύτητας”, ή Impact Factor (IF). Αυτός εξαρτάται από το μέσο αριθμό αναφορών που λαμβάνουν οι εργασίες του κάθε περιοδικού και είναι δείκτης αξιολόγησης και ιεράρχησης των περιοδικών (Τhe PLoS Medicine Editors 2006). Κατά μία στρεβλή έννοια, σήμερα ο δείκτης αυτός χρησιμοποιείται κυρίως σαν μέσο αξιολόγησης επιστημόνων, ιδρυμάτων, σχολών και εργαστηρίων (Bommann et al. 2012). Τα μειονεκτήματα της προσέγγισης αυτής θα εξεταστούν πιο κάτω.
Περιορισμοί πρόσβασης του κοινού στα επιστημονικά περιοδικά
Τα επιστημονικά περιοδικά χωρίζονται σε διάφορες κατηγορίες σχετικά με το κόστος συνδρομής που αυτά έχουν και τον τρόπο με τον οποίο αυτά διαχειρίζονται τη γνώση που διακινούν. Θα θεωρήσουμε εδώ δύο πολύ βασικές ομάδες: (1) τα συνδρομητικά περιοδικά, όπου όποιος θέλει να τα διαβάσει πρέπει να πληρώσει μια συνδρομή, ή να τα αναζητήσει σε κάποια βιβλιοθήκη ακαδημαϊκού ιδρύματος, που με τη σειρά της έχει πληρώσει τη σχετική συνδρομή και (2) τα περιοδικά “ανοιχτής πρόσβασης” (open access), που ο οποιοσδήποτε ενδιαφερόμενος μπορεί να διαβάσει χωρίς καμία χρέωση, συνήθως διαδικτυακά. Πριν την εξάπλωση του διαδικτύου, σχεδόν όλα τα επιστημονικά περιοδικά ανήκαν στην πρώτη κατηγορία. Σήμερα, η δεύτερη κατηγορία κερδίζει σημαντικό έδαφος (Lawrence 2001, Eysenbach 2006), ενώ εμφανίζονται και ενδιάμεσες καταστάσεις, που το ίδιο περιοδικό προσφέρει τη δυνατότητα στον επιστήμονα που θέλει να δημοσιεύσει την έρευνά του να επιλέξει αν θέλει το άρθρο να δημοσιευτεί χωρίς συνδρομή με ελεύθερη πρόσβαση. Στην περίπτωση αυτή, ο επιστήμονας ή το ίδρυμα όπου αυτός / αυτή εργάζεται αναλαμβάνουν κάποιο κόστος. Ακόμα και σήμερα, η συντριπτική πλειοψηφία των αναγνωρισμένων επιστημονικών περιοδικών ανήκουν στην πρώτη κατηγορία, είναι δηλαδή συνδρομητικά (Willinsky 2005).
Το γεγονός αυτό παρουσιάζει κάποια σημαντικά προβλήματα. Αν κάποιος θέλει να διαβάσει το αποτέλεσμα μιας έρευνας, πρέπει να πληρώσει. Ή να αναζητήσει την έρευνα αυτή μέσω κάποιου πανεπιστημίου ή ερευνητικού ιδρύματος. Η αναζήτηση τότε γίνεται κατά κύριο λόγο από ερευνητές, ή μέλη της ακαδημαϊκής κοινότητας. Όταν κάποιος δεν ανήκει στην οικογένεια αυτή συνήθως δεν έχει πρόσβαση στην έρευνα (Abelson 2008). Αν για παράδειγμα ένας καρκινοπαθής θελήσει να ενημερωθεί για τα τελευταία επιτεύγματα της επιστήμης για το πρόβλημά του, απλά δεν μπορεί. Η γνώση ανακυκλώνεται μόνο στον αυστηρά επιστημονικό χώρο. Το πρόβλημα παίρνει άλλη διάσταση διαπιστώνοντας ότι το σύστημα των αναγνωρισμένων επιστημονικών περιοδικών είναι στην ουσία ολιγοπωλιακό, έως και μονοπωλιακό, με αποτέλεσμα να αυξάνει διαρκώς η τιμή της συνδρομής. Σήμερα, οι πέντε πιο μεγάλοι εκδοτικοί οίκοι καταλαμβάνουν πάνω από το μισό μερίδιο της αγοράς (Suber 2012). Τα 20 τελευταία χρόνια, οι τιμές των περιοδικών έχουν αυξηθεί σε τριπλάσιο ρυθμό από τον πληθωρισμό των ΗΠΑ, την ίδια στιγμή που οι προϋπολογισμοί των ακαδημαϊκών ιδρυμάτων συρρικνώνονται (Abelson 2008). Ακόμα και τα κορυφαία πανεπιστήμια των ΗΠΑ και του Ηνωμένου Βασιλείου αντιμετωπίζουν δυσκολίες να κρατήσουν τις συνδρομές τους ή να αποκτήσουν νέες (Willinsky 2005, Grayson 2009). Στην Ελλάδα βιώνουμε την κατάσταση όπου η υποχρηματοδότηση των ακαδημαϊκών ιδρυμάτων έχει οδηγήσει σε μείωση των προσβάσιμων περιοδικών με ανυπολόγιστες συνέπειες για την έρευνα και την επιστήμη στη χώρα μας.
Συνεπώς, το σύστημα των συνδρομητικών περιοδικών δεν είναι δίκαιο, καθώς δεν έχουν όλοι οι πολίτες πρόσβαση στα αποτελέσματα της έρευνας και στην επιστημονική γνώση γενικότερα. Ιδιαίτερα αν σκεφτούμε ότι οι περισσότερες έρευνες χρηματοδοτούνται από δημόσια κονδύλια (Suber 2009). Τα συγγραφικά δικαιώματα των εργασιών περνούν στους εκδοτικούς οίκους των περιοδικών, που αποτελούν το μόνο μέρος που πληρώνεται. Οι συγγραφείς και τα ιδρύματα που τους πληρώνουν δεν αμείβονται, ούτε έχουν καν πρόσβαση στη δική τους δουλειά. Η ανταμοιβή για τον επιστήμονα είναι η ίδια η δημοσίευση της εργασίας του, που με τον καιρό αποτελεί το σημαντικότερο – ως και το μόνο – κριτήριο αξιολόγησης για τον ίδιο και το ίδρυμα του.
Τα περιοδικά ελεύθερης πρόσβασης ξεπερνούν το πρόβλημα που περιγράφηκε εδώ. Είναι ανοιχτά από το διαδίκτυο και η πρόσβαση δεν περιορίζεται από κανέναν. Τα δε συγγραφικά δικαιώματα μένουν στους ίδιους τους συγγραφείς που μπορούν να διαχειρίζονται όπως επιθυμούν το προϊόν της δημιουργίας τους (Grayson 2009). Τότε γιατί οι συγγραφείς δεν επιλέγουν αποκλειστικά τα περιοδικά ανοιχτής πρόσβασης και συνεχίζουν να στέλνουν κατά προτίμηση τις εργασίες τους σε συνδρομητικά περιοδικά; Η απάντηση είναι ότι οι επιστήμονες προτιμούν να δουν το όνομά τους σε ένα αναγνωρισμένο και γνωστό περιοδικό, παρά να ρισκάρουν τη δημοσίευση σε ένα όχι τόσο γνωστό έντυπο. Οι περισσότεροι στο χώρο της επιστήμης αξιολογούν τις εργασίες μονοσήμαντα, μόνο από το έντυπο όπου αυτές εμφανίζονται και όχι από το περιεχόμενό τους. Παρά τις δυσκολίες αυτές, τα περιοδικά ανοιχτής πρόσβασης πολλαπλασιάζονται και αρκετά από αυτά έχουν ήδη δημιουργήσει πολύ καλό όνομα (Vanclay 2012).
Πόσο κοστίζει μια επιστημονική δημοσίευση;
Η δικαιοσύνη στην πρόσβαση από την πλευρά των ερευνητών, που αφού ολοκληρώσουν την έρευνα καλούνται να υποβάλουν τη γραπτή τους εργασία για δημοσίευση στα επιστημονικά περιοδικά, θεωρείται εδώ κυρίως σαν παράγοντας ίσων ευκαιριών, αξιοκρατίας και δίκαιης αξιολόγησης. Πριν όμως φτάσει η εργασία στο περιοδικό για να κριθεί, υπάρχει ένας πολύ βασικός παράγοντας που πολλές φορές αποτελεί εμπόδιο στην ισότιμη πρόσβαση στη δημοσίευση: το κόστος. Υπάρχουν δύο τρόποι να δημοσιεύσει κανείς. Αν επιλέξει συνδρομητικό περιοδικό, τότε θεωρητικά δεν πληρώνει ο συγγραφέας αλλά ο αναγνώστης, ενώ στα περιοδικά ανοιχτής πρόσβασης συμβαίνει το αντίθετο.
Στα συνδρομητικά περιοδικά προκύπτουν όμως διάφορα ζητήματα που τελικά οδηγούν τον ερευνητή να βάλει το χέρι στην τσέπη. Κάποια περιοδικά χρεώνουν τις σελίδες, ενώ σχεδόν όλα χρεώνουν κάποιο κόστος για έγχρωμες εικόνες και γραφήματα. Και οι τιμές είναι υψηλές. Σε πολλά επιστημονικά πεδία οι δημοσιεύσεις έχουν φωτογραφίες, χάρτες ή γραφήματα που πρέπει να είναι έγχρωμα, αλλιώς δεν βγαίνει νόημα. Και αν αυτό έβγαζε νόημα την εποχή της έντυπης δημοσίευσης, είναι μάλλον παράλογο για τις ηλεκτρονικές ψηφιακές δημοσιεύσεις. Επίσης τα περισσότερα περιοδικά παρέχουν υπηρεσίες γλωσσικής επιμέλειας και συνιστούν στους συγγραφείς να τις χρησιμοποιήσουν, με κόστος φυσικά. Συχνά αντιμετωπίζουν πολύ καχύποπτα όσους δεν ακολουθούν τη συμβουλή τους. Τελικά η δημοσίευση σε συνδρομητικά περιοδικά κοστίζει αρκετά.
Στα μη συνδρομητικά περιοδικά, όπου ο αναγνώστης έχει ελεύθερη πρόσβαση στα άρθρα, οι συγγραφείς πρέπει να πληρώσουν. Το κόστος μπορεί να φτάσει τα 5.000 ευρώ (Suber 2012). Πολλά περιοδικά της κατηγορίας αυτής είναι βέβαια δωρεάν (Abelson 2008) αλλά τα πιο αναγνωρισμένα είναι ακριβά. Υπάρχουν εναλλακτικές, όπως είναι η μείωση όλου ή μέρους του κόστους για κάποιες χώρες από κάποια περιοδικά. Ή οι συνδρομές από πανεπιστήμια και ινστιτούτα. Κάποια περιοδικά δέχονται άρθρα δωρεάν, αν ο συγγραφέας δηλώσει υπεύθυνα ότι η έρευνά του δεν χρηματοδοτείται από πουθενά (Suber 2012). Αλλά στις περισσότερες περιπτώσεις, ο συγγραφέας πρέπει να πληρώσει.
Το κόστος της δημοσίευσης είναι παράγοντας ανισότητας στην ελεύθερη πρόσβαση πριν την κρίση στο περιοδικό. Επιστήμονες από σχετικά φτωχές χώρες, από μικρά πανεπιστήμια ή ανεξάρτητοι ερευνητές συχνά καλούνται να πληρώσουν ποσά που δεν μπορούν να καλύψουν και μοιραία αδυνατούν να προσεγγίσουν πολλά περιοδικά. Με τον τρόπο αυτό συντηρείται ένας ελιτισμός διακίνησης της επιστημονικής γνώσης από μία μειοψηφία ιδρυμάτων και επιστημονικών ομάδων, όπου η πρόσβαση από «έξω» είναι δύσκολη.
Η κρίση των εργασιών και τα προβλήματά της
Από τη στιγμή που θα φτάσει μία εργασία στο γραφείο (ή στο ηλεκτρονικό ταχυδρομείο) του εκδότη ενός περιοδικού, ξεκινά μία διαδικασία κρίσης από τον εκδότη αρχικά και από διάφορους κριτές, που στέλνουν την κρίση τους στον εκδότη ώστε αυτός τελικά να αποφασίσει την τύχη της δημοσίευσης. Το σύστημα αυτό των συναδέρφων – κριτών (peer review) αντιμετωπίζει συγκεκριμένα προβλήματα αξιοπιστίας και δικαιοσύνης (Laband & Piette 1994, Symonds et al. 2006).
Καταρχήν, η κρίση από μόνη της είναι μια υποκειμενική διαδικασία. Από τη στιγμή που δεν υπάρχουν αντικειμενικά κριτήρια αξιολόγησης της επιστημονικής ποιότητας των εργασιών, ο κάθε ένας κριτής ή εκδότης αποφασίζει με βάση τη δική του κρίση με υποκειμενικό τρόπο. Μπορεί δηλαδή, όσο σοβαρός και αν είναι ο κριτής, να επιρεαστεί από προσωπικές συμπάθειες ή αντιπάθειες, απόψεις σχετικά με την αξία ή όχι συγεκριμένων επιστημονικών πεδίων, ερευνητικών ομάδων, αντιλήψεων, μεθόδων, ιδρυμάτων ή και χωρών. Επίσης υπάρχει και μια σχετική ανταγωνιστικότητα μεταξύ ιδρυμάτων και επιστημόνων που μπορεί να επηρεάσει την κρίση, ειδικά τη στιγμή που ο κριτής παραμένει ανώνυμος. Το σύστημα σήμερα δεν μπορεί να φυλάξει έναν συγγραφέα από την αρνητική κρίση ενός ανταγωνιστή του, ή αντίστοιχα τη θετική κρίση ενός φίλου του (Laband & Piette 1994).
Και αν η προηγούμενη περίπτωση υπάγεται στην αδυναμία της ανθρώπινης φύσης, η όλο και αυξανόμενη ζήτηση για κριτές από τα περιοδικά προκαλεί άλλες παρενέργειες. Τα επιστημονικά περιοδικά αυξάνουν με εκθετικό ρυθμό (Abelson 2008), το ίδιο και ο αριθμός των επιστημονικών εργασιών που υποβάλλονται κάτω από την πίεση της ακαδημαϊκής εξέλιξης των επιστημόνων. Τα περιοδικά χρειάζονται κριτές και οι εργασίες που στέλνονται στα μέλη της ακαδημαϊκής κοινότητας αυξάνουν. Αυτό σημαίνει ότι κάτω από την πίεση αυτή πολύ πιθανόν να επιλέγονται και «ακατάλληλοι» κριτές, επιστήμονες δηλαδή που βρίσκονται στα όρια του επιστημονικού αντικειμένου που καλούνται να κρίνουν. Πέρα από τις απίθανες χρονικές καθυστερήσεις (Hauser & Fehr 2007), η ανθρώπινη φύση αναλαμβάνει και εδώ δράση: προκειμένου να εκφέρουν άποψη, οι κριτές που δεν βρίσκονται ακριβώς στην καρδιά του αντικειμένου της εργασίας που κρίνουν, αλλά κατανοούν μόνο μέρος της, ασχολούνται εξονυχιστικά μόνο με αυτό το μέρος που κατανοούν. Έτσι προκύπτουν κρίσεις και αξιολογήσεις των εργασιών που αδυνατούν να συλλάβουν το σκοπό μιας εργασίας και προτείνουν διορθώσεις που δεν έχουν νόημα (Papageorgiou 2013).
Πέρα από αυτά τα σχετικά κατανοητά προβλήματα, υπάρχουν και περιπτώσεις όπου η δίκαια και ορθή αξιολόγηση μιας εργασίας μπορεί να αλλοιωθεί εξ επίτηδες, με σκοπό τη γρήγορη και απροβλημάτιστη δημοσίευση, πάντα κάτω από την πίεση ενός ιδιαίτερα πιεστικού ακαδημαϊκού συστήματος (Laband & Piette 1994). Παρατηρείται δηλαδή η τάση, συγκεκριμένοι ερευνητές να επιλέγουν σταθερά συγκεκριμένα περιοδικά, όπου η κρίση είναι πιο εύκολη και ευνοϊκή προς εκείνους ή γενικά. Καταγράφονται περιπτώσεις επιλογής γνωστών κριτών ή εκδοτών (εκεί όπου επιτρέπεται η πρόταση κριτών), ή η εμφάνιση και καθιέρωση περιοδικών που είναι πιο «εύκολα» από άλλα, προσφέροντας χαμηλή τιμή δημοσίευσης για τους συγγραφείς. Έτσι βλέπει κανείς πολύ μέτριες έως ανακριβείς εργασίες να φιγουράρουν σε περιοδικά υψηλής ποιότητας και ταυτόχρονα περιοδικά με σταθερά μέτριες και ελλιπείς εργασίες (Ioannidis 2005). Ακραία, αλλά δυστυχώς συχνή, περίπτωση αποτελούν τα λεγόμενα «αρπακτικά περιοδικά» (predator journals), που κατακλύζουν τα ηλεκτρονικά ταχυδρομεία των ερευνητών με προτάσεις δημοσίευσης διαφημίζοντας την ευκολία που μπορεί κανείς να περάσει μία εργασία. Συχνά εμφανίζονται καταγγελίες για περιοδικά της κατηγορίας αυτής που συστηματικά «κλέβουν» αντιγράφοντας λέξη προς λέξη άλλες εργασίες, ή παρουσιάζουν επαναλήψεις της ίδιας δημοσίευσης (Miller & Harris 2004).
Ίσως το πιο βασικό πρόβλημα με την κρίση των εργασιών που υποβάλλονται προς δημοσίευση να αποτελεί το γεγονός ότι η εργασία διαμορφώνεται με τέτοιο τρόπο ώστε τελικά να είναι αρεστή στους κριτές ή στους εκδότες. Ακόμα και αν η κρίση είναι αντικειμενική και ορθή, πολλές φορές οι κριτές προτείνουν αλλαγές ουσίας, που αλλάζουν τη φύση των εργασιών (Pain 2013). Έτσι, πριν την υποβολή ακόμα, οι συγγραφείς ακολουθούν μία «πεπατημένη» διαδικασία συγγραφής που γνωρίζουν ότι είναι αρεστή σε κριτές. Επιλέγουν συγκεκριμένες τεχνικές ανάλυσης που είναι του «συρμού», ερευνητικά ερωτήματα που αρέσουν στην επιστημονική κοινότητα, στατιστικές αναλύσεις που μπορεί να είναι περιττές και γενικά ακολουθούν τη λογική της δημιουργίας εντύπωσης στους εκδότες, που με τη σειρά τους ακολουθούν μια πιο εμπορική και ανταγωνιστική φιλοσοφία απέναντι σε άλλα περιοδικά (Papageorgiou 2013). Επιπλέον, προκειμένου να πετύχουν τη δημοσίευση, οι συγγραφείς θα ακολουθήσουν πιστά τις συστάσεις κριτών και εκδοτών, ακόμα και αν αυτές αλλάζουν το ερευνητικό ερώτημα που τέθηκε εξ αρχής. Το σύστημα λοιπόν αυτό, ωθούμενο και από την ολοένα αυξανόμενη ανάγκη των νέων ερευνητών να πετύχουν πολλές δημοσιεύσεις σε σύντομο χρονικό διάστημα, τελικά δημιουργεί ένα πολύ σταθερό και στενό πλαίσιο που θα πρέπει να κινούνται οι εργασίες. Σε τελική ανάλυση, αυτό μειώνει τη δημιουργικότητα των νέων επιστημόνων, μειώνει τον αυθορμητισμό και την πρωτοτυπία και συχνά δρα ενάντια στην ίδια την πρόοδο της επιστήμης (Hauser & Fehr 2007).
Η κακή χρήση του IF: όταν το μέσο γίνεται σκοπός
Ένας τρόπος να αξιολογούνται τα περιοδικά ως προς την ποιότητά τους είναι ο ευρύτατα χρησιμοποιούμενος δείκτης βαρύτητας, γνωστός σαν impact factor (IF). Όπως αναφέρθηκε στην εισαγωγή, ο IF υπολογίζεται ως ο μέσος αριθμός αναφορών που λαμβάνουν οι εργασίες του κάθε περιοδικού, σε περιοδικά που έχουν ήδη IF και αναφέρονται στη σχετική λίστα (Τhe PLoS Medicine Editors 2006). Αμέσως καταλαβαίνει κανείς ότι το σύστημα είναι κάπως «κλειστό», καθώς δεν προσμετρώνται οι αναφορές που γίνονται σε εργασίες που είναι εκτός περιοδικών της λίστας των IF (Τhe PLoS Medicine Editors 2006). Άλλα συστήματα προσμέτρησης αναφορών (Scopus, Google Scholar) είναι πιο ανοιχτά, όμως και αυτά περιορίζονται σε ένα συγκεκριμένο κατάλογο περιοδικών και βιβλίων.
Επιπλέον, επειδή ο IF ενός περιοδικού προέρχεται από αναφορές σε όλα τα άρθρα του περιοδικού αυτού , ο αριθμός αυτός δεν μπορεί να μας δώσει καμία πληροφορία για την ποιότητα ενός συγκεκριμένου άρθρου, ούτε για την ποιότητα της εργασίας ενός συγκεκριμένου συγγραφέα. Έτσι ο IF ενός περιοδικού μπορεί να επηρεαστεί σημαντικά από τη δημοσίευση άρθρων ανασκόπησης, ή άρθρων που πραγματεύονται θέματα που απασχολούν μεγάλο αριθμό ερευνητών (π.χ. βιοϊατρικά θέματα) (Τhe PLoS Medicine Editors 2006).
Πέρα από τη στατιστική του στρεβλότητα, είναι σημαντικό να κατανοήσουμε ότι ο IF ενός περιοδικού δεν είναι χρήσιμος δείκτης έξω από το στενό πυρήνα της επιστημονικής κοινότητας του συγκεκριμένου αντικειμένου που αναφέρεται το περιοδικό. Με το σκεπτικό αυτό, είναι αδύνατον να συγκριθούν δύο περιοδικά διαφορετικών επιστημονικών πεδίων ως προς τον IF (Schmidt 2013).
Παρά τους εμφανείς περιορισμούς οι IF των περιοδικών που δημοσιεύουν οι διάφοροι ερευνητές έχει πολύ μεγάλη επιρροή στην ακαδημαϊκή κοινότητα και στο σύστημα αξιολόγησης ερευνητών και ιδρυμάτων. Είναι γεγονός ότι ακόμη και η εταιρεία «Thomson Scientific», που διαχειρίζεται το δείκτη αυτό, αναγνωρίζει ότι ο IF έχει αυξηθεί πέρα από τον έλεγχό της και χρησιμοποιείται σε πολλούς ακατάλληλους τρόπους (Τhe PLoS Medicine Editors 2006). Σαν μέτρο αξιολόγησης, οι IF των περιοδικών έχουν χρησιμοποιηθεί αποκλειστικά για να αποφασίσει εάν ένας επιστήμονας θα ανέβει βαθμίδα στο ίδρυμα του ή όχι, αν θα βρει εργασία ή αν θα πάρει κάποια επιχορήγηση ή πρόγραμμα. Σε ορισμένες χώρες, η χρηματοδότηση ολόκληρων ιδρυμάτων εξαρτάται από τον αριθμό των δημοσιεύσεων σε περιοδικά με IF (Bommann et al. 2012). Σήμερα σε πολλές χώρες και σε πολλά ακαδημαϊκά ιδρύματα, πρόσωπα, εργαστήρια και ερευνητικές ομάδες αξιολογούνται με ένα νούμερο, το συνολικό IF των εργασιών που δημοσιεύουν. Έτσι, ένας κριτής ή εκλέκτορας δεν χρειάζεται να διαβάσει τις εργασίες που υποβάλλει ένας υποψήφιος για εξέλιξη, απλά υπολογίζει το νούμερο αυτό και κρίνει (Papageorgiou 2013). Αυτό το σύστημα είναι προφανώς άδικο και αναξιοκρατικό. Οδηγεί δε τους ερευνητές σε έναν αδυσώπητο αγώνα να δημιουργήσουν εργασίες αρεστές σε συγκεκριμένα περιοδικά και μόνο, που τελικά μειώνει την ποιότητα της επιστήμης αντί να την αυξάνει διαχρονικά.
Από την πλευρά των περιοδικών, υπάρχει επίσης ένας μεγάλος ανταγωνισμός, καθώς ο IF τους προσδίδει κύρος και αυξάνει την προτίμηση από την πλευρά των συγγραφέων και τις συνδρομές από την πλευρά των ακαδημαϊκών ιδρυμάτων. Στο πλαίσιο του ανταγωνισμού αυτού, πολλές φορές τα περιοδικά επινοούν τρόπους τεχνητής αύξησης του IF. Συχνά μπορεί να ζητούν από τους υποψήφιους συγγραφείς να αναφέρουν εργασίες του ίδιου του περιοδικού, ή οι συγγραφείς από μόνοι τους να επιλέγουν αυτήν την τακτική προκειμένου να γίνουν αρεστές και αποδεκτές οι εργασίες τους (Τhe PLoS Medicine Editors 2006). Επίσης μπαίνουν στη διαδικασία να επιλέγουν εργασίες σε αντικείμενα που είναι δημοφιλή, που χρησιμοποιούν μεθόδους που είναι σύγχρονες και διαδεδομένες. Άλλος τρόπος αύξησης του IF είναι να μειώνεται ο παρανομαστής του σχετικού κλάσματος, ο αριθμός δηλαδή των εργασιών που τελικά δημοσιεύονται και ο αριθμός των αναφορών σε κάθε εργασία (Τhe PLoS Medicine Editors 2006). Τα περιοδικά συχνά πιέζουν τους συγγραφείς προς αυτήν την κατεύθυνση.
Πρόσφατες έρευνες δείχνουν ότι ο IF των περιοδικών και ο αριθμός αναφορών των άρθρων συνδέεται στατιστικά με πολλούς παράγοντες που είναι άσχετοι με την επιστημονική ποιότητα των εργασιών, όπως είναι το όνομα του περιοδικού, ο αριθμός και η χώρα προέλευσης των συγγραφέων, η χρήση συγκεκριμένων λέξεων και το μέγεθος των εργασιών (Schmidt 2013).
Καταλήγουμε στο συμπέρασμα, ότι ο IF είναι ένας ξεπερασμένος ποσοτικός δείκτης, που αντιμετωπίζει σοβαρά προβλήματα αξιοπιστίας (Seglen 1997). Είναι δε εντελώς ακατάλληλος για να περιγράψει την αξία ενός επιστήμονα ή μιας ερευνητικής ομάδας, ή ακόμα και μιας σχολής ή ενός ακαδημαϊκού ιδρύματος. Κι όμως αυτός ο λανθασμένος τρόπος χρησιμοποιείται συνεχώς, όπως είπαμε πιο πάνω. Αυτό έχει σημαντικά αρνητικές επιπτώσεις στην ποιότητα της επιστήμης που παράγεται και δημοσιεύεται και τελικά συντηρεί ένα στρεβλό σύστημα ακαδημαϊκού ελιτισμού.
Υπάρχει έρευνα έξω από τα περιοδικά;
Όπως αναφέρθηκε πριν, φαίνεται πως ο πλέον διαδεδομένος τρόπος αξιολόγησης της ερευνητικής παραγωγικότητας είναι σήμερα η δημοσίευση σε επιστημονικά περιοδικά με κριτές. Για το λόγο αυτό, η δραστηριότητα της δημοσίευσης άρθρων σε περιοδικά αποτελεί την προτεραιότητα των ερευνητών και επιστημόνων γενικότερα που αποσκοπούν σε ακαδημαϊκή καριέρα. Χτίζουν δηλαδή ένα βιογραφικό όπου πρέπει να αναφέρεται ένας μεγάλος αριθμός δημοσιεύσεων σε περιοδικά μιας συγκεκριμένης λίστας με συντελεστή IF όσο το δυνατόν υψηλότερο. Προφανώς οι δημοσιεύσεις στα περιοδικά δεν είναι το μόνο προϊόν που προκύπτει από την ερευνητική δραστηριότητα.
Πολλές φορές υπάρχουν περιοδικά που κινούνται έξω από το σύστημα που αναφέραμε πιο πάνω και δεν διαθέτουν IF. Περιοδικά επιστημονικών ενώσεων ή πανεπιστημίων με κριτές, αυστηρά θεματικά, ή άλλα περιοδικά που εκδίδονται από χώρες ή οργανισμούς που δεν έχουν τη δυνατότητα του marketing των μεγάλων εκδοτικών οίκων, επίσης δεν διαθέτουν IF. Στις περισσότερες περιπτώσεις, η δημοσίευση σε ένα τέτοιο περιοδικό δεν μετρά με την ίδια βαρύτητα στα βιογραφικά όπως αυτή σε ένα περιοδικό με IF, παρόλο που οι εργασίες περνούν από κρίση πριν δημοσιευτούν. Πολλοί ερευνητές επιλέγουν να μην στέλνουν εργασίες σε αυτά τα περιοδικά, ενώ οι περισσότεροι νέοι επιστήμονες δέχονται συμβουλές του τύπου αυτού. Έτσι δημιουργείται και διατηρείται ένα «μονοπώλιο» στην διάδοση της επιστημονικής έρευνας, που όπως είδαμε παρουσιάζει πολλά προβλήματα. Με την τεχνική δυνατότητα που παρέχει όμως σήμερα το διαδίκτυο, η έρευνα μπορεί να κοινοποιηθεί πολύ πιο γρήγορα και να διαδοθεί πολύ πιο αποτελεσματικά.
Εργασίες σε κεφάλαια βιβλίων, ή συλλεκτικούς τόμους μπορεί να έχουν μεγαλύτερη επιστημονική αξία από άρθρα επιστημονικών περιοδικών, καθώς συχνά οι συγγραφείς προσκαλούνται να συμβάλλουν στην έκδοση, που σημαίνει ότι έχουν υψηλή διεθνή αναγνωρισιμότητα. Εργασίες σε τόμους πρακτικών συνεδρίων επίσης υποτιμούνται συχνά, μπορεί όμως να περιέχουν ερευνητικά δεδομένα μεγάλης αξίας. Πέρα από αυτά υπάρχουν και πιο άτυπα προϊόντα έρευνας: πόστερ και παρουσιάσεις από συνέδρια ή εκδηλώσεις, διδακτικό υλικό από παρουσιάσεις και σεμινάρια, αναφορές προγραμμάτων ή ομάδων εργασίας, μνημόνια, αναφορές και άρθρα σε μη επιστημονικά περιοδικά. Προϊόντα επιστημονικής παραγωγής θεωρούνται σήμερα και τα γραφήματα, τα δεδομένα, βίντεο και γενικά οπτικοακουστικό υλικό (Grayson 2009). Η τάση δημοσίευσης των δεδομένων μιας έρευνας, προκειμένου να διευκολυνθεί η επανάληψη και έλεγχος της έρευνας αυτής από άλλους ερευνητές κερδίζει διαρκώς έδαφος. Στους ιστότοπους των πανεπιστημίων, σε προσωπικά ιστολόγια και σε ειδικά διαμορφωμένες ηλεκτρονικές “αποθήκες” δεδομένων και άλλων προϊόντων έρευνας, που αποκαλούνται repositories, βρίσκει κανείς πλέον πολύ ενδιαφέροντα αποτελέσματα ερευνητικών δραστηριοτήτων, πληροφορίες και επιστημονικά στοιχεία, όλα διαθέσιμα χωρίς περιορισμούς, με μόνη υποχρέωση τη σωστή αναφορά της πηγής τους (Lynch 2003).
Οι περισσότεροι ερευνητές έχουν στοιχεία που δεν έχουν αξιοποιηθεί, έρευνες που έχουν δώσει δεδομένα και αποτελέσματα που δεν έφτασαν ποτέ στα περιοδικά και τώρα μπορούν να τα προβάλουν. Αυτά τα δεδομένα έχουν μεγάλη αξία και θα πρέπει να συνυπολογιστούν σε οποιαδήποτε αξιολόγηση ερευνητών ή ιδρυμάτων γίνεται στο μέλλον. Ιδιαίτερη αξία φαίνεται να έχει η προβολή και δημοσιοποίηση των λεγόμενων «αρνητικών αποτελεσμάτων» (negative results). Πρόκειται για αποτελέσματα ερευνητικών προσπαθειών που δεν απέδωσαν τα προσδοκώμενα. Συνήθως θεωρούνται αποτυχίες και δεν δημοσιεύονται. Αν πρόκειται για μια απλή επιβεβαίωση κάποιου κανόνα και δεν παρουσιάζουν ενδιαφέρον για τα περιοδικά της λίστας του IF συχνά μένουν ξεχασμένα σε κάποιον υπολογιστή. Είναι όμως σημαντικά. Ακόμα και αν πρόκειται για αποτυχία ενός ερευνητικού πειράματος, θα οδηγήσει άλλους ερευνητές στην αποφυγή της αποτυχίας αυτής. Η ιστορία της επιστήμης είναι γεμάτη με παραδείγματα αρνητικών αποτελεσμάτων που ωφέλησαν την πρόοδο της επιστήμης (Piwowar 2013). Πολλά σύγχρονα περιοδικά ανοιχτής πρόσβασης και repositories προσκαλούν τους ερευνητές να δημοσιεύουν αρνητικά αποτελέσματα.
Νέες τάσεις και προοπτικές
Ο χώρος της επιστημονικής δημοσίευσης αλλάζει τα τελευταία χρόνια με μεγάλους ρυθμούς. Την αλλαγή αυτή έφερε η τεχνολογική έκρηξη του διαδικτύου, η υπερβολική αύξηση του αριθμού των επιστημονικών περιοδικών και των εργασιών που υποβάλλονται για κρίση, αλλαγές στην κοινωνία και στο χώρο της εκπαίδευσης και ιδιαίτερα η διαπίστωση ότι το παρόν σύστημα είναι προβληματικό, δεν είναι δίκαιο και δεν προάγει την επιστήμη.
Οι εξελίξεις στις επιστημονικές δημοσιεύσεις περιλαμβάνουν σε μεγάλο βαθμό την άνοδο και καθιέρωση των περιοδικών ανοιχτής πρόσβασης, την κρίση εργασιών με έμφαση στην ορθότητα των μεθόδων και όχι στο αντικείμενο ή στο ενδιαφέρον που αυτό παρουσιάζει (π.χ. PLOS, Peer-J), την κρίση από επώνυμους κριτές ή την κρίση μετά τη δημοσίευση, ιδρυματικές ιστοσελίδες, ηλεκτρονικές βιβλιοθήκες και repositories (figshare, researchgate, arXiv), πολλαπλές μορφές του ίδιου άρθρου με διαφορετικά media, την καλύτερη ενημέρωση των συγγραφέων σχετικά με ζητήματα πνευματικής ιδιοκτησίας, την αρχειοθέτηση και διατήρηση ερευνητικών αποτελεσμάτων σε ειδικούς ιστοχώρους και άλλα. Έδαφος κερδίζουν και νέα εργαλεία που ως τώρα χρησίμευαν στην εκλαϊκευμένη και καθημερινή διακίνηση πληροφοριών, όπως τα ιστολόγια (blogs), ιστοσελίδες ιδρυμάτων ή ερευνητών, κοινωνικά δίκτυα (facebook, twitter), και άλλα. Αυτά τα νεότερα εργαλεία επικοινωνίας επιταχύνουν την άμεση επικοινωνία μεταξύ των μελών της επιστημονικής κοινότητας και τείνουν να παρακάμψουν τα επιστημονικά περιοδικά (Piwowar 2013). Φυσικά τα περιοδικά αυτά δεν πρόκειται ποτέ να εκλείψουν. Αντίθετα αναμένεται να αλλάξουν σιγά σιγά ρόλο και να λειτουργήσουν σε αρμονία με τις νέες τεχνολογίες.
Το ερώτημα παραμένει αν η ακαδημαϊκή κοινοποίηση των πληροφοριών θα γίνει πιο δίκαιη με τη βοήθεια των νέων αυτών εργαλείων. Σίγουρα μπορεί να γίνει πιο ανοικτή και πιο εναλλακτική. Για να γίνει όμως πιο δίκαιη πρέπει να αλλάξει το ίδιο το ακαδημαϊκό σύστημα και κυρίως ο τρόπος αξιολόγησης νέων επιστημόνων και ακαδημαϊκών ιδρυμάτων. Οι νέοι τρόποι κοινοποίησης της έρευνας δεν διαφυλάσσουν έναν νέο επιστήμονα από μια δυσμενή κρίση στο μέλλον, αφού οι όποιοι κριτές βρεθούν στο δρόμο του θα μετρήσουν απλά τον IF των περιοδικών των εργασιών του σε μια προσπάθεια ποσοτικοποίησης της αξίας του. Για να αλλάξει το σύστημα που κυριαρχεί σήμερα και να αντιμετωπιστεί ο ακαδημαϊκός ελιτισμός, πρέπει να αλλάξουν αντιλήψεις, φιλοσοφίες και τρόποι λειτουργίας. Αυτά αλλάζουν δύσκολα και επίπονα. Αλλάζουν δε μόνο από πάνω. Δεν φτάνει να τολμά ένας επιστήμονας να δημοσιεύει τα προϊόντα της εργασίας του χρησιμοποιώντας νέα εργαλεία. Οφείλουν οι ερευνητές των ανώτερων βαθμίδων να τον αξιολογήσουν με βάση το συνολικό του έργο και να προσμετρήσουν όλα του τα αποτελέσματα (Schmidt 2013). Αυτό σίγουρα κάνει μια ακαδημαϊκή κρίση πολύπλοκη, αλλά πιθανόν πιο δίκαιη. Μια τέτοια προσπάθεια έχει ήδη ξεκινήσει με τη διακήρυξη του San Francisco (DOA – Schmidt 2013), όπου οι επιστήμονες καλούνται να δεσμευτούν ότι στο μέλλον δεν θα κρίνουν έναν συνάδερφο, μια ερευνητική πρόταση ή μια χρηματοδότηση μόνο με βάση κάποιους ποσοτικούς δείκτες. Αν η τάση αυτή επικρατήσει, τότε τα σημερινά εργαλεία θα βοηθήσουν σημαντικά σε μια δίκαιη ακαδημαϊκή κοινοποίηση των αποτελεσμάτων της επιστημονικής έρευνας.
Βιβλιογραφία
Abelson, H. (2008). “Open Access Publishing: The Future of Scholarly Journal Publishing”. ΜΙΤ Faculty Newletter. Vol. XXI No. 2. Ανακτήθηκε στις 12 Αυγούστου 2013 από http://web.mit.edu/fnl/volume/212/abelson.html
Bornmann. L., Marx, W., Gasparyan, A.Y., Kitas, G.D. (2012). “Diversity, value and limitations of the journal impact factor and alternative metrics”. Rheumatology International. 32(7), 1861−1867. doi: 10.1007/s00296
Eysenbach, G. (2006). “Citation advantage of open access articles”. PLoS Biol 4(5): e157. doi:10.1371/journal.pbio.0040157. Ανακτήθηκε στις 22 Ιουλίου 2013 από http://www.plosbiology.org/article/info%3Adoi%2F10.1371%2Fjournal.pbio.0040157
Grayson, K. (2009). “5 Trends that Indicate Scholarly Publishing Models are No Longer Sustainable”. Chasing Dragons blog entry. Ανακτήθηκε στις 5 Ιουνλιου 2013 από http://www.chasingdragons.org/2009/08/5-trends-that-indicate-scholarly-publishing-models-are-no-longer-sustainable.html
Hauser, M., Fehr, E. (2007). “An Incentive Solution to the Peer Review Problem”. PLoS Biol 5(4): e107. doi:10.1371/journal.pbio.0050107. Ανακτήθηκε στις 11 Αυγούστου 2013 από http://www.plosbiology.org/article/info:doi/10.1371/journal.pbio.0050107
Ioannidis, J.P.A. (2005). “Why most published research findings are False”. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124. Ανακτήθηκε στις 5 Ιουνίου 2013 από http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124
Laband, D.N., Piette, M.J. (1994). “Favoritism versus Search for Good Papers: Empirical Evidence Regarding the Behavior of Journal Editors”. Journal of Political Economy Vol. 102, No. 1, pp. 194-203.
Lawrence, S. (2001). “Free online availability substantially increases a paper’s impact”. Nature. 411, 521.
Lynch, C.A. (2003). “Institutional repositories: Essential infrastructure for scholarship in the digital age”. portal: Libraries and the Academy 3.2 (2003): 327-336. Ανακτήθηκε στις 25 Ιουνίου 2013 από http://muse.jhu.edu/login?auth=0&type=summary&url=/journals/portal_libraries_and_the_academy/v003/3.2lynch.pdf
Miller, C.T., Harris, J.C. (2004). “Scholarly journal publication: Conflicting agendas for scholars, publishers, and institutions”. Journal of Scholarly Publishing. 35(2), 73-91.
Piwowar, Η. (2013). “Altmetrics: Value all research products”. Nature 493, 159.
Pain, E. (2013). “Interactive Peer Review: For Authors, Potential Downsides”. Science Careers, April 12, 2013. Ανακτήθηκε στις 3 Ιουνίου 2013 από http://sciencecareers.sciencemag.org/career_magazine/previous_issues/articles/2013_04_12/caredit.a1300072
Papageorgiou, AC (2013). “Unterkritisch: doing science under adverse conditions…” FGLab blog entry. Ανακτήθηκε στις 2 Μαίου 2013 από https://arilab.wordpress.com/2013/05/02/unterkritisch-doing-science-under-adverse-conditions/
Schmid, S.L. (2013). “Beyond CVs and Impact Factors: An Employer’s Manifesto”. Science Careers, September 03, 2013. Ανακτήθηκε στις 10 Σεπτεμβρίου 2013 από http://sciencecareers.sciencemag.org/career_magazine/previous_issues/articles/2013_09_03/caredit.a1300186
Seglen, P.O. (1997). “Why the impact factor of journals should not be used for evaluating research”. BMJ 314, 498–502.
Suber, P. (2009). “Knowledge as a public good”. SPARC Open Access Newsletter, issue #139. Ανακτήθηκε στις 14 Ιουλίου 2013 από http://legacy.earlham.edu/~peters/fos/newsletter/11-02-09.htm
Suber, P. (2012). Open Access. Boston: MIT Press. Available at http://mitpress.mit.edu/sites/default/files/titles/content/9780262517638_Open_Access_PDF_Version.pdf
Symonds, M.R., Gemmell, N.J., Braisher, T.L., Gorringe, K.L., Elgar, M.A. (2006). “Gender Differences in Publication Output: Towards an Unbiased Metric of Research Performance”. PLoS ONE 1(1): e127. doi:10.1371/journal.pone.0000127. Ανακτήθηκε στις 12 Σεπτεμβρίου 2013 από http://www.plosone.org/article/info:doi/10.1371/journal.pone.0000127
Τhe PLoS Medicine Editors, (2006). “The Impact Factor Game”. PLoS Med 3(6): e291. doi:10.1371/journal.pmed.0030291. Ανακτήθηκε στις 22 Ιουλίου 2013 από http://www.plosbiology.org/article/info:doi/10.1371/journal.pbio.0050107
Van Noorden, R. (2010). “Metrics: A profusion of measures”. Nature. 465(7300), 864−866. doi: 10.1038/465864a
Vanclay, J.K. (2012). “Impact Factor: Outdated artefact or stepping-stone to journal certification”. Scientometrics 92, 211–238.
Willinsky, J. (2005). “Scholarly Associations and the Economic Viability of Open Access Publishing”. Open Journal System Demonstration Journal, 1(1). Ανακτήθηκε στις 12 Αυγούστου 2013 από http://works.bepress.com/cgi/viewcontent.cgi?article=1012&context=ir_research
FG lab 