완벽한 제도는 없다

과학자들은 자신의 연구결과를 학계에 알리기 위해 논문을 학술지에 투고한다. 학술지의 편집장은 투고된 논문을 보통 둘에서 셋의 해당 분야 전문가에게 보내 의견을 묻고 그것을 바탕으로 논문 출간, 수정 요구 혹은 게재 거절을 결정한다.

수정 결정이 나면, 논문 투고 당사자는 평가자들이 제기한 문제점과 지적을 충실히 반영하거나 또는 자신의 의견을 설득 또는 이해시켜야 한다. 그렇지 않으면 게재가 거절된다. 같은 분야의 전문가들 그래서 일종의 동료인 이들이 평가하기 때문에 이를 동료 평가라 한다. 내 논문을 평가한 이의 논문을 내가 평가할 수도 있다. 단, 누가 평가했는지 모를 뿐.

이런 과정을 거쳐 논문이 출간될 쯤이면, 최초 투고시의 열정과 기대는 사그라들고, 지친 안도만이 남기가 예사다. 지겨운 수비 중심의 경기 끝에 들어가는 결정골의 카타르시스는 없다.

동료평가를 거쳐 출간된 논문은 진실이며, 그 질적 수준은 담보될 수 있는가? 물리학자 얀 헨드릭 쇤은 2000년대 초반 이립의 나이에 실리콘 반도체를 유기물로 대체할 수 있는 가능성을 보여줌으로써 자연과학계에서 우뚝 선 존재가 됐다. 과학계 최고의 인지도를 가지는 학술지인 사이언스와 네이쳐에 2000년에서 2001년 2년간 무려 각각 8편과 7편의 논문을 게재한다.

하지만 이는 모두 데이터 조작으로 판명된다. 버클리대의 리디아 손 교수와 코넬대의 폴 맥코인 교수가 실험 데이터에서 수상한 점을 발견하면서 문제를 제기했고 쇤의 소속 기관인 벨 연구소가 조사 위원회를 만들고 쇤의 논문들은 조작이라고 결론지었다. 과학계의 논문 평가 과정에 대한 믿음은 타격을 입었다. 이후로도 가깝게는 우리나라의 황우석 사건, 최근에는 2014년 일본 이화학연구소의 오보카타 하루코 사건 등 대형 논문조작 사건이 뒤를 이었다.

동료평가의 불완전성은 ‘연구 결과에 대한 신뢰’라는 전제에서 비롯된다. 실험적 실수, 잘못된 해석, 증거 부족의 가능성은 의심할지언정, 결과 조작의 가능성을 의심하지 않는다. 실패와 불완전성에도 불구하고 동료평가 시스템은 여전히 유지되고 있고 과학 기술은 진보하고 있다. 자발적 사후 평가 메커니즘이 작동하기 때문이다. 조작된 논문들과 질적 수준이 낮은 논문들은 쇤의 경우와 같이 명료한 방법으로 탄핵되거나, 또는 인용이 되지 않는 식의 자연스러운 방법으로 퇴출된다. 즉, 학술지에 진입하기 전의 先 동료평가와 논문게재 후의 後 동료평가, 두 가지 방식에 의해 과학계는 거짓을 걷어낸다. 그러나 시간이 필요하며, 단기적 불공정성이 비일비재하다.

복수의 전문가에게 의견을 묻는 동료평가 제도는 결론 도달 과정의 민주성을 보장하기 위한 제도가 아니라, 오류 발견의 가능성을 높이기 위한 제도이다. 문제의 핵심을 꿰뚫지 못한 다수의 의견보다 논문의 치명적 오류나 중요한 의미를 간파한 소수의 의견이 존중받을 수 있다. 이 말은 본질을 관통하는 의견이 주변적 견해를 압도할 수 있다는 원래의 긍정적 의도와는 달리, 편집자 혹은 심사위원의 주관적 선택성이 최종 결론에 큰 영향을 미칠 수 있다는 것으로 해석될 수 있다.

앨런 소칼의 지적 사기 사건은 이를 증명했다. 물리학자 소칼 교수는 궤변적 자연과학 지식을 바탕으로 ‘그럴싸하고, 편집자의 이데올로기에 동조하는’ 엉터리 논문을 인문학 학술지인 ‘소셜 텍스트’에 투고했고, 본 논문은 편집자의 추천을 받아 출간된다. 해당 학술지는 앞서 기술한 동료평가 제도 없이 편집자가 결정하는 평가제도를 채택하고 있었다. 소칼 교수가 자신의 논문은 엉터리다라고 밝힌 이후, ‘소셜 텍스트’는 동료평가 제도를 도입했다.

사전 평가의 불완전성을 인정한다면, 그래서 그 결과물의 흠결의 가능성을 받아들여야 한다면, 그것이 논문이든 사회 제도이든 간에, 그 흠결을 제거하기 위한 사후적 노력이 필요하다. 사후적 평가는 성립된 권위에 대한 도전이자 견제이며, 필요하다면 권위가 가지는 권력을 말소시킬 수 있어야 한다. 조작 판명이 난 논문은 취소 혹은 철회 처분으로 그 권위가 말소되며, 물리적 형태의 논문은 전자문서로 남아 오명의 기록이 된다.

대한민국의 시스템이 작동치 않았고, 헌정 시계가 멈춰버린 상황에서 우리는 자발적 의견 개진을 통해 입법부를 움직여 행정부를 견제했다. 사후 평가 시스템이 훌륭히 작동했고, 그 표출방법은 지극히 세련되고 아름다웠다. 막막한 국내정세와 노스탤지아적 민족주의가 득세하는 세계정세에도 불구하고, 자신감과 믿음으로 정유년 붉은 닭을 맞이하는 까닭이다.

송현곤 UNIST 교수·에너지 및 화학공학부

<본 칼럼은 2017년 1월 13일 울산매일신문 23면에 ‘[시론 칼럼] 완벽한 제도는 없다’이라는 제목으로 실린 것입니다.>