학생, 변호사 등은 인공지능이 작성한 글을 자신의 것으로 위장하고 있습니다. Alex O’Brien은 AI가 실제 작성자인지 확인하는 데 필요한 기술적 도구와 비판적 사고 능력을 조사합니다.

“미로 미로”. 이 두 단어가 정확히 무엇이 나에게 충격을 주었는지는 모르겠지만, 그 단어 때문에 나는 잠시 멈춰 섰다. 그러나 계속 읽으면서 알람 벨이 울리기 시작했습니다. 나는 14-16세를 위한 과학 글쓰기 대회를 심사하고 있었는데 , 이 특별한 에세이에는 십대 청소년에게는 있을 수 없을 것 같은 언어의 정교함이 있었습니다.

AI 감지 소프트웨어를 통해 에세이를 실행했습니다. 몇 초 만에 Copyleaks는 내 화면에 결과를 표시했는데 매우 실망스러웠습니다. 텍스트의 95.9%가 AI에서 생성되었을 가능성이 높습니다. 확신이 필요했기 때문에 다른 도구인 Sapling을 통해 실행해 96.1%의 사람이 아닌 텍스트를 식별했습니다. 세 번째는 처음 두 가지를 확인했지만 점수는 약간 낮았습니다(89% AI). 그래서 저는 Winston AI 라는 또 다른 소프트웨어를 통해 이를 실행했습니다 . 그것은 의심의 여지가 없습니다: 1% 인간. 4개의 개별 AI 탐지 소프트웨어에는 모두 하나의 명확한 메시지가 있었습니다. 이는 AI 사기꾼입니다.

나는 AI로 작성된 콘텐츠가 내 직업인 저널리즘을 포함해 많은 산업에 심각한 문제를 야기하고 있다는 사실을 한동안 알고 있었습니다. 그런데 한 학생이 작문 대회에 AI 초안 출품작을 제출하는 것이 허용될 것이라고 생각했기 때문에 저는 놀랐습니다. 물론, 부정행위를 시도하는 학생들은 새로운 것이 아닙니다. 나를 놀라게 한 것은 AI의 의도적인 사용이 내가 생각했던 것보다 더 널리 퍼질 수 있다는 가능성이었습니다. 내 앞에 있는 가짜 학생 에세이를 보면서 나는 걱정할 수밖에 없었다. 아직 많은 교육 여정을 앞두고 있는 어린 8세 아이의 어머니로서, 초등학생이 AI를 사용하는 것을 보면서 미래 학습 과정의 무결성과 가치에 대해 큰 우려를 갖게 되었습니다.

그렇다면 AI 사기꾼을 어떻게 찾아낼 수 있을까요? 단서와 지시가 있을 수 있나요? 다행히도 새로운 도구가 등장하고 있습니다. 그러나 곧 알게 되겠지만, AI 위조 문제는 교육계를 넘어서며, 기술만으로는 이러한 변화에 대응하기에 충분하지 않습니다.

학생 부정행위의 경우, 안심할 수 있는 소식은 교사와 교육자들이 에세이를 확인하는 데 도움이 될 수 있는 기존 도구와 전략을 이미 가지고 있다는 것입니다. 예를 들어 교육기관에서 사용하는 표절방지 소프트웨어 업체 턴잇틴(Turnitin)은 지난 4월 AI 글쓰기 감지 기능을 출시했다 . CEO인 Chris Caren은 이 소프트웨어의 오탐률(사람이 쓴 텍스트를 AI로 잘못 식별하는 경우)이 1%라고 말했습니다.

Copyleaks, Sapling, Winston AI 등 학생 에세이를 확인하는 데 사용한 웹 도구나 GPTZero 및 ChatGPT 창시자인 OpenAI에서 출시한 ” AI 분류기 ” 와 같은 웹 도구도 있습니다 . 대부분은 무료로 사용할 수 있습니다. 웹사이트에 텍스트를 붙여넣기만 하면 결과를 확인할 수 있습니다.

AI가 다른 AI를 어떻게 감지할 수 있나요? 짧은 대답은 패턴 인식입니다. 더 긴 대답은 체커가 인간의 글과 컴퓨터 생성 텍스트를 구별하는 고유 식별자를 사용한다는 것입니다. “당황”과 “폭주”는 아마도 AI 텍스트 조사의 두 가지 주요 지표일 것입니다.

Perplexity는 언어 모델이 훌륭하고 문법적으로 정확하며 가능한 문장을 작성하는 데 얼마나 잘 수행되는지, 즉 다음 단어를 얼마나 잘 예측하는지를 측정합니다. 인간은 AI와는 다른 난해함, 예측 불가능하고 다양한 문장으로 글을 쓰는 경향이 있습니다.

파열성은 문장의 다양성을 나타냅니다. 서면 텍스트에서 AI는 전반적으로 더 균일한 경향이 있습니다. 문장 구조와 길이는 일반적으로 규칙적이며 단어 선택과 구문 사용에 있어서 덜 창의적입니다. 용어, 반복되는 문구 및 문장 구조의 빈도와 조합은 사람이 쓴 텍스트가 일반적으로 표시하는 확장된 어휘와 번성하는 스타일의 변형이 부족한 클러스터를 만듭니다.

그러나 AI는 인간의 목소리를 내는 데 점점 더 좋아지고 있습니다. 그리고 이러한 탐지 도구가 완벽하지 않다는 것은 이미 분명합니다. 스탠포드 대학 연구진 의 최근 논문에서 GPT 탐지기는 영어가 모국어가 아닌 작가에 대한 편견을 보여주었습니다. 그들은 중국 포럼의 TOEFL(외국어로서의 영어 시험) 에세이 91개와 Hewlett Foundation의 ASAP(Automated Student Assessment Prize) 데이터세트의 미국 8학년 에세이 88개에 대해 널리 사용되는 7개의 GPT 감지기의 성능을 평가했습니다. 탐지기는 미국 학생 에세이를 정확하게 측정했지만 TOEFL 에세이의 절반 이상이 “AI 생성”으로 잘못 표시되었습니다(평균 위양성 비율: 61.3%).

GPTZero의 CEO인 Edward Tian에게 탐지는 솔루션의 절반에 불과합니다. 그는 무책임한 AI 사용에 대한 해결책은 탐지가 아니라 새로운 글쓰기 검증 도구에 있다고 믿습니다. 이는 글쓰기 과정의 투명성을 회복하는 데 도움이 될 것이라고 그는 말했습니다. 그의 비전은 글을 쓸 때 AI 참여를 투명하고 책임감 있게 공개하는 유능한 학생들입니다. “우리는 학생들이 자신이 작가임을 증명할 수 있는 최초의 인간 검증 도구를 구축하기 시작했습니다.”라고 Tian은 말합니다.

고리 안에 갇힌 사람

AI가 만든 글쓰기가 확산됨에 따라 인간이 직면한 실제 과제는 다음과 같습니다. 아마도 기술에 의존하여 이를 발견할 수는 없을 것입니다. 따라서 정보의 진실성을 정기적으로 스트레스 테스트하는 회의적이고 탐구적인 태도가 중요합니다. 결국 저는 애초에 의심이 많아서 학생 에세이를 AI 체커로 확인해볼까 생각만 했는데요.

허위 정보와의 전쟁은 자동화된 도구만으로는 충분하지 않으며, 우리에게는 인간이 필요하다는 사실을 이미 보여주었습니다. 이를 직접 목격한 사람 중 한 명은 화이트홀의 외교, 영연방 및 개발 사무소의 법률 이사인 Catherine Holmes입니다. 그는 수십 년 동안 영국의 국가 안보 부서에서 일해 왔습니다. 거짓일 수 있는 정보를 확증하려고 할 때 사람들의 판단이 여전히 중요하다고 그녀는 말합니다. “당신은 인간의 실제 통찰력을 바탕으로 이 정보가 실제로 정확한지 알아내려고 노력하고 있습니다.”

사기의 세계에서도 마찬가지다. 법의학 서비스 책임자인 Rachael Joyce가 사기 및 위법 행위에 대한 조사를 통해 고객을 지원하는 글로벌 회계 회사인 PricewaterhouseCoopers에서는 인간의 감독과 통찰력이 프로세스의 핵심 부분입니다. 별로 잘하지 않아.”

 

범죄적 치트

AI로 생성된 콘텐츠를 찾아내는 능력은 교육 세계 밖에서도 중요할 것입니다. 사이버 범죄자들은 ​​이제 AI 시스템을 사용해 가짜 프로필, 문서, 거래 기록을 만들어 사람과 기관을 속여 돈을 빼앗고 있습니다. 올해 초 이를 테스트하기 위해 Vice의 한 기자는 AI 생성 음성을 사용하여 자신의 은행 계좌에 침입하는 것이 얼마나 쉬운지 조사하고 싶었습니다 . 그는 AI 음성 회사인 ElevenLabs라는 무료 음성 생성 서비스를 사용하여 자신의 목소리의 합성 복제물을 만들었습니다. 이 정보와 그의 생년월일은 자동 은행 시스템을 속이고 자신의 계좌에 접근하는 데 필요한 전부였습니다.

그렇다면 어떤 AI 검사를 직접 할 수 있나요? 지난 몇 년 동안 나는 비판적 사고를 강화하는 방법에 관한 진실탐정(The Truth Detective)이라는 책을 연구하고 집필해 왔습니다. 다음은 AI 탐정 작업을 시작하는 데 도움이 될 수 있는 몇 가지 기본 질문입니다.

첫 번째 작업은 확인하는 것입니다. 출처를 확인하고 확인할 수 있나요? 서면과 시각적 증거 모두를 확인할 수 있습니까? 어떻게 하나요? 정확도 검토. 다른 평판이 좋은 출처에서 대조 자료를 대조 확인하거나 찾을 수 없다면 의심을 제기해야 합니다. Turnitin의 Caren은 “생성된 AI에는 환각 문제가 있습니다 .”라고 말합니다. “사실 확인은 콘텐츠 소비자로서 또는 AI를 사용하여 생산성을 높이는 데 매우 중요합니다.”

다음 단계는 텍스트를 자세히 살펴보는 것입니다. 철자법, 문법 사용 및 구두점에서 일부 단서를 찾을 수 있습니다. 현재 AI의 기본 언어는 여전히 미국 영어입니다. 철자와 문법이 출판물이나 그것을 집필하는 저자에 적합하지 않은 경우 다음과 같이 질문하십시오. 왜 그렇습니까? 따옴표가 포함되어 있나요? 그렇다면 인용문은 누구입니까? 이 사람이나 기관이 존재합니까? 사용된 참조에 대해서도 이 작업을 수행하고 출처가 언제인지 확인하세요. AI는 액세스할 수 있는 데이터 소스 측면에서 여전히 제한적인 경우가 많으며 최근 뉴스를 인식하지 못할 수도 있습니다. 특정 지식에 대한 언급이 있나요? 그것이 부족하면 사기를 나타낼 수 있습니다.

마지막으로 글의 톤, 목소리, 스타일을 확인하세요. AI가 생성한 텍스트에는 (적어도 현재로서는) 여전히 부자연스러운 언어 패턴이 있습니다. 특별한 경품은 어조와 목소리의 갑작스러운 변화입니다.

다음 예는 아마도 그럴듯하고 매우 현실적으로 보일 수 있지만 절대적으로 교차 확인이 필요한 것을 AI가 쉽게 구성할 수 있다는 사실을 극명하게 상기시켜 주는 것일 것입니다.

2023년 6월, 법원이 ‘전례 없는’ 상황으로 묘사한 상황에서 뉴욕의 변호사 스티븐 A 슈워츠(Steven A Schwartz)는 판사에게 소송을 제기하려고 했습니다. 왜? 그가 제출한 인용문과 사법 의견은 전혀 존재하지 않았습니다. 그는 ChatGPT를 사용하여 사건이 실제이며 Westlaw 및 LexisNexis와 같은 법률 연구 사이트에서 찾을 수 있음을 확인했습니다. 예를 들어, 사건에 대한 증거를 “[그에게] 보여 달라”는 Schlowwartz의 요청에 대해 ChatGPT는 다음과 같이 응답했습니다. “물론입니다! 여기에 간단한 발췌문이 있습니다…” 그런 다음 확장된 환각 발췌문과 호의적인 인용문을 계속 제공했습니다. 슈워츠는 자신이 창피하다고 말했습니다. 그는 ChatGPT가 Google과 유사한 검색 엔진이라고 믿었습니다.

그러나 모든 경우가 이렇게 명백하게 드러나는 것은 아닙니다. 따라서 우리 모두가 인위적으로 고안된 미래로 미끄러져 들어가면서 인간의 질문하는 사고방식이 필요할 것이라는 점은 분명합니다. 실제로 우리의 조사 기술과 비판적 사고 기술은 그 어느 때보다 더 많이 요구될 수 있습니다.