죄수의 딜레마(prisoner's dilemma)는 2명이 참가하는 비제로섬 게임 (non zero-sum game)의 일종이다. 이 게임은 용의자의 딜레마라고도 부른다. 이 사례는 협력할 경우 서로에게 가장 이익이 되는 상황일 때 개인적인 욕심으로 서로에게 불리한 상황을 선택하는 문제를 보여주고 있지만 이후 이러한 딜레마의 '반복되는 죄수의 딜레마'로 지속적으로 일어날 경우 긍정적인 협동이 가장 최선의 선택지가 된다는 사회행동의 전략적 진화를 보여준다.
상황은 다음과 같다. 두 명의 사건 용의자가 체포되어 서로 다른 취조실에서 격리되어 심문을 받고 있다. 이들에게 자백여부에 따라 다음의 선택이 가능하다. 1) 둘 중 하나가 배신하여 죄를 자백하면 자백한 사람은 즉시 풀어주고 나머지 한 명이 10년을 복역해야 한다. 2) 둘 모두 서로를 배신하여 죄를 자백하면 둘 모두 5년을 복역한다. 3) 둘 모두 죄를 자백하지 않으면 둘 모두 6개월을 복역한다. 죄수A의 선택 : 죄수B가 침묵할 것으로 생각되는 경우 자백을 하는 것이 유리하다. 죄수B가 자백할 것으로 생각되는 경우 자백이 유리하다. 따라서 죄수A는 죄수B가 어떤 선택을 하든지 자백을 선택한다. 죄수B의 선택 : 죄수A와 동일한 상황이므로, 마찬가지로 죄수A가 어떤 선택을 하든지 자백이 유리하다. 균형 : 죄수 A, B는 모두 자백을 선택하고 각각 5년씩 복역한다. 이 게임의 죄수는 상대방의 결과는 고려하지 않고 자신의 이익만을 최대화한다는 가정 하에 움직이게 된다. 이때 언제나 협동(침묵)보다는 배신(자백)을 많은 이익을 얻으므로 모든 참가자가 배신(자백)을 택하는 상태가 내쉬 균형이 된다. 참가자 입장에서는 상대방의 선택에 상관없이 자백을 하는 쪽이 언제나 이익이므로 합리적인 참가자라면 자백을 택한다. 결국 결과는 둘 모두 5년을 복역하는 것이고, 이는 둘 모두가 자백하지 않고 6개월을 복역하는 것보다 나쁜 결과가 된다.
죄수의 딜레마 게임은 정부의 존재 이유를 정당화하는 이론적 근거의 하나로 사용되기도 하지만 한편으로는 '협동'이라는 사회적 진화가능성을 설명할 수 있는 이론으로 제시되기도 한다. 아담 스미스 등의 자유주의 시장 경제 이론에 따르면, 각 행위자들이 자신의 이익을 극대화하기 위해 행동하는 경우 비록 정부의 역할이 없더라도 시장이라는 보이지 않는 손에 의해 균형이 달성되어 사회적으로 가장 바람직한 결과가 나오게 된다. 하지만 죄수의 딜레마 게임에 따르면, 각 행위자들이 자신의 이익을 극대화하기 위해 행동하는 경우 모든 사람들에게 최악의 결과가 생긴다. 이러한 결과는 게임 참여자 중 어느 누구도 원하지 않았던 결과이며, 행위자들끼리 자발적인 의사소통과 약속 등의 방법을 통해서는 결코 해결할 수 없다. 결국 정부 또는 국가라는 외부의 행위자가 개입하여 법률, 제도, 세금 등의 방법으로 각 행위자의 행동을 강제해야만 사회적으로 바람직한 결과가 도출될 수 있다는 이론이다. 한편 '반복되는 죄수의 딜레마'(Iterated Prisoner's Dilemma)는 아주 단순한 메커니즘을 갖는 팃포탯 전략의 실험을 통해서 죄수의 딜레마가 지속적으로 반복되는 경우 최적의 선택은 결국 협동이라는 양상의 사회행동임을 연구발표한바있다.