[ISTQB - AI] 제2장 인공지능기반 시스템 품질 특성

2.1 유연성과 적응성

유연성과 적응성은 밀접하게 연관된 품질 특성으로, 인공지능기반 시스템에서는 다음과 같이 정의된다

• 유연성: 시스템이 본래의 요구사항이 아닌 상황에서 사용될 수 있는 정도
• 적응성: 시스템이 의도와는 다른 하드웨어나 변화하는 운영 환경 등 새로운 상황에 맞게 제품을 수정하는 용이성

유연성과 적응성은 다음과 같은 경우에 유용하다

• 운영 환경을 완전히 알 수 없는 경우
• 새로운 운영 환경에 대처해야 하는 경우
• 새로운 상황에 적응해야 하는 경우
• 시스템이 스스로 언제 동작을 수정할지 결정해야 하는 경우

자가학습을 하는 인공지능기반 시스템은 이러한 유연성과 적응성의 특성을 필요로 한다. 이러한 요구사항은 시스템이
적응할 환경 변화의 세부 사항과, 적응에 필요한 시간과 자원의 제약 조건을 명시해야 한다.

2.2 자율성

자율성은 시스템이 사람의 감독과 통제로부터 독립적으로 일정 기간 동안 동작할 수 있는 능력을 의미한다. 완전 자율 시스템은 사람의 개입 없이 작동하지만, 실제로는 완전한 자율성이 항상 요구되는 것은 아니다. 예를 들어, 완전 자율주행 자동차는 "완전 주행 자동화"로 분류된다.

많은 사람들은 자율 시스템을 "스마트"하거나 "지능적"이라고 생각하며, 이러한 시스템에는 인공지능기반 컴포넌트가 포함될 가능성이 크다. 예를 들어, 자율주행 차량은 센서와 이미지 처리 장치를 통해 주변 환경을 인식하고, 이를 위해 기계학습, 특히 딥러닝 기술을 활용한다. 자율 시스템은 또한 의사 결정 및 제어 기능도 포함할 수 있다.

모든 인공지능기반 시스템이 자율 시스템인 것은 아니다. 자율 시스템의 자율성 특성은 명세화되고 테스트되어야 하며, 예를 들어 자율 시스템이 사람의 개입 없이 동작할 수 있는 시간과, 사람에게 제어권을 돌려줘야 하는 이벤트를 명확히 해야 한다.

2.3 진화

진화는 변화하는 외부 제약에 대응하여 시스템이 스스로 개선하는 능력을 의미한다. 일부 인공지능 시스템은 자가학습 시스템으로, 성공적인 자가학습을 위해서는 이러한 진화가 필수적이다. 인공지능기반 시스템은 변화하는 환경에서 동작하기 때문에, 유연성과 적응력이 필요하다.

자가학습 인공지능 시스템은 일반적으로 두 가지 형태의 변화를 관리해야 한다:

시스템이 자신의 결정과 주변 환경과의 상호작용에서 학습하는 경우.
시스템 운영 환경의 변화에서 학습하는 경우.
이러한 진화는 시스템의 효과성과 효율성을 향상시키기 위해 필요하지만, 원하지 않는 특성이 발생하지 않도록 통제되어야 한다. 모든 진화는 시스템의 원래 요구사항과 제약 조건을 충족해야 하며, 명세가 부족한 경우에도 인간의 가치에 부합하도록 관리되어야 한다.

2.4 편향성

편향성은 인공지능기반 시스템이 제공하는 결과와 "공정한 결과"로 간주되는 값 간의 차이를 나타내는 통계적 수치이다. 공정한 결과는 특정 그룹에 대한 편애 없이 균형 잡힌 결과를 의미하며, 부적절한 편견에는 성별, 인종, 민족, 성적 지향, 소득 수준, 나이 등의 속성이 포함될 수 있다. 편향성 문제는 은행 대출 심사, 채용, 사법 모니터링 시스템 등에서 보고된 바 있다.

편향성은 다양한 인공지능 시스템에서 나타날 수 있으며, 특히 기계학습 시스템의 확산으로 인해 편향성과 관련된 논의가 집중되고 있다. 기계학습 시스템에서 편향성이 발생할 수 있는 주요 원인은 다음과 같다:

• 알고리즘 편향성: 학습 알고리즘이 잘못 구성되어 특정 데이터를 과대평가할 때 발생하며, 이는 알고리즘의 초매개변수 튜닝을 통해 관리할 수 있다.
• 샘플 편향성: 훈련 데이터가 전체 데이터 공간을 충분히 대표하지 못할 때 발생하며, 주로 부적절한 편향성의 원인이 된다.

이 두 가지 편향성은 인공지능 시스템의 결과에 영향을 미칠 수 있으며, 공정한 시스템을 구축하기 위해 주의 깊게 관리되어야 한다.

2.5 윤리

인공지능기반 시스템은 사람들의 삶에 긍정적인 영향을 미치고 있지만, 그 윤리적인 사용에 대한 우려도 증가하고 있다. 윤리적 기준은 시간이 지남에 따라 변할 수 있으며, 지역과 문화에 따라 다를 수 있기 때문에 인공지능 시스템을 다른 지역으로 배포할 때 이해관계자 간의 가치관 차이를 고려해야 한다.

2019년, 경제협력개발기구(OECD)는 인공지능의 책임 있는 개발을 위한 국제 표준인 인공지능 권고안을 발표했고, 이는 42개국에서 채택되었다. 이 권고안은 신뢰할 수 있는 인공지능의 책임 있는 관리를 위한 정책 권고와 가치 기반 원칙을 포함하며 다음을 강조한다

• 인공지능은 포괄적 성장, 지속가능한 개발, 웰빙을 이끌어야 한다.
• 인공지능 시스템은 법치, 인권, 민주적 가치, 다양성을 존중하고 공정한 보호 장치를 포함해야 한다.
• 인공지능에 대한 투명성이 있어야 하며, 사람이 결과를 이해하고 이의를 제기할 수 있어야 한다.
• 인공지능 시스템은 견고하고 안전하게 기능하며, 수명 동안 지속적으로 잠재적 위험을 평가해야 한다.
• 인공지능 시스템을 개발, 배포, 운영하는 조직 및 개인은 이에 대해 책임을 져야 한다.

이러한 권고는 인공지능이 윤리적으로 사용되도록 보장하고, 그 영향을 긍정적으로 유지하기 위한 원칙들로 구성되어 있다.

2.6 부작용과 보상 해킹

부작용과 보상 해킹은 인공지능기반 시스템이 목표를 달성할 때 예상치 못한 또는 해로운 결과를 초래할 수 있다.

부작용
설계자가 특정 환경에서 특정 작업만을 중점적으로 수행하도록 목표를 설정했을 때 발생할 수 있다. 이 경우 환경의 다른 중요한 측면을 무시하여 해로운 결과를 초래할 수 있다.
ex) 자율주행 자동차가 "최대한 연료를 절약하면서 안전하게 목적지에 도달하는 것"을 목표로 삼지만, 이동 시간이 너무 길어 탑승자들이 불편함을 느끼게 하는 상황이 발생할 수 있다.

보상 해킹
인공지능 시스템이 목표를 달성하기 위해 설계자의 의도를 왜곡하는 "영리한" 또는 "쉬운" 해결책을 사용하는 경우이다.
ex) 아케이드 게임에서 최고 점수를 달성하는 것을 목표로 한 인공지능이 게임을 직접 플레이하지 않고 저장된 최고 점수 데이터를 해킹해 목표를 달성하는 경우가 있다.

2.7 투명성, 해석 가능성, 설명 가능성

인공지능 기반 시스템의 신뢰성을 확보하기 위해 중요한 특성으로 설명된다

• 투명성: 모델을 생성하는 데 사용된 알고리즘과 훈련 데이터를 사용자가 얼마나 쉽게 식별할 수 있는지를 의미한다.
• 해석 가능성: 사용자와 이해관계자들이 사용된 인공지능 기술을 얼마나 이해할 수 있는지를 나타낸다.
• 설명 가능성: 사용자가 시스템이 특정 결과를 어떻게 도출했는지 쉽게 이해할 수 있는지를 의미한다.

이러한 특성은 설명 가능한 인공지능(XAI) 의 핵심 목표로, 사용자에게 인공지능 시스템의 결과 도출 과정을 이해시켜 신뢰를 높이는 데 중점을 둔다. XAI는 사용자 신뢰 제공, 편향성 보호, 규제 표준 충족, 리스크 평가, 시스템 출력의 이해 및 확인 등을 위해 필요하다. 이는 사용자가 "블랙박스"로 느낄 수 있는 인공지능 시스템의 결과 도출 과정을 명확히 해주는 것을 목표로 한다.

2.8 안전과 인공지능

"안전"은 인공지능 기반 시스템이 사람, 재산, 환경에 해를 끼치지 않을 것이라는 기대를 의미한다. 의료, 제조, 국방, 보안, 운송 등 다양한 분야에서 인공지능 기반 시스템이 사용되며, 이들의 안전성은 중요한 요소이다.

인공지능 기반 시스템의 안전성을 검증하는 데 어려움을 주는 주요 특성은 다음과 같다:

복잡성: 시스템 구조와 동작이 복잡하다.
비결정성: 동일한 입력에 대해 항상 동일한 결과를 보장하지 않는다.
확률적 특성: 시스템의 행동이 확률적으로 결정된다.
자가학습: 시스템이 스스로 학습하며 변화를 일으킨다.
투명성, 해석 가능성, 설명 가능성 부족: 시스템이 결과를 어떻게 도출하는지 알기 어렵다.
강건성 부족: 예상치 못한 상황에서 안정적인 동작을 보장하기 어렵다.

2장 예상문제

문제 1: 인공지능 시스템에서 유연성과 적응성의 차이점으로 옳은 것은 무엇인가요?

a) 유연성은 시스템의 성능을 의미하고, 적응성은 시스템의 안정성을 의미한다.
b) 유연성은 시스템이 예상치 못한 상황에서 사용될 수 있는 정도이며, 적응성은 시스템이 새로운 환경에 맞게 수정될 수 있는 용이성이다.
c) 유연성은 시스템의 복잡성을 의미하고, 적응성은 시스템의 투명성을 의미한다.
d) 유연성은 시스템의 비용을 절감하는 특성이고, 적응성은 사용자의 신뢰를 높이는 특성이다.

정답(드래그)
　B　
해설(드래그)

유연성은 시스템이 예상하지 못한 상황에서 얼마나 잘 사용할 수 있는지의 정도를 의미하며, 적응성은 시스템이 새로운 환경에 맞게 수정될 수 있는 용이성을 나타낸다.

문제 2: 다음 중 인공지능 시스템에서 부적절한 편향이 발생할 수 있는 원인으로 옳지 않은 것은 무엇인가요?

a) 학습 알고리즘의 잘못된 구성으로 인해 발생하는 알고리즘 편향성
b) 훈련 데이터가 데이터 공간을 충분히 반영하지 못해 발생하는 샘플 편향성
c) 시스템의 투명성 부족으로 인해 발생하는 투명성 편향성
d) 시스템이 스스로 학습하면서 발생하는 자가학습 편향성

정답(드래그)
　D　
해설(드래그)

편향성은 일반적으로 학습 알고리즘의 구성 오류(알고리즘 편향성)나 훈련 데이터의 대표성 부족(샘플 편향성)에서 발생

문제 3: 인공지능 시스템의 자율성이란 무엇을 의미하나요?

a) 사람이 시스템을 완전히 제어할 수 있는 능력
b) 시스템이 사람의 감독 없이 일정 기간 독립적으로 작동할 수 있는 능력
c) 시스템의 비용 효율성을 높이는 능력
d) 사용자가 시스템의 작동 방식을 쉽게 이해할 수 있는 능력

정답(드래그)
　B　
해설(드래그)

자율성은 인공지능 시스템이 사람의 개입 없이 독립적으로 작동할 수 있는 능력을 의미하며, 특히 일정 기간 동안 지속적으로 수행할 수 있는 능력을 나타낸다.

문제 4: 인공지능 시스템에서 진화가 필요한 이유로 적절한 것은 무엇인가요?

a) 시스템이 점차적으로 더 많은 에너지를 절약하도록 하기 위해서
b) 시스템이 변화하는 환경에 대응하며 성능을 개선하기 위해서
c) 시스템의 비용을 줄이기 위해서
d) 시스템의 복잡성을 낮추기 위해서

정답(드래그)
　B　
해설(드래그)

인공지능 시스템의 진화는 변화하는 환경에 적응하고 성능을 향상하기 위해 필요하다. 이를 통해 시스템은 지속적으로 발전할 수 있다.

문제 5: 다음 중 인공지능 시스템에서 발생할 수 있는 부작용의 예로 옳은 것은 무엇인가요?

a) 인공지능 시스템이 목표를 쉽게 달성하기 위해 게임 데이터를 해킹하는 경우
b) 자율주행 자동차가 연료 절약을 위해 이동 시간을 지나치게 늘려 탑승자가 불편함을 느끼는 경우
c) 시스템이 자율적으로 자신의 결과를 수정하는 경우
d) 시스템이 자체적으로 편향성을 제거하는 경우

정답(드래그)
　B　
해설(드래그)

자율주행 자동차가 연료 절약에 집중하여 탑승자의 편의를 소홀히 하는 부작용을 설명한 것, 목표를 달성하기 위해 의도치 않은 결과가 발생할 수 있다.

문제 6: 인공지능 시스템의 투명성, 해석 가능성, 설명 가능성이 중요한 이유로 적절하지 않은 것은 무엇인가요?

a) 사용자가 시스템을 신뢰할 수 있게 한다.
b) 시스템의 비용을 낮춘다.
c) 편향성으로부터 보호한다.
d) 규제 표준 또는 정책 요구사항을 충족시킨다.

정답(드래그)
　B　
해설(드래그)

투명성, 해석 가능성, 설명 가능성은 사용자의 신뢰를 높이고, 편향을 방지하며 규제 요구사항을 충족하는 데 도움을 준다.

문제 7: 다음 중 OECD가 제시한 인공지능의 윤리적 개발을 위한 권고사항으로 옳은 것은 무엇인가요?

a) 인공지능은 사용자의 비용 절감을 위한 솔루션을 제공해야 한다.
b) 인공지능은 포괄적 성장, 지속 가능한 개발을 추구하고 인간과 환경에 이바지해야 한다.
c) 인공지능은 개발자의 투명성 요구사항을 충족해야 한다.
d) 인공지능은 운영 중에 자율성을 제거해야 한다.

정답(드래그)
　B　
해설(드래그)

OECD 권고사항에 따르면 인공지능은 포괄적 성장과 지속 가능한 개발을 통해 인간과 환경에 이바지해야 한다고 명시됨.

문제 8: 인공지능 시스템의 안전성 검증이 어려운 이유로 거론되는 특성이 아닌 것은 무엇인가요?

a) 시스템의 비결정성
b) 시스템의 자가학습
c) 시스템의 높은 에너지 소비
d) 시스템의 복잡성

정답(드래그)
　C　
해설(드래그)

안전성 검증이 어려운 이유로는 시스템의 비결정성, 자가학습, 복잡성 등이 있으며, 높은 에너지 소비는 직접적인 검증 어려움과 관련이 없음

문제 9: 다음 중 편향성이 있는 인공지능 시스템이 사회에 미칠 수 있는 부정적 영향으로 가장 적절한 것은 무엇인가요?

a) 특정 그룹에 대해 공정한 평가를 내리는 능력을 향상시킨다.
b) 특정 그룹에 대한 편애로 차별적인 결과가 발생할 수 있다.
c) 시스템이 자가학습을 멈추고 특정 데이터에만 집중한다.
d) 시스템이 비용을 절감할 수 있다.

정답(드래그)
　B
해설(드래그)

편향성으로 인해 특정 그룹에 대해 차별적인 결과가 나올 수 있으며, 이는 인공지능 시스템이 사회적으로 부정적인 영향을 미치는 예가 될 수 있다.

문제 10: 인공지능 시스템의 안전성과 강건성에 대한 고려가 필요한 이유로 적절한 것은 무엇인가요?

a) 시스템의 실행 속도를 높이기 위해서
b) 사용자 신뢰를 확보하고 안전한 작동을 보장하기 위해서
c) 시스템 개발 비용을 절감하기 위해서
d) 설명 가능성을 높이기 위해서

정답(드래그)
　B　
해설(드래그)

안전성과 강건성은 인공지능 시스템의 안정적이고 신뢰할 수 있는 작동을 보장하기 위해 필수적인 요소이다. 이를 통해 시스템이 예기치 않은 상황에서도 안정적으로 작동할 수 있다.