(영상) ServDes 강연 4 서비스디자인의 효과 측정 - 프란체스카 포글리에니 교수

이 강연은 서비스디자인이 조직과 사회에 미치는 효과를 어떻게 측정할 수 있는지를 다룹니다.
프란체스카 포글리에니 교수는 ‘영향(impact)’과 ‘성과(outcome)’, ‘산출물(output)’의 차이를 설명하며, 실제로 디자이너가 수행할 수 있는 것은 대부분 영향이 아닌 가치(value) 평가라고 강조합니다. 서비스디자인의 가치를 평가하기 위한 도구로는 디자인 성숙도 모델, 디자인 스코어카드, 서비스 품질 평가 등 다양한 방법론이 소개되었습니다. Bitride 사례에서는 실험 설계, 데이터 수집, 사용자 조사, 설문, 불만 분석을 통해 서비스 경험을 구체적으로 측정하고 개선 방향을 도출한 과정을 보여줍니다. 포글리에니 교수는 평가가 객관성과 구조를 갖출 경우 조직 내 의사결정과 신뢰 형성에 중요한 수단이 될 수 있음을 강조하며, 디자이너가 주도적으로 평가 문화에 참여해야 함을 촉구합니다.

프란체스카 포글리에니는 밀라노 폴리테크니코 디자인학과 및 폴리디자인에서 활동 중인 서비스디자인 연구자이자 교수입니다.
서비스디자인, 서비스 혁신, 디자인 평가 분야를 전문으로 하며, 유럽연합 프로젝트 매니저 및 기업·공공기관의 자문 역할도 수행하고 있습니다. 그녀는 서비스디자인 과정 내에 평가 활동을 통합하기 위한 연구를 박사과정부터 지속해왔으며, 이를 바탕으로 관련 도서와 국제 고위 과정을 개발했습니다. 2022년까지 서비스디자인 석사과정 책임자였으며, 현재는 '서비스 시스템 디자인 및 평가' 클러스터의 최고위 과정을 이끌고 있습니다.

ServDes Lecture-4 | Measuring the Impact of Service Design | Francesca Foglieni
Design IITH Films
영상 출처 : https://youtu.be/OBWgBkCeExA?si=vMO4j7rSRD56V4FB  
번역 : 챗GPT (요약, 생략된 부분이 있을 수 있습니다. 원본을 확인해주세요.)

---

 

진행자: 참가자 여러분, 대표단 여러분, 그리고 조직위원회 여러분 모두를 진심으로 환영합니다.
오늘은 ServDes 25 강연 시리즈 중 네 번째 강연으로, 폴리디자인 소속의 프란체스카 포글리에니 교수님과 함께합니다.
오늘 발표 주제는 ‘서비스디자인의 효과 측정’입니다.
이 강연은 현재 진행 중인 강연 시리즈의 일부이며, 오늘은 그 네 번째 세션으로 함께 소통하게 됩니다.
오늘의 연사를 소개하자면, 프란체스카 포글리에니 교수님은 서비스디자인, 서비스 혁신, 디자인 연구 분야에서 연구자이자 컨설턴트, 강사로 활동하고 있습니다.
그녀는 디자인 박사 학위를 보유하고 있으며, 현재 밀라노 폴리테크니코 디자인학과에서 유럽 연구 프로젝트의 프로젝트 매니저이자 디자인 스쿨의 겸임교수로 협업 중입니다.
또한 기업 및 공공조직과 협력하여 혁신적 서비스 솔루션 개발 및 평가를 지원하고, 인간 중심 및 효과 기반 접근의 도입을 촉진하고 있습니다.
2022년까지는 서비스디자인 전문 석사과정의 운영 책임자였으며, 2023년부터는 폴리디자인의 ‘서비스 시스템 디자인 및 평가’ 클러스터의 최고위 과정 책임자를 맡고 있습니다.
그럼 이제 포글리에니 교수님께 마이크를 넘기겠습니다. 환영합니다, 교수님.

프란체스카 포글리에니:
감사합니다. 초대해주셔서 감사합니다.
오늘 이렇게 복잡하지만 흥미로운 주제인 ‘서비스디자인의 효과 측정’에 대해 이야기할 수 있게 되어 기쁩니다.
제가 화면을 공유하겠습니다. 보이시는지 확인 부탁드립니다.
소개에서 이미 제 이야기를 거의 다 해주셨는데요,
말씀하신 대로 저는 서비스디자이너로서 연구, 교육, 그리고 약간의 컨설팅 활동을 병행하고 있습니다.
하지만 저의 주요 초점은 ‘평가’입니다.
저는 박사 과정부터 최근까지 수년에 걸쳐 연구를 수행하며, 평가라는 것이 서비스디자이너에게는 익숙하지 않은 역량이라는 점에 주목했습니다.
서비스디자인 과정 안에서 평가를 어떻게 통합할 수 있을지, 우리가 디자인하는 서비스의 가치와 효과, 그리고 영향을 어떻게 측정할 수 있을지를 탐구해 왔습니다.
그간의 연구 결과는 이 책에 요약되어 있으며, 최근에는 이 주제만을 다루는 고위 과정도 폴리디자인에서 개설하였습니다.
이 과정은 영어로 진행되는 국제 온라인 과정으로 누구나 쉽게 접근할 수 있습니다.

처음부터 이야기하자면, 저는 먼저 여러분과 함께 이 질문을 던지며 시작하고 싶습니다.
왜 우리는 ‘서비스디자인의 효과 측정’이라는 주제를 이야기해야 할까요?
왜 서비스디자인 실무 안에서 ‘영향’과 ‘평가’라는 주제가 중요하게 대두되고 있을까요?

우리는 최근 수년간 전 세계적으로 상황이 급격히 변화하고 있음을 잘 알고 있습니다.
지난 수십 년 동안, 모든 경제와 모든 기업은 단순한 혁신을 넘어 ‘지속적 변형’의 과정을 요구받고 있습니다.
이는 모든 기업, 모든 조직—심지어 공공 부문에서도—비즈니스 모델, 조직 문화, 운영 방식, 그리고 개발 및 제공하는 제품 및 서비스에 있어 지속적이고 때로는 근본적인 변화를 요구받는다는 것을 의미합니다.
보스턴컨설팅그룹은 이를 ‘항상 작동 중인 변화(always-on transformation)’라고 명명했습니다.

이러한 ‘항상 작동 중인 변화’는 최근 들어 특정한 특성을 갖게 되었습니다.
바로 세계경제포럼(World Economic Forum)이 정의한 ‘이중 전환(twin transition)’입니다.
즉, 조직과 서비스는 단지 계속해서 변화를 추구해야 하는 것이 아니라, 디지털화(digitalization)와 지속가능성(sustainability)이라는 두 가지 원칙을 동시에 따라야 한다는 것입니다.

우리는 단지 조직, 비즈니스, 서비스를 변화시켜야 하는 것이 아니라,
그 변화를 추진하는 방식 또한 디지털화를 통해 더욱 효율적으로 만들어야 하며,
동시에 그 과정이 지구 환경과 사회에 미치는 영향을 고려해 지속가능하게 수행해야 합니다.
즉, 앞으로 우리가 하는 모든 일은 여러 관점에서 지속가능해야 한다는 것입니다.

이러한 맥락에서 우리는 디자인, 특히 서비스디자인이 혁신과 변화의 동력으로 인정받고 있다는 점을 알고 있습니다.
이는 덴마크디자인센터에서 개발한 ‘디자인 사다리(Design Ladder)’를 통해 잘 설명됩니다.
이 모델에 따르면, 오늘날 디자인은 단순히 ‘스타일링 기능’에 그치지 않고 전략적 기능을 갖게 되었습니다.
많은 기업들이 이제 디자인을 채택하는 이유는 바로 이러한 전략적 역량 때문입니다.

하지만 반대로, 디자인이 실제로 그러한 효과를 낼 수 있다는 ‘객관적 근거’는 매우 부족한 실정입니다.
이는 디자인 분야에서 우리의 과정이나 능력, 산출물에 대한 ‘측정’이 거의 이루어지지 않기 때문입니다.
측정과 객관적 근거가 부족하다는 것은 곧, 디자인이 조직에 도입될 때 어떤 이점을 주는지를 설명하고 설득하기 어렵다는 것을 의미합니다.

특히 최근 들어, 서비스디자인이 정말로 복잡하고 대규모의 사회경제적 변화에 대응하기에 적합한 접근인지에 대해 의문을 제기하는 사람들도 있습니다.
반면에, 일부 저명한 디자인 스튜디오들은 ‘서비스디자인의 품질 기준’을 설정하려 하거나,
서비스디자인이 조직 차원 혹은 사회경제적 차원에서 가져올 수 있는 변화를 어떻게 측정할 수 있을지 고민하고 있습니다.

이러한 논의를 바탕으로 우리는 서비스디자인의 영향을 ‘측정’하는 방법에 대해 이해하는 것이 필수적이라는 점을 인식하게 됩니다.
하지만 여기서 다음 질문이 자연스럽게 떠오릅니다.
“서비스디자인의 영향을 어떻게 평가할 수 있을까?”라는 질문입니다.

불행히도 현재까지 이에 대한 명확하고 구조화된 해답은 없습니다.
아직까지 이 영향을 체계적으로 측정할 수 있는 통합된 방식은 존재하지 않습니다.
그럼에도 불구하고, 최근 몇 년간 이 주제에 대해 고민하고 시도한 사람들은 존재합니다.
그들은 다양한 방법을 개발하려 노력해왔고, 우리는 그 방법들을 시작점으로 삼아 우리가 부족한 ‘근거’를 만들어가야 합니다.

그 중 하나로, 서비스디자인네트워크(Service Design Network)는
자체 잡지인 Touchpoint에서 전체 한 호를 ‘서비스디자인의 영향과 가치 측정’에 전적으로 할애한 적이 있습니다.
또한 최근에는 ‘공공 부문에서의 서비스디자인 효과’에 관한 보고서도 발표하였습니다.

하지만 제가 연구자로서 이 주제를 탐색하고 디자인 과정 안에 ‘측정’을 통합하고자 했을 때, 가장 먼저 깨달은 사실은 이렇습니다.
우리는 실제로 ‘서비스디자인의 영향’을 직접 측정하는 것이 아니라,
서비스디자인 과정 혹은 그 과정을 통해 만들어진 서비스 자체를 ‘평가(evaluate)’하게 될 가능성이 더 크다는 것입니다.

왜냐하면 ‘영향평가(impact assessment)’라는 것은 매우 전문적인 분야이기 때문입니다.
이것은 특정한 특성을 갖는 전문적 영역이며, 그만큼 측정도 쉽지 않습니다.

따라서 우리가 먼저 이해해야 할 점은 ‘평가(evaluation)’와 ‘영향평가(impact assessment)’는 서로 다르다는 것입니다.
이 둘은 평가 대상이 되는 것이 무엇인가에 따라 구분됩니다.

우리가 ‘평가(evaluation)’라고 말할 때는, 특정 활동—서비스디자인 활동을 포함한—의 ‘결과물(output)’을 평가하는 것입니다.
이는 해당 활동이 사전에 정의된 목표를 얼마나 잘 달성했는지를 판단하는 것을 말합니다.
예를 들어 하나의 교육과정을 운영한다고 가정했을 때, 그 과정의 직접적인 산출물로는 ‘참여한 사람 수’ 같은 항목이 있습니다.
이와 같은 산출물은 서비스디자인 과정에서도 쉽게 측정 가능합니다.

또 다른 유형은 ‘성과(outcomes)’를 평가하는 것입니다.
성과란 특정 활동이 대상자에게 미친 효과나 결과를 의미합니다.
예컨대 앞서 예로 든 교육과정의 성과는 ‘수료 후 취업에 성공한 사람의 수’일 수 있습니다.
산출물(output)이 직접적인 측정이라면, 성과(outcome)는 그로 인한 효과이지만 여전히 데이터를 수집하여 평가할 수 있습니다.

하지만 훨씬 더 측정이 어려운 것은 바로 ‘영향(impact)’입니다.
서비스디자인 활동을 포함하여, 영향이란 ‘성과 중에서 해당 활동에 직접 기인한 부분’을 의미합니다.
즉, 외부의 다른 원인이나 맥락적 요인을 모두 제거한 후, 오직 특정 활동 때문에 발생한 결과만을 지칭하는 것입니다.

예를 들어 다시 교육과정 사례로 돌아가 보겠습니다.
이 경우 ‘고용률 변화’가 영향을 나타내는 지표일 수 있습니다.
하지만 여기서 문제는, 고용률 변화가 단지 해당 교육과정 때문이라고 단정 짓기 어렵다는 데 있습니다.
그 고용률 변화는 다른 정책, 외부 요인, 또는 동시다발적인 다른 프로그램의 영향일 수도 있기 때문입니다.
즉, 영향(impact)을 측정한다는 것은 그 효과가 오로지 특정 활동 때문이라는 것을 입증하는 매우 어려운 작업입니다.

이와 같은 점을 고려할 때, 우리가 서비스디자인의 ‘영향’을 논한다고 할 때는
장기적 관점에서 사람과 사회, 환경에 미치는 지속적인 효과를 평가해야 한다는 것을 의미합니다.

따라서 ‘서비스디자인의 영향 측정’이란, 서비스디자인 활동이 시간의 흐름 속에서
사람, 사회, 그리고 지구에 어떤 변화를 일으켰는지를 평가하는 장기적 활동입니다.

실제로 영향평가 문헌과 이론에서는 보통 세 가지 측면의 영향을 구분합니다.
첫 번째는 ‘경제적 영향’이며, 특정 활동이 가져오는 경제적 효과를 의미합니다.
두 번째는 ‘사회적 영향’으로, 이는 사람들의 삶에 미치는 효과를 뜻합니다.
세 번째는 ‘환경적 영향’이며, 이는 지구 환경에 미치는 영향을 의미합니다.

이 세 가지는 통합적으로 ‘트리플 바텀 라인(triple bottom line)’이라고 불립니다.
이 개념은 기업의 성공을 단순히 재무적 성과만으로 평가해서는 안 되며,
사람과 지구에 기여한 정도까지 포함해 평가해야 한다는 관점을 반영합니다.

이러한 맥락에서, 영향평가란 유엔이 정한 지속가능발전목표(Sustainable Development Goals, SDGs)와도 긴밀히 연계됩니다.
이 목표들은 전 세계 개인과 조직이 어떤 방향으로 나아가야 하는지를 제시하는 지침이며,
사람들의 삶의 조건을 개선하고 우리가 살아가는 지구의 지속가능한 발전을 추구하는 데 목적이 있습니다.

이 부분들을 명확히 설명한 이유는 다음과 같습니다.
‘영향’, ‘영향 평가’, 또는 ‘서비스디자인의 영향 측정’이라는 표현이 점점 더 많이 사용되고 있음에도 불구하고,
실제로 우리가 수행할 수 있는 평가의 대부분은 ‘영향평가’가 아닐 가능성이 높기 때문입니다.

현실적으로 우리가 실행할 수 있는 것은 두 가지입니다.
첫째, ‘서비스디자인의 가치(service design value)’를 평가하는 것. 즉, 서비스디자인이 혁신 과정에 기여한 정도를 평가하는 것.
둘째, ‘서비스 가치(service value)’를 평가하는 것. 즉, 서비스디자인 과정의 결과물로서 개발된 서비스 자체의 가치를 평가하는 것입니다.

따라서 실제로 우리가 “서비스디자인의 영향을 측정한다”고 말할 때,
현실적으로 가능한 것은 서비스디자인의 ‘가치’ 또는 서비스 자체의 ‘가치’를 평가하는 것입니다.
이제 이 두 가지 유형 중 첫 번째, 즉 서비스디자인 평가(service design evaluation)에 대해 다뤄보겠습니다.

이미 몇 가지—아직 그리 많지는 않지만—도움이 될 만한 평가 모델들이 존재합니다.
예를 들어, 이 논문에서는 서비스디자인 성숙도(Service Design Maturity)를 네 가지 수준으로 구분한 뒤,
각 수준에서 어떤 지표(metrics)를 통해 평가할 수 있을지를 제안하고 있습니다.

이 네 가지 수준은 다음과 같습니다:

1. 디자인이 전혀 적용되지 않은 상태(no design)
2. 디자인이 스타일링 차원에 머무른 상태
3. 디자인이 제품이나 서비스 수준에서 적용되는 상태
4. 디자인이 전략적 차원에서 통합된 상태(design strategy)

이 모델은 각 수준에서 조직 내부 요인뿐만 아니라 외부 결과물(예: 서비스 성과)까지 포함해 다양한 지표를 설정합니다.

다음으로는 ‘디자인 가치 스코어카드(Design Value Scorecard)’가 있습니다.
이는 디자인경영연구소(Design Management Institute)에서 개발한 도구로,
조직 내에서 디자인이 어떤 역할을 수행하고 있는지, 어디서 가치를 창출하는지, 미래에는 어떤 역할을 할 수 있는지를 평가하는 데 도움을 줍니다.

이 도구는 서비스디자인만을 위한 것은 아니며, 디자인 전반에 대해 적용할 수 있도록 개발된 것이지만,
전략적 수준에서 디자인을 평가한다는 점에서 서비스디자인과 매우 밀접한 관련이 있습니다.

이 스코어카드는 각 항목에 대해 1~5점 척도로 평가하도록 되어 있으며,
조직 내에서 디자인이 어떤 수준에 도달했는지를 진단할 수 있도록 합니다.

또 다른 예시로는 맥킨지(McKinsey)에서 제공하는 ‘디자인 인덱스(McKinsey Design Index)’가 있습니다.
이는 온라인에서 무료로 접근할 수 있는 도구로, 사용자는 몇 가지 질문에 답변한 뒤
자신의 조직이 300개 다른 기업들과 비교해 디자인 성과 측면에서 어느 수준에 있는지를 확인할 수 있습니다.

이 도구는 특히 디자인 리더를 대상으로 하며, 기업의 디자인 성숙도를 벤치마크 기반으로 진단할 수 있게 해줍니다.

또한, 아티팩트(Artifact)에서 개발한 ‘디자인 성숙도 조사(Design Maturity Survey)’도 있습니다.
이 도구는 공감(empathy), 숙련도(mastery), 성격(character), 성과(performance), 영향력(impact)이라는 다섯 가지 지표를 기반으로
디자인 성숙도를 평가합니다.

마지막으로, ‘서비스디자인 성숙도 모델(Service Design Maturity Model)’이 있습니다.
이는 현재까지 유일하게 서비스디자인만을 위해 개발된 모델로, 코스트(Cost)가 제안한 다섯 단계 모델입니다.
이 모델은 서비스디자인이 조직 내에 얼마나 통합되어 있는지를 기준으로,
그 변화 유발 가능성(transformative potential)을 진단합니다.

 

이 모델은 다음의 다섯 가지 통합 수준을 제시합니다:

1. 탐색(explore)
2. 실험(experiment)
3. 통합(integrate)
4. 확산(scale)
5. 정착(thrive)

그리고 이 수준을 측정하기 위한 네 가지 평가 항목을 설정합니다:

• 사람과 자원(People and Resources)
• 도구와 역량(Tools and Capabilities)
• 조직 구조(Organizational Structures)
• 지표와 산출물(Metrics and Deliverables)

시간 관계상 이 모든 예시들을 상세히 다루지는 못하겠지만,
제가 언급한 자료들은 모두 온라인에서 접근 가능하므로 관심이 있다면 직접 활용해보실 수 있습니다.
여러분의 조직이 디자인 관점에서 어느 수준에 있는지를 진단해보고 싶다면 좋은 출발점이 될 것입니다.

지금까지 설명드린 것은 ‘서비스디자인이 혁신 과정에 기여하는 가치’를 평가하는 방법이었습니다.
하지만 이것이 우리가 할 수 있는 유일한 평가는 아닙니다.
우리는 또 다른 평가—즉, 서비스디자인의 결과물로서 개발된 서비스 자체의 ‘가치’를 평가하는 것도 가능합니다.
이를 ‘서비스 평가(service evaluation)’라고 부를 수 있습니다.

실제로 서비스 평가 분야는 서비스디자인 평가보다 훨씬 더 많은 문헌과 경험이 존재합니다.
그 이유는 ‘서비스’라는 것이 디자인 외의 학문 분야에서도 오랫동안 연구 대상이 되어왔기 때문입니다.
대표적으로 서비스 마케팅, 서비스 경영, 그리고 일부 사회과학 분야에서는 오래전부터 서비스 평가를 다뤄왔습니다.

이를 간단히 요약하자면, 서비스의 성공 요인을 평가하기 위해 사용되는 주요 개념은 다음 세 가지입니다:

1. 서비스 품질(Service Quality)
2. 서비스 성과(Service Performance)
3. 고객 만족(Customer Satisfaction)

이 세 가지는 아마 여러분 모두가 익숙한 개념일 것입니다.
특히 ‘고객 만족’은 우리 모두가 한 번쯤 경험하거나 설문지를 작성해본 적이 있을 것입니다.
고객 만족도 조사는 서비스 성공 여부를 사용자 관점에서 확인하는 가장 쉬운 방법입니다.

고객 만족도 조사는 일반적으로 간단한 닫힌형 문항으로 구성된 설문입니다.
화면 오른쪽에 보시는 것처럼, 직원 응대, 구매 경험, 매장 방문 경험, 또는 디지털 서비스의 경우 고객 지원 서비스 등
특정 측면에 대해 만족도를 묻는 방식으로 구성됩니다.

고객 만족도 조사의 다양한 변형도 존재합니다.
예를 들어 고객 만족 점수(Customer Satisfaction Score), 고객 노력 점수(Customer Effort Score) 등이 있으며,
모두 유사한 방식으로 고객의 의견을 수집하고 분석합니다.

또 하나 널리 사용되는 도구는 순추천지수(Net Promoter Score, NPS)입니다.
이 도구는 고객 충성도를 측정하는 매우 간단한 방식입니다.
핵심은 단 하나의 질문입니다:
“이 서비스를 다른 사람에게 추천하시겠습니까?”

응답자는 1점에서 10점까지의 척도로 답하게 됩니다.
16점은 비추천자(detractors), 78점은 중립자(passives), 9~10점은 추천자(promoters)로 분류됩니다.
그 후 추천자의 비율에서 비추천자의 비율을 뺀 수치가 바로 NPS 점수가 됩니다.
이 점수는 고객 집단 내에서의 충성도 수준을 보여주는 지표가 됩니다.

그 외에도 서비스 마케팅 및 서비스 경영 분야에서는
서비스 품질이나 성과를 평가하기 위한 다양한 도구와 방법론을 개발해 왔습니다.
그 중에서도 가장 널리 알려진 것이 바로 ‘SERVQUAL’ 혹은 ‘SERVPERF’라는 방법입니다.
이 방법은 사용자가 서비스 이용 전에 기대했던 서비스와, 실제 이용 후 인식한 서비스 간의 차이를 평가하는 방식입니다.

즉, 사용자가 서비스를 실제로 사용하기 전에 가지고 있던 기대(예상 서비스)와
서비스를 사용한 후에 체험한 실제 인식(인지된 서비스)의 차이를 측정하는 것입니다.

이 도구는 기본적으로 22개의 문항으로 구성된 설문조사 형식입니다.
이 설문은 서비스의 다섯 가지 차원을 평가하도록 되어 있습니다:

1. 신뢰성(Reliability)
2. 확신성(Assurance)
3. 유형성(Tangibles)
4. 공감성(Empathy)
5. 반응성(Responsiveness)

이 도구는 사용자가 서비스를 사용하기 전과 후, 두 번에 걸쳐 설문을 작성해야 하며,
두 시점에서의 응답을 비교 분석하여 서비스 품질 수준을 산출하게 됩니다.

또한, 중요한 성과 지표 중 하나로 ‘중요도-성과 분석(Importance-Performance Analysis, IPA)’이라는 도구도 있습니다.
이것은 서비스의 특정 속성이 과소 또는 과대 성과를 내고 있는지를 시각적으로 파악할 수 있게 해주는 매트릭스 방식입니다.

이 매트릭스를 활용하면 어떤 요소가 성과가 낮으면서도 중요한지를 파악할 수 있으므로,
개선이 필요한 지점을 식별하고, 어떤 속성을 우선적으로 재디자인할지 결정하는 데 도움이 됩니다.

물론 이 도구를 활용하려면 사전에 사용자나 이해관계자들과의 포커스 그룹이나 인터뷰 등을 통해
속성에 대한 데이터를 수집하는 과정이 필요합니다.

또 하나 널리 사용되는 방법은 ‘균형성과표(Balanced Scorecard)’입니다.
이 도구는 관리자가 조직의 전반적인 성과를 빠르게 파악할 수 있도록 도와주는 관리 도구입니다.

균형성과표는 다음 네 가지 관점에서 조직의 성과를 측정합니다:

1. 고객 관점 – 고객이 어떻게 평가하는가
2. 내부 프로세스 관점 – 조직 내부 운영이 어떻게 이루어지고 있는가
3. 학습 및 성장 관점 – 조직이 얼마나 지속적으로 혁신하고 있는가
4. 재무 관점 – 재무적 이해관계자가 조직을 어떻게 평가하는가

오른쪽에 보이는 그림은 이러한 지표들을 시각화한 예시로,
실제로는 이 정보를 수집하기 위한 다양한 도구와 데이터 분석이 필요합니다.
고객 관점에서는 고객과의 접점을 통해 데이터를 수집해야 하며,
재무 관점에서는 회계 정보나 외부 분석을 활용하게 됩니다.

그리고 최근에는 ‘경험수익률(Return on Experience, ROX)’이라는 개념에 대한 관심이 커지고 있습니다.
이는 전통적인 투자수익률(ROI)과는 달리, 조직이 고객 경험, 직원 경험, 리더십 경험 등에 투자한 것이
얼마나 가치 있는 결과를 만들어내는지를 평가하는 방식입니다.

이 접근은 모든 조직이 ‘경험’에 투자해야 하며, 그 투자로부터 최대한의 가치를 회수해야 한다는 철학에 기반합니다.
서비스 분야에서는 특히 경험이 핵심 가치로 작용하기 때문에,
ROX는 점점 더 중요해지는 평가 지표가 되고 있습니다.

방금 말씀드린 다양한 평가 도구들에 대해 우리는 자세히 들어갈 시간이 부족하지만,
다행히도 이 도구들은 매우 잘 알려져 있고, 웹상에서도 쉽게 정보를 얻을 수 있습니다.
여러분이 이러한 평가를 직접 수행해보고 싶거나, 실습을 원하신다면 온라인에서 참고자료를 찾아 실험해볼 수 있습니다.

제가 이러한 개요를 제공한 이유는, 이 분야에서 이미 다양한 활동이 이뤄지고 있다는 점을 보여드리기 위함입니다.
비록 디자인 분야 내에서는 아직 충분히 논의되지 않았지만,
만약 우리가 디자이너로서 측정 활동을 우리 실무에 통합하고자 한다면,
우리는 반드시 디자인 외의 분야에서 제공되는 지식, 즉 타 학문적 지식을 참조해야 합니다.

하지만 이와 동시에 저는 다음과 같은 입장을 가지고 있습니다.
이러한 기존 도구들이 서비스 평가의 모든 복잡성과 필요성을 충분히 다루지는 못한다는 점입니다.
왜냐하면 이 도구들이 측정하는 것은 결국 서비스 품질, 성과, 고객 만족도라는 세 가지 항목에 집중되기 때문입니다.

이 중 ‘서비스 품질’은 모든 것을 포괄하는 상위 개념처럼 보일 수 있습니다.
하지만 서비스 품질은 단일한 개념이 아닙니다.
그것은 ‘다차원적 가치’이며,
사용자에 따라, 혹은 평가자에 따라 그 의미와 해석이 달라질 수 있습니다.

즉, ‘서비스 품질’이라는 개념은 누가 어떤 맥락에서 사용하느냐에 따라 전혀 다르게 이해될 수 있는 유동적 개념입니다.
그래서 저는 ‘서비스 품질’ 대신 ‘서비스 가치(Service Value)’라는 표현을 사용하는 것이 더 정확하다고 생각합니다.

이러한 관점에서 서비스 평가의 목적은 단순히 서비스의 ‘좋고 나쁨’을 판단하는 것이 아니라,
해당 서비스 또는 디자인 과정으로부터 무엇을 ‘학습’하고,
이를 통해 서비스 개선이나 재설계를 이끌어내는 데 있습니다.

다시 말해, 서비스 평가란 ‘판단’의 수단이 아니라 ‘학습과 개선’의 도구가 되어야 합니다.
그리고 우리는 항상 다음과 같은 점을 인식해야 합니다:
어떤 평가도 사전에 정해진 정답이나 도구가 존재하지 않으며,
평가는 언제나 상황에 맞게 ‘설계되어야’ 한다는 점입니다.

즉, 매 평가마다 그 맥락에 맞게, 평가 목적에 맞게 도구와 지표를 다시 정의해야 합니다.
이때 중요한 것은 의사결정자나 주요 이해관계자들이 평가 과정에 함께 참여해야 한다는 점입니다.
이해관계자들이 평가 결과에 관심을 가지며, 그 데이터를 통해 어떤 의사결정을 내릴 것인지가 명확해야 합니다.

이러한 관점에서 보면, ‘서비스 가치’는 고정된 개념이 아니라,
맥락에 따라 끊임없이 구성되고 인식되는 ‘동적이고 맥락 의존적인 개념’이라 할 수 있습니다.
그리고 이 서비스 가치는 서비스 생애주기를 구성하는 다양한 행위자들에 의해 각기 다르게 해석될 수 있습니다.

여기서 ‘서비스 생애주기(service lifecycle)’란
서비스가 디자인되고, 개발되고, 실행되고, 사용되는 일련의 단계를 의미합니다.
이를 단순화하여 설명하자면 다음과 같은 단계로 구성됩니다:

1. 서비스 디자인(Design)
2. 프로젝트 개발(Development)
3. 서비스 구현 및 생산(Manufacturing/Implementation)
4. 서비스 제공 및 사용(Delivery and Use)

서비스 생애주기의 이 네 단계를 기준으로 보면,
우리는 서비스가 실제로 제공되고 사용되기 이전에도 평가를 수행할 수 있습니다.
이 경우에는 주로 서비스 제공자의 관점에서 평가가 이루어집니다.
왜냐하면 디자인, 개발, 실행 단계에서는 사용자가 아직 서비스에 참여하지 않았기 때문입니다.
이 단계에서는 서비스 제공자와 그에 연관된 이해관계자들이 주요 평가 주체가 됩니다.

그 다음으로는 서비스가 실제로 제공되고 사용되는 단계에서의 평가가 있습니다.
이 시점에서는 사용자가 실제로 서비스와 상호작용하므로, 사용자 관점도 포함한 평가가 가능합니다.

그리고 마지막으로, 서비스가 사용된 이후에도 평가를 수행할 수 있습니다.
즉, 사용자의 ‘기억된 경험’을 바탕으로 사후 평가를 할 수 있으며,
이는 사용자가 서비스를 경험한 뒤 어떠한 인식을 갖고 있는지를 파악하는 것입니다.

이처럼 서비스의 서로 다른 시점과 관점을 고려하면,
다음과 같은 질문이 생깁니다:
“우리는 서비스디자인 과정에서 평가 활동을 어떻게 통합할 수 있을까?”
“디자인 중 어떤 평가를 수행할 수 있으며, 어떤 가치를 측정할 수 있을까?”

왜냐하면 앞서 말했듯, 우리가 평가하려는 가치는 단일한 것이 아닙니다.
그것은 서비스 품질만이 아니라, 다양한 요소로 구성된 다차원적인 가치입니다.
그리고 그 가치는 평가 시점과 평가 주체에 따라 달라질 수 있습니다.

서비스디자인 과정은 앞서 언급한 서비스 생애주기의 첫 세 단계와 대응합니다.
즉,

• 리서치(Research)와 정의(Define)는 ‘디자인 단계’에 해당하고,
• 아이디어 구체화(Development)는 ‘개발 단계’에,
• 프로토타이핑과 구현은 ‘서비스 생산’ 단계에 대응한다고 볼 수 있습니다.

이렇게 서비스디자인 과정을 서비스 생애주기와 연결해서 본다면,
서비스가 아직 구현되기 전, 즉 사용자에게 전달되기 전 단계에서 수행할 수 있는 평가는
디자이너가 만든 ‘서비스 개념’이나 ‘서비스 프로토타입’을 대상으로 하게 됩니다.

이러한 평가를 위해 사용할 수 있는 기존 방법 중 하나가 ‘서비스디자인 스코어카드(Service Design Scorecard)’입니다.
또는 ‘평가 매트릭스(Evaluation Matrix)’나
디지털 프로토타입의 경우 ‘사용성 테스트(Usability Testing)’도 가능합니다.

여기서 서비스디자인 스코어카드란,
아이디어 도출(ideation) 과정에서 나온 여러 개념 중 어떤 것을 다음 단계로 가져갈지를 결정할 때 매우 유용한 도구입니다.
이 도구는 구조화된 방식으로 다양한 아이디어를 평가할 수 있게 도와줍니다.

다만, 측정과 평가가 포함되다 보니, 이 도구는 우리 디자인 실무와 다소 거리가 있어 보일 수 있습니다.
왜냐하면 이 도구는 숫자와 수치, 그리고 약간의 수학적 계산을 요구하기 때문입니다.

서비스디자인 스코어카드는 다음과 같은 항목에 대해 아이디어를 평가할 수 있습니다:

• 전략적 가치(Strategic Value)
• 고객에 대한 매력도(Desirability)
• 비즈니스 타당성(Viability)
• 조직 및 기술적 실현 가능성(Feasibility)

이러한 평가 항목 각각에 대해 구체적인 세부 기준을 설정하고,
해당 아이디어가 어떤 점에서 강점 또는 약점을 갖는지 토론을 통해 점수를 부여하는 방식입니다.
참여자는 회사 내부 관계자, 디자인 참여자, 또는 기타 관련 이해관계자일 수 있습니다.

이 도구의 가장 큰 장점은,
서비스의 가치를 단순히 ‘품질’로만 바라보지 않고,
다차원적으로—즉 전략적, 조직적, 사용자 중심적 관점에서 통합적으로 평가할 수 있다는 데 있습니다.

다음으로, 우리가 서비스를 더 이후 단계, 즉 서비스가 실제로 제공되고 사용자와 상호작용하는 단계에서 평가하고자 할 때는
앞서 언급한 도구들을 사용할 수 있습니다.
예를 들어 고객 만족도 조사(Customer Satisfaction Survey),
순추천지수(Net Promoter Score) 등의 방법을 통해 서비스를 평가할 수 있습니다.

물론 이외에도 우리가 서비스디자이너로서 이미 익숙한 디자인 민속지(Design Ethnography) 기반의 사용자 조사 도구들도 사용할 수 있습니다. 이에는 인터뷰, 설문조사, 관찰, 포커스 그룹 등 다양한 방식이 포함됩니다. 이러한 도구들은 우리가 흔히 디자인 과정에서 사용자 이해를 위해 사용하는 것들입니다.

하지만 이 과정에서 중요한 점이 하나 있습니다.
사용자 조사(User Research)와 평가 연구(Evaluation Research)를 구분해야 한다는 점입니다.

두 접근 모두 인터뷰, 관찰, 포커스 그룹 등 유사한 도구를 사용하고,
데이터를 수집하고 해석한다는 공통점이 있지만,
목적과 결과는 완전히 다릅니다.

사용자 조사의 목적은 사용자에 대한 이해를 높이는 데 있습니다.
반면 평가 연구는 명시적인 기준과 체계적인 데이터 수집 과정을 바탕으로,
‘판단’—즉 가치 판단(value judgment)을 내리기 위한 것입니다.
이러한 판단은 객관적인 결정을 내리기 위한 근거로 사용되며,
따라서 평가 연구는 보다 구조화되고 기준 중심적인 접근을 필요로 합니다.

이러한 구분은 매우 중요합니다.
같은 도구(예: 인터뷰)를 사용하더라도,
그것이 사용자 조사인지, 평가를 위한 것인지는 목적과 과정, 그리고 해석 방식에 따라 명확히 달라지기 때문입니다.

그리고 마지막으로, 서비스가 제공되고 사용된 이후 단계,
즉 사용자들이 서비스를 경험한 후, 기억 속에서 인식하는 단계에서도 평가를 수행할 수 있습니다.

제 생각에는 이 사후 평가(post-use evaluation) 단계가 가장 중요한 평가 시점이라고 생각합니다.
왜냐하면 이 단계에서는 이미 존재하는 서비스를 평가할 수 있기 때문입니다.
그리고 이 평가를 바탕으로 기존 서비스를 재디자인하거나 개선할 수 있는 구체적 근거가 마련됩니다.

이를 정리하면 다음과 같이 말할 수 있습니다.
서비스디자인 과정에서는 여러 시점에서 평가가 수행될 수 있습니다.
그리고 이러한 평가를 통해, 서비스디자인이 실제로 효과를 냈는지,
긍정적인 변화를 이끌었는지를 판단할 수 있게 됩니다.

예를 들어,

• 서비스디자인 초기에, 기존 서비스를 진단하기 위한 평가
• 디자인 도중, 다양한 서비스 개념이나 프로토타입 중 최적의 대안을 선택하기 위한 평가
• 서비스 구현 후, 실제 사용된 서비스에 대한 사용자 반응과 성과를 확인하기 위한 평가
  등이 모두 가능합니다.

 

이제 제가 실제 디자인 과정 중에 수행된 평가 사례를 하나 소개해드리겠습니다.
이 사례는 서비스디자인 과정에 평가 활동을 어떻게 통합할 수 있는지를 보여주는 구체적인 예시입니다.

제가 소개할 사례는 ‘Bitride(비트라이드)’라는 프로젝트입니다.
이 프로젝트는 이탈리아의 소규모 기업 ‘Zus(주스)’가 수행한 것으로,
자사의 기술을 활용해 기존 자전거를 하이브리드 자전거로 변환할 수 있는 장치를 개발한 회사입니다.

이 회사는 자전거를 하이브리드화하는 이 기술을 이용하여,
새로운 형태의 자전거 공유 서비스를 개발하고자 했습니다.
즉, 기존의 전기 자전거나 일반 자전거가 아닌,
자체 개발한 하이브리드 자전거를 활용한 새로운 공유 서비스 모델을 만들고자 했던 것입니다.

저희 팀은 이 프로젝트에서 완전히 새로운 서비스를 디자인하는 역할을 맡았습니다.
당시 이 서비스는 아직 세상에 존재하지 않았기 때문에, 처음부터 전체를 설계해야 했습니다.

프로젝트는 보시는 것처럼 일반적인 디자인 프로세스를 따랐습니다.
초기 리서치와 분석 단계, 이어서 디자인 및 개발 단계, 그리고 마지막으로 프로토타입을 활용한 파일럿 테스트 단계로 구성되었습니다.

이 프로젝트에서는 실제 도시 환경에서 두 번의 파일럿 테스트가 진행되었습니다.
첫 번째 파일럿은 자전거 50대를 활용하여 밀라노의 한 지역 내에서 진행되었으며,
150명의 사용자를 선정하여 제한된 사용자 그룹이 서비스를 체험할 수 있도록 했습니다.

두 번째 파일럿에서는 자전거 300대를 활용하여 더 넓은 서비스 지역에서 진행되었고,
일반 대중에게 무료로 개방된 형태로 운영되었습니다.
즉, 누구나 이 서비스를 사용할 수 있었던 실험이었습니다.

이러한 환경 속에서, 우리는 두 가지 파일럿 단계 모두에서 다음과 같은 평가 목표를 설정했습니다:

1. 이 서비스만의 주요 기능이 실제로 작동하고 있는가?
2. 우리가 디자인한 서비스 경험은 타당한가?
3. 이 서비스는 사용자에게 매력적인가?

왜냐하면 이 서비스는 시장에 존재하지 않았던 완전히 새로운 모델이었기 때문에,
기존 경쟁 서비스와 비교할 기준도 없는 상황이었습니다.

이러한 목적을 바탕으로, 우리는 두 파일럿 각각에 맞춘 평가 전략을 수립했습니다.
첫 번째로는, 자전거에 부착된 센서들이 수집한 정량적 데이터를 분석했습니다.
그리고 사용자가 자전거를 대여하고 반납하는 데 사용한 웹 애플리케이션의 데이터도 분석했습니다.

또한, 두 차례 모두에서 설문조사를 실시했습니다.
첫 번째 파일럿에서는 선정된 사용자들에게 설문을 배포했고,
두 번째 파일럿에서는 일반 대중을 대상으로 설문을 배포했습니다.

특히 두 번째 설문에서는 사용자가 서비스를 사용하기 전과 후의 기대와 인식의 차이를 비교하기 위한 질문들도 포함시켰습니다.
또한, 두 번째 파일럿에서는 사용자들이 남긴 불만사항(complaints)도 분석했습니다.

이 외에도, 두 번째 파일럿에서 우리는 ‘탑 유저(top users)’라 불리는 적극적인 사용자 그룹을 선별하여
이들과 포커스 그룹 인터뷰를 진행했고,
그 그룹에 참여하지 못한 사용자들에게는 전화 인터뷰를 진행했습니다.

 

여기 보시는 것처럼, 우리는 이 평가 과정을 통해 다양한 결과를 도출해낼 수 있었습니다.

예를 들어, 우리는 일반 주행 모드(normal mode), 하이브리드 모드(hybrid mode), 전기 모드(electric mode) 등
다양한 주행 모드의 성능을 측정할 수 있었습니다.
이 데이터를 통해 사용자가 어떤 모드를 더 편안하게 느끼는지, 어떤 모드를 선호하는지 파악할 수 있었습니다.
즉, 우리가 개발한 하이브리드 모델이 실제로 기존 방식보다 나은 효용을 제공하는지를 검증할 수 있었습니다.

또한, 우리는 사용자들의 도시 내 이동 경로—자전거 픽업 지점에서 반납 지점까지의 이동 흐름—을 분석했습니다.
이 데이터를 바탕으로 어떤 경로가 가장 자주 사용되는지를 파악했고,
그 결과 더 많은 자전거를 해당 경로에 배치하는 전략을 도출할 수 있었습니다.

사용자들이 제출한 불만사항 분석을 통해,
기술적인 문제—예를 들어 자전거와 앱 간의 통신 오류—가 자주 발생한다는 것을 알게 되었습니다.
이로 인해 사용자 경험이 매끄럽지 못했으며,
서비스의 원활한 이용을 방해하는 주요 요인으로 작용했습니다.
그러나 이 불만 데이터를 통해 어떤 기술 문제가 우선적으로 해결되어야 하는지를 명확하게 파악할 수 있었습니다.

마지막으로, 최종 설문조사를 통해 우리는 서비스에 새롭게 도입된 주요 기능들에 대한 사용자 반응을 평가할 수 있었습니다.
사용자들이 해당 기능을 실제로 이해했는지, 기능의 가치를 느꼈는지,
그리고 이 서비스가 기존 자전거 공유 서비스보다 얼마나 더 매력적인지 등을 파악했습니다.

여기 보이는 표는 전체 평가 결과를 요약한 것입니다.

예를 들어,

• 자전거의 품질은 사용자에게 ‘부가가치’로 인식되었으며,
• 하이브리드 기술은 흥미롭다고 평가되었지만,
  실제 성능 면에서는 일반 모드보다 압도적인 차별성을 느끼지 못했다는 의견도 있었습니다.
  이는 해당 기술이 더 개선되어야 함을 시사합니다.

또한 이 서비스는 기존 자전거 공유 서비스보다 ‘혁신적이며 우수하다’는 인식을 받았으며,
우리가 새롭게 설계한 기능들 역시 서비스 경험을 향상시키는 요소로 인식되었습니다.
이러한 근거를 바탕으로 우리는 해당 기능들을 계속 유지하고 발전시키기로 결정할 수 있었습니다.

결론적으로 이 사례는, 디자인 과정 중에 평가 활동을 통합함으로써
디자인 결정을 ‘객관적인 수치와 근거’에 기반하여 내릴 수 있다는 점을 보여줍니다.
이러한 접근은 기업, 투자자, 그리고 이해관계자들로부터 높은 신뢰를 받습니다.

물론, 평가를 수행하는 데 있어 부정적인 측면도 존재합니다.
우선, 평가는 특정한 전문 역량을 요구하며, 실행 자체에 시간과 자원이 소요되는 작업입니다.
또한 평가는 ‘평가 대상자’에게 그리 긍정적으로 받아들여지지 않을 수 있습니다.

예를 들어, 어떤 서비스의 ‘직원 성과’를 평가한다고 가정해 봅시다.
이 경우, 직원 입장에서는 자신이 ‘심판받는’ 느낌을 받을 수 있습니다.
따라서 그 상황은 기분 좋지 않은 경험이 될 수 있으며,
이로 인해 직원들이 데이터 제공에 비협조적일 수 있습니다.

이와 마찬가지로 조직을 평가하는 경우에도,
디자이너가 “현재의 서비스가 제대로 작동하지 않는다”는 평가 결과를 전달하면,
그 조직은 부정적인 감정을 가질 수 있습니다.

더불어 많은 경우에 사람들이 이렇게 말하곤 합니다:
“이런 평가는 객관적이지 않고 주관적인 의견일 뿐이다.”
즉, 평가는 해석에 따라 달라질 수 있고,
그렇기에 신뢰할 수 없다고 생각하는 것입니다.

하지만 저는 이것이 사실이 아니라고 생각합니다.
물론, 모든 평가에는 일정 수준의 ‘주관성’이 개입됩니다.
왜냐하면 평가란 ‘데이터를 해석하는’ 과정이기 때문입니다.
그리고 해석에는 언제나 대안적인 해석 가능성이 존재합니다.

그러나 우리가 평가를 수행하는 방식—즉
어떤 기준을 사용했는지, 어떤 도구를 사용했는지,
해석에 이르게 된 과정과 이유를 모두 명확히 설명할 수 있다면,
그 평가 결과는 강력한 근거가 될 수 있습니다.

즉, 평가란 강력한 설계적 활동입니다.
우리가 체계적으로 평가를 수행할 수 있다면,
그 결과는 디자인의 방향을 개선하는 데 유의미하게 기여할 수 있습니다.
더 나아가, 만약 우리가 이 평가 활동을 ‘일상적 실천’으로 만들 수 있다면,
장기적으로 서비스디자인이 실제로 어떤 변화를 이끌어내는지를
보다 강력하게 증명할 수 있는 기반이 될 것입니다.

Q&A 

사회자:
정말 훌륭한 설명이었습니다.
결과(output), 성과(outcome), 영향(impact)의 차이뿐만 아니라
서비스디자인의 가치(service design value)와 서비스 자체의 가치(service value) 차이에 대해서도 정확하게 구분해서 설명해주셨습니다.
우리의 실무에 매우 유익한 내용이었습니다. 평가와 영향 측정은 저희에게 매우 중요한 주제인데, 오늘 강연을 통해 실제로 활용할 수 있는 다양한 모델과 도구를 알게 되었습니다. 정말 감사합니다.

이제 몇 가지 질문을 드리고자 합니다.
첫 번째 질문은 아마도 많은 참가자들이 공통적으로 궁금해할 내용일 것 같습니다.

대부분의 디자인 프로젝트에서, 우리가 어떤 개념이나 아이디어를 제시할 때,
단순히 그것이 어떤 영향을 가져올지를 평가하는 데 그치지 않고, 그 영향을 어떻게 ‘설득력 있게 전달할 것인가’가 중요합니다.
예를 들어, 디자인을 실현하기 위해 경영진이나 리더십의 승인을 받아야 할 때, 아직 구현되지 않은 아이디어라도 그것이 가져올 ‘투자 대비 효과(Return on Investment)’를 미리 추정하고 설명해야 할 필요가 있습니다.
그런데 사실 우리 자신조차도 그 디자인 솔루션이 실제로 효과가 있을지 확신이 없는 경우가 많습니다. 그래서 실제로 시장에 내놓고 반복적으로 실험하고 개선해야 하죠.
이처럼 사전에 영향을 ‘정확히 예측’하는 것이 어려운 상황에서, 우리는 어떻게 대응해야 할까요?
이와 관련된 가이드라인이나 조언이 있으신가요?

프란체스카 포글리에니:
네, 이상적으로 말하자면 우리는 ‘항상 작동하는 변화(always-on transformation)’만큼이나 ‘항상 작동하는 평가(always-on evaluation)’를 실천해야 합니다.

즉, 서비스를 디자인할 때 동시에 그 서비스를 어떻게 지속적으로 모니터링하고 평가할지를 함께 설계해야 한다는 것입니다.
서비스가 처음 릴리즈된 이후에도 평가는 멈추지 않아야 합니다.
우리는 지속적으로 데이터를 수집하고 분석하며, 그 데이터를 바탕으로 새로운 개념과 아이디어, 프로토타입을 발전시켜야 합니다.

질문에 대한 답이 되었을지 모르겠습니다만, 서비스디자인 분야는 아직 이 주제에 있어서 초기 단계에 머물러 있다고 생각합니다.
물론 환경적 영향과 관련한 논의가 증가하면서 ‘임팩트’라는 말이 유행처럼 떠오르고 있지만,
아직 실질적인 방법론이나 체계는 완전히 정립되어 있지 않습니다.
그래서 우리는 디자이너로서 이 영역을 스스로 구축해 나가야 합니다.

사회자:
네, 매우 좋았습니다. 감사합니다.
다음 질문은 이 강연에서 말씀해주신 내용이 제품디자인에도 동일하게 적용될 수 있느냐는 것입니다.
서비스디자인과 비교할 때, 평가 방식이 동일한가요? 아니면 차이가 있나요?

프란체스카 포글리에니:
좋은 질문입니다.
평가 전략을 수립하고, 지표를 설정하는 방식은 제품디자인과 서비스디자인 모두에서 동일하게 적용됩니다.
평가는 본질적으로 구조화된 방법론을 통해 수행되기 때문입니다.

하지만 실제로 평가하는 ‘대상’은 다릅니다.
제품의 경우에는 물리적인 구성 요소도 존재하므로,
측정할 수 있는 항목이 서비스와는 다를 수 있습니다.
또한, 제품은 사용 과정이 명확한 프로세스를 수반하지 않을 수도 있습니다.

그럼에도 불구하고, 평가 접근 방식 자체는 매우 유사합니다.
사실 오늘 소개한 대부분의 모델들도 서비스디자인만이 아니라
제품디자인이나 커뮤니케이션디자인 등 일반적인 디자인 전반에 적용될 수 있도록 개발된 것들입니다.

사회자:
추가로 하나 더 여쭤보겠습니다.
강연 초반에 ‘서비스디자인의 가치 평가’와 ‘서비스 가치 평가’를 구분해주셨잖아요?
그런데 서비스 평가라는 것이 단순히 고객 만족도나 경험에 국한되는 것이 아니라,
그 서비스가 가져오는 ‘의도된 혹은 의도되지 않은 결과’까지도 포함할 수 있을 것 같습니다.
그런 요소들은 오늘 소개해주신 모델에서 어떻게 다뤄질 수 있을까요?

프란체스카 포글리에니:
네, 맞습니다.
제가 강연 초반에 말씀드린 것처럼, ‘영향평가(impact assessment)’는 매우 전문화된 분야입니다.

예를 들어, ‘사회적 수익률(사회적 투자 대비 효과, Social Return on Investment)’ 같은 개념을 들어보셨을 수도 있습니다.
이것은 투자된 자금이 사회적으로 어떤 가치를 창출했는지를 평가하는 방법론입니다.
이 역시 하나의 표준화된 사회적 영향 측정 도구입니다.

이러한 도구들은 서비스디자인에도 적용할 수 있습니다.
즉, 서비스디자인이라는 ‘과정’의 사회적 영향을 평가할 수도 있고, 서비스디자인을 통해 개발된 ‘서비스’의 영향을 평가할 수도 있습니다.

다만, 이런 영향평가는 ‘장기적 관점’에서만 수행할 수 있습니다.
어떤 조직에 디자인介입을 하고, 프로젝트가 종료된 직후에는 그 효과를 즉시 측정할 수 없습니다. 최소한 1년 정도는 기다려야 합니다.

그 후, 사회적 영향 평가나 환경적 영향 평가와 같은 프레임워크를 사용하여 정말로 긍정적인 영향이 있었는지를 분석할 수 있습니다.

반면, 단기적으로 측정할 수 있는 것은 ‘서비스 가치’—즉 산출물과 성과 수준에 머무르게 됩니다.

사회자:
좋습니다. 다음 질문으로 넘어가겠습니다.
강연 중 ‘경험 수익률(Return on Experience, ROX)’ 개념을 말씀해주셨는데요,
그 안에서 ‘리더십 경험(Leadership Experience)’이란 구체적으로 무엇을 의미하나요?

프란체스카 포글리에니:
좋은 질문입니다.
ROX에서는 세 가지 경험을 평가 대상으로 설정합니다.
첫 번째는 고객 경험(Customer Experience),
두 번째는 직원 경험(Employee Experience),
세 번째가 바로 리더십 경험입니다.

리더십 경험이란, 경영진 혹은 디자인 리더 등
조직 내 의사결정자의 관점에서의 경험을 의미합니다.
이들은 조직의 방향성과 전략을 설정하는 사람들이며,
이들이 조직에서 디자인 활동이 어떤 가치를 창출하고 있다고 느끼는지가 중요한 평가 요소가 됩니다.

(사회자 컴퓨터 오류로 잠시 중단)

사회자:
죄송합니다. 제 노트북이 자동으로 재시작되었습니다.

진행자 2:
괜찮습니다. 다음 질문으로 넘어가겠습니다.
“평가와 관련된 연구는 얼마나 자주 진행되나요?” 
그리고 “이론적으로 평가에 대한 문헌은 어떤 것이 있나요?”라는 질문입니다.

프란체스카 포글리에니:
좋습니다. 제 주요 참고 이론은 ‘프로그램 평가(program evaluation)’ 이론입니다.
이 이론은 지난 수십 년 간 주로 미국 학계를 중심으로 발전해왔으며, 공공 프로그램이나 정책이 공공 자금을 어떻게 사용하고 있는지를 평가하기 위한 목적으로 개발된 것입니다.

정책이나 프로그램의 목적이 얼마나 달성되었는지, 그 목적 달성에 어떤 요인이 영향을 미쳤는지를 체계적으로 분석하기 위해
다양한 평가 목적, 전략, 도구, 방법론 등이 개발되어 왔습니다.

저는 이 ‘프로그램 평가’ 이론을 바탕으로 오늘 발표한 디자인 분야의 평가 모델들을 구성하고, 제 연구를 확장해왔습니다.

진행자 2:
좋습니다. 다음 질문입니다.
평가 도구를 사용할 때, 대상 집단이 사회·경제적 배경이 매우 다양한 경우에는
도구를 조정(adapt)해야 하는가에 대한 질문입니다.
그럴 때 어떤 점을 고려해야 하나요?

프란체스카 포글리에니:
네, 경우에 따라서는 ‘그렇다’고도 할 수 있고 ‘아니다’고도 할 수 있습니다.
먼저, 우리가 워크숍을 진행할 때처럼, 사용자나 참여자에 따라 도구를 유연하게 조정(adapt)해야 하는 상황은 분명 존재합니다.
이런 경우에는 당연히 도구를 조정하는 것이 맞습니다.
특히 인터뷰, 포커스 그룹 등 정성적(qualitative) 평가에서는 도구 조정이 필수적입니다.
하지만 어떤 도구들은 수치 계산 기반의 구조화된 양적(quantitative) 도구이기 때문에, 이를 조정하게 되면 더 이상 원래의 계산 구조가 작동하지 않게 됩니다.
이 경우는 ‘조정’이 아니라 ‘새로운 도구의 개발’이 필요합니다.
따라서 요약하자면, 정성적 도구는 사용자 집단에 맞게 유연하게 조정할 수 있지만, 양적 도구는 조정보다는 새롭게 설계해야 합니다.

사회자:
마지막 질문입니다.
만약 서로 다른 평가 도구를 사용했는데, 그 결과가 상충된다면 어떻게 해야 하나요?
이런 일이 자주 발생하나요?

프란체스카 포글리에니:
저의 경험으로는, 만약 서로 충돌하는 결과가 나왔다면, 그건 아마 평가 방법론에 문제가 있었을 가능성이 큽니다.
물론 질적 평가에서는 다양한 의견이 나올 수 있습니다. 하지만 이러한 ‘충돌’이 실제로 의미 있는 통찰일 수도 있습니다.
예를 들어 표본 구성이 잘못되었거나, 특정 소수 의견이 왜곡된 결과일 수도 있고, 반대로 그 안에 중요한 문제 인식이 숨어 있을 수도 있습니다.
결론적으로, 평가 방법론이 충분히 구조화되어 있고, 도구가 탄탄하게 설계되어 있다면, 이런 상충된 결과가 나올 확률은 매우 낮습니다.

참가자:
정량적 방법과 정성적 방법을 혼용할 경우에도 그런가요?
즉, 정성적 결과와 정량적 결과가 충돌할 가능성도 낮다고 보시나요?

프란체스카 포글리에니:
네, 그런 경우에도 마찬가지입니다.
물론 정성적 인사이트는 때때로 상충되는 정보를 줄 수 있습니다.
하지만 그럴 때는 ‘이해’의 문제가 됩니다.
예를 들어, 표본을 잘못 구성했을 수도 있고, 상충되는 의견이 극소수의 의견인지, 혹은 더 근본적인 문제의 신호인지 파악해야 합니다. 따라서 상황에 따라 그 상충이 의미 있는 결과인지, 아니면 단순 오류인지 판단해야 합니다.

사회자:
매우 유익한 설명이었습니다.
라비 교수님 혹시 추가 질문 있으신가요?

라비:
아니요, 없습니다. 이제 마무리해도 될 것 같습니다.

사회자:
그럼 정리하겠습니다. 조직위원회와 모든 참가자를 대표하여 오늘 귀중한 강연을 해주신 프란체스카 교수님께 진심으로 감사드립니다. 오늘 내용은 정말 풍부했고, 실무에 적용할 수 있는 많은 도구와 통찰을 얻을 수 있었습니다.

프란체스카 포글리에니:
저야말로 초대해주셔서 감사합니다. 이렇게 중요한 주제에 대해 이야기할 수 있어 정말 기뻤습니다.
이번이 처음 열리는 새 컨퍼런스에, 비록 원격으로 참여했지만 함께할 수 있어 매우 뜻깊었습니다.
이 주제는 앞으로 더 많이 이야기되어야 한다고 생각합니다.

사회자:
참가자 여러분께 마지막 안내 말씀드립니다.
다음 세션은 2025년 3월 21일 오후 4시에 예정되어 있으며, 연사로는 다니엘라 산조르지 교수님이 참여하실 예정입니다.
주제는 서비스디자인의 미래 트렌드입니다. 이번 세션들과 시간대가 다르니 착오 없으시기 바랍니다.
그럼 다음 세션에서 다시 뵙겠습니다. 감사합니다!

모두:
감사합니다! 


ServDes’25 서비스디자인 강연 시리즈
https://servdes25.org/service-design-lecture-series/  
ServDes’25 Lecture Series는 2024년 11월부터 2025년 4월까지 개최된 서비스디자인 전문가 대상 마스터클래스 강연 시리즈이다. 2025년 인도 IIT 하이데라바드에서 열린 ServDes 2025(인도 최초이자 아시아 최초의 서비스디자인 컨퍼런스) 행사의 일환으로 추진되었다.

강연 제목 (한글 / 영어)	시점	강연자	강연자 소개
1. 서비스디자인의 기초 / Foundations of Service Design	2024년 11월	마리 수오헤이모 (Mari Suoheimo)	포르투 건축디자인스쿨 서비스디자인 부교수. 위키드 문제와 공공서비스디자인, 시스템 기반 디자인연구를 수행. 『Systemic Service Design』 공동저자.
2. 신흥 시장에서의 서비스디자인 / Service Design in Emerging Markets	2024년 12월	프라모드 케이 바트 (Dr. Pramod K. Bhat)	인도 산업디자인계의 실천가. 지속가능성과 현지 맥락 기반 디자인 전략 전문가.
3. 서비스디자인을 통한 디지털 전환 / Digital Transformation through Service Design	2025년 1월	사투 미에티넨 (Satu Miettinen)	핀란드 라플란드 대학교 총장. 서비스디자인 교육과 디지털 공공서비스 혁신 분야의 선도적 연구자.
4. 서비스디자인의 영향 측정 / Measuring the Impact of Service Design	2025년 2월	프란체스카 포글리에니 (Francesca Foglieni)	이탈리아 밀라노 폴리테크닉 교수. 서비스 경험 품질, 평가 및 측정 프레임워크 개발 분야 전문가.
5. 서비스디자인의 미래 트렌드 / Future Trends in Service Design	2025년 3월	다니엘라 산조르지 (Daniela Sangiorgi)	영국 랭커스터대학교 교수. 서비스이노베이션, 공공부문 변화, 공동창출(co-creation) 분야 대표 학자.
6. 서비스디자인 되돌아보기와 향후 과제 / Service Design: Recap and Way Forward	2025년 4월	라비 마하무니 (Dr. Ravi Mahamuni)	타타컨설팅서비스(TCS) 디자인리서치랩 소장, IIT 봄베이 겸임교수. 인도 산업계의 디자인 적용과 정책 연계를 선도.