Investigaciones sociales sobre seguridad en IA
🤝

Investigaciones sociales sobre seguridad en IA

🚧
Esta página está siendo escrita.
💡
Este desafío es una adaptación de las ideas de Riccardo Volpato en el post Research ideas to study humans with AI Safety in mind al igual que el post de Geoffrey Irving y Amanda Askell, AI Safety Needs Social Scientists.
🛠️
Estos problemas no requieren programar, y puede ser útil tener experiencia en psicología, sociología u otras ciencias sociales.
Alinear adecuadamente los sistemas avanzados de inteligencia artificial con los valores humanos requerirá resolver muchas incertidumbres relacionadas con la psicología de la racionalidad humana, las emociones y los sesgos. Estas solo pueden resolverse empíricamente a través de experimentación: si queremos entrenar modelos de inteligencia artificial para que hagan lo que las personas quieren, necesitamos primero estudiar a las personas.
Este desafío busca responder preguntas como ¿Cómo se forman los valores mediante el aprendizaje humano? ¿Es bueno que modelos de IA desarrollen un entendimiento sobre cómo piensan los humanos? ¿Cómo podemos mejorar nuestra capacidad de jueces del comportamiento de modelos de IA?

Instrucciones

  1. Lee AI Safety Needs Social Scientists hasta antes de Reasons for optimism (30min). Escoge una pregunta de investigación de la sección Questions social science can help us answer. [Opcional] Si no has encontrado una pregunta o problema interesante, puedes buscar ideas adicionales en Research ideas to study humans with AI Safety in mind.
  1. Ideación. Intenta generar una buena cantidad de ideas (inicialmente, de forma individual) y luego discute con tus compañeres para encontrar la mejor en el montón.
  1. Escribe. Escribe tu mejor idea. Tu redacción debe incluir un resumen de 500 palabras con:
      • Una descripción breve de tu proyecto, investigación o idea.
      • Una descripción de cómo la idea planteada ayuda a entender mejor a modelos de Inteligencia Artificial o informa el desarrollo de técnicas de seguridad.
      • Una descripción de las limitaciones del proyecto, además de los supuestos en los que se basa y las formas en que podría fallar.
      Además del abstracto o resumen, puedes enviar un PDF con un escrito más extenso, un trabajo de investigación, código, matemáticas, gráficos, etc. sin límite de palabras. Si bien no es para nada necesario, recomendamos escribir en inglés.
  1. Envía tu propuesta. Sube tu proyecto en la plataforma de la Thinkathon.