Screen Recorder: recording microphone and the desktop audio at the same time

Paul Kinlan May 13 2019

Available in: English(Original), Deutsch, Español, 日本語, मानक हिन्दी, русский язык, tiếng Việt, தமிழ், bahasa Indonesia, తెలుగు, Português

Mon objectif est de créer le logiciel de capture d'écran le plus simple au monde et je m'occupe du projet lentement au cours des deux derniers mois (je veux dire très lentement).

Dans les articles précédents, j'avais eu le screen recording and a voice overlay en utilisant les flux de toutes les sources d'entrée. Un point de frustration cependant était que je ne pouvais pas savoir comment obtenir le son du bureau * et * superposer le son du haut-parleur. J'ai finalement trouvé comment le faire.

Tout d’abord, getDisplayMedia dans Chrome permet désormais la capture audio. Il semble qu’il getDisplayMedia un oubli dans Spec, dans la mesure où il ne vous permettait pas de spécifier audio: true dans l’appel de la fonction, c’est maintenant possible.

const audio = audioToggle.checked || false;
desktopStream = await navigator.mediaDevices.getDisplayMedia({ video:true, audio: audio });

Deuxièmement, j'avais initialement pensé qu'en créant deux pistes dans le flux audio, je pouvais obtenir ce que je voulais. Cependant, j'ai appris que l'API MediaRecorder de Chrome ne peut générer qu'une seule piste et, 2e, cela n'aurait pas fonctionné de toute façon, car les pistes sont comme les pistes audio multiples DVD en ce qu'un seul peut jouer à la fois.

La solution est probablement simple pour beaucoup de gens, mais elle était nouvelle pour moi: Utiliser Web Audio.

Il s'avère que les API WebAudio ont createMediaStreamSource et createMediaStreamDestination , deux API nécessaires à la résolution du problème. Le createMediaStreamSource peut prendre des flux de l'audio et du microphone de mon ordinateur. En reliant les deux ensemble à l'objet créé par createMediaStreamDestination il me permet de createMediaStreamDestination ce flux vers l'API MediaRecorder .

const mergeAudioStreams = (desktopStream, voiceStream) => {
  const context = new AudioContext();
    
  // Create a couple of sources
  const source1 = context.createMediaStreamSource(desktopStream);
  const source2 = context.createMediaStreamSource(voiceStream);
  const destination = context.createMediaStreamDestination();
  
  const desktopGain = context.createGain();
  const voiceGain = context.createGain();
    
  desktopGain.gain.value = 0.7;
  voiceGain.gain.value = 0.7;
   
  source1.connect(desktopGain).connect(destination);
  // Connect source2
  source2.connect(voiceGain).connect(destination);
    
  return destination.stream.getAudioTracks();
};