(Gelöst) Nur hey_snips wird erkannt

Hallo,
ich teste schon einige Zeit herum, komme aber hier beim “weather demo” nicht weiter.
Das wake word wird erkannt, aber mehr auch nicht

C:\Users\db_ever>sam install demo
√ Installing Snips fake weather demo
Cloning skill from url: https://github.com/snipsco/snips-skill-weather-tts.git
Bereits aktuell.

Running setup.sh & generating virtual environment for snips-skill-weather-tts
setup.sh output:
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: hermes_python==0.* in ./venv/lib/python3.5/site-packages (from -r requirements.txt (line 1)) (0.7.0)
Requirement already satisfied: six in ./venv/lib/python3.5/site-packages (from hermes_python==0.->-r requirements.txt (line 1)) (1.12.0)
Requirement already satisfied: typing in ./venv/lib/python3.5/site-packages (from hermes_python==0.
->-r requirements.txt (line 1)) (3.7.4)
Requirement already satisfied: future in ./venv/lib/python3.5/site-packages (from hermes_python==0.->-r requirements.txt (line 1)) (0.17.1)
Requirement already satisfied: enum34 in ./venv/lib/python3.5/site-packages (from hermes_python==0.
->-r requirements.txt (line 1)) (1.1.6)
Checking actions for end-user parameters
Relaunching snips-skill-server
√ Snips assistant is now running. Say hey_snips to start!
i Run sam watch to see the logs

C:\Users\db_ever>sam watch
[17:24:09] Watching on localhost:1883 (MQTT)
[17:24:15] [Hotword] detected on site default, for model hey_snips
[17:24:15] [Asr] was asked to stop listening on site default
[17:24:15] [Hotword] was asked to toggle itself ‘off’ on site default
[17:24:15] [Dialogue] session with id ‘be9c31a7-7ce2-4f60-a371-7b7879b31fa1’ was started on site default
[17:24:15] [AudioServer] was asked to play a wav of 41.1 kB with id ‘e25e5a26-e7b3-4ee5-9fd3-ad8bc8b3bbd0’ on site default
[17:24:31] [Dialogue] session with id ‘be9c31a7-7ce2-4f60-a371-7b7879b31fa1’ was ended on site default. The session was ended because one of the component didn’t respond in a timely manner

Raspberry Pi 3B+, Raspbian Stretch Desktop, MATRIX VOICE

Vielleicht hat jemand eine Idee, woran es liegen könnte.
Danke

Hi,

ich habe auch so ein Problem, meine Hardware ist folgende:

  • Raspberry Pi 3B+
  • ReSpeaker 4-Mic Array for Raspberry Pi

Ich habe meinen Pi schon mehrmals frisch aufgesetzt und bin immer nach Anleitung vorgegangen, nach der Treiberinstallation habe ich schon ein anderes Ergebnis bei “arecord -L”, aber das Micro funktioniert aktuell. Ich kann mit “arecord” aufnehmen und “aplay” abspielen. Mit SAM den Assistenten deployen habe ich auch gemacht, der Status von SAM ist bei mir immer “Live” und nie “installed” und ich bekommen auch absolut keine Antwort von Snips, obwohl der voice-server läuft.

Ich benutze als Desktop einen Mac, habe aber auch schon ein Fedora Linux benutzt, kein Unterschied, außer weitere Fehler.
Ich bin aktuell übefragt und weiß nicht mehr weiter. Nicht mal das HelloWorld aus dem App-Store gibt eine Antwort.

Ich hoffe ihr könnt mir helfen.

Moin zusammen,

welches Ergebnis gibt den
sam status
bei euch aus?

Auch “sam watch” kann gute Hinweise liefern. Dass “hey snips” erkannt wird, ist aber schonmal die halbe Miete :smile:

Hallo,
sam status liefert:
C:\Users\db_ever>sam status

Connected to device 192.168.0.104

OS version … Raspbian GNU/Linux 9 (stretch)
Installed assistant … SnipsDemoWeatherAssistant
Language … en
Hotword … hey_snips
ASR engine … snips
Status … Live

Service status:

snips-analytics … (not running)
snips-asr … 0.63.2 (running)
snips-audio-server … 0.63.2 (running)
snips-dialogue … 0.63.2 (running)
snips-hotword … 0.63.2 (running)
snips-nlu … 0.63.2 (running)
snips-skill-server … 0.63.2 (running)
snips-tts … 0.63.2 (running)

und hier noch log - Infos:

C:\Users\db_ever>sam service log
– Logs begin at Sun 2019-06-23 18:09:55 CEST. –
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: Expression ‘PaAlsaStreamComponent_InitialConfigure( &self->playback, outParams, self->primeBuffers, hwParamsPlayback, &realSr )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2717
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: Expression ‘PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2838
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: thread ‘portaudio.player’ panicked at ‘called Result::unwrap() on an Err value: “SendError(…)”’, src/libcore/result.rsERROR:snips_audio_server_hermes : could not play “f0dce9f0-e749-4b89-a281-71a97bc147b2”
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: -> caused by: InvalidSampleRate
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: :997:5
Jun 24 15:16:49 raspberrypi snips-audio-server[1857]: note: Run with RUST_BACKTRACE=1 environment variable to display a backtrace.
Jun 24 15:16:49 raspberrypi snips-hotword[1880]: INFO:snips_hotword_lib::audio : Audio thread for site default stopped.
Jun 24 15:17:04 raspberrypi snips-dialogue[1859]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [d15f0084-aaa8-458e-9f38-80809ce9d14d]: closing session which was active: Timeout
Jun 24 15:17:04 raspberrypi snips-dialogue[1859]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword
Jun 24 15:17:04 raspberrypi snips-hotword[1880]: INFO:snips_hotword_lib::audio : Audio thread for site default started.
Jun 24 15:17:33 raspberrypi snips-hotword[1880]: INFO:snips_hotword_hermes : Hotword detected: site_id:default model:hey_snips (169ms ago)
Jun 24 15:17:33 raspberrypi snips-dialogue[1859]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn off Hotword
Jun 24 15:17:33 raspberrypi snips-dialogue[1859]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [3256eef7-7f10-4227-8ea8-402833bda953]: The session has been created because the site “default” is free
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: INFO:snips_audio_portaudio : Playing “89ebd097-1530-4f51-b573-5a9fb961f479” using output “bcm2835 ALSA: IEC958/HDMI (hw:0,1)”, wav spec: WavSpec { channels: 2, sample_rate: 22050, bits_per_sample: 16, sample_format: Int }
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: Expression ‘paInvalidSampleRate’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2043
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: Expression ‘PaAlsaStreamComponent_InitialConfigure( &self->playback, outParams, self->primeBuffers, hwParamsPlayback, &realSr )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2717
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: Expression ‘PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2838
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: thread ‘portaudio.player’ panicked at ‘called Result::unwrap() on an Err value: “SendError(…)”’, src/libcore/result.rs:ERROR:snips_audio_server_hermes : could not play “89ebd097-1530-4f51-b573-5a9fb961f479”
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: -> caused by: InvalidSampleRate
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: 997:5
Jun 24 15:17:33 raspberrypi snips-hotword[1880]: INFO:snips_hotword_lib::audio : Audio thread for site default stopped.

Moin,
also so richtig schlecht sieht das erst mal nicht aus. Außer der ‘snips-audio-server’. Dort werden Fehler ausgegeben und er kann irgendwas nicht abspielen ‘ERROR:snips_audio_server_hermes : could not play “f0dce9f0-e749-4b89-a281-71a97bc147b2”’.
Den Bestätigungston, bei hey_snips kannst du hören? Bei der Audio-Einrichtung hast du den Test gehört?
Ich kenne mich zwar nicht mit dem “SnipsDemoWeatherAssistant” aus, aber dieser ist ja in englisch.
Sprichst du denn auch englisch mit ihm?

Im Prinzip gibt es bei einem Skill ja zwei Komponenten.

  1. die ‘Intents’, die man auf der Webseite ‘console.snips.ai’ entsprechend zusammenstellt/konfiguriert/einrichtet
    und
  2. die ‘Actions’ (meist in From von Skripten oder Skriptschnipseln), die dann entsprechend auf die Spracheingaben reagieren.

Die ‘Intents’ findet man lokal auf dem Pi im Pfad /usr/share/snips/assistant/custom_asr.
In diesem Pfad könntest du mal schauen, ob in der config.json überhaupt ein paar Intents auftauchen.
Müsste dann wenigstens etwas mit ‘Weather’ und ‘Forecast’ drin stehen.

Die ‘Actions’ findet man lokal auf dem Pi im Pfad /var/lib/snips/skills.
Dort müsste dann eine Kopie der Dateien aus dem github Repository liegen.

Ich persönlich würde empfehlen auf der ‘console.snips.ai’ Seite einen Assistenten in deutsch anzulegen und mal eine App (z.B. die Wetter App von Domi) zu installieren und den Assistenten dann auf dem Pi auszubringen. Dazu einfach unten rechts auf der Webseite ‘Deploy Assistant’ auswählen und das Kommando (sam install assistant -i proj_xxx) kopieren und auf dem Pi ausführen.

Gruss Ryan

Hallo Ryan,
danke erst einmal für Deine Hilfe.

Den Bestätigungston konnte ich bisher nicht hören.

sam test speker (Kopfhörer direkt am Raspi)
sam test microphone (Mikros an der Matrix Voice )

Die Tests funktionieren ohne Probleme.

Ich habe die Wetter App von Domi installiert.

Checking actions for end-user parameters
i Action Snips-Wetter contains secret parameters that needs to be configured
? Please enter a value for the parameter [openweathermap_api_key] 15d11988605755c28797e9e6c6ae0dcb
? Please enter a value for the parameter [default_city] Berlin
i You can change these values later by editing the file located at /var/lib/snips/skills/Snips-Wetter/config.ini
Relaunching snips-skill-server
√ Snips assistant is now running. Say hey_snips to start!

Intents und Actions sind in den von Dir angegebenen Pfaden zu finden.

sam servie log
liefert folgendes:
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: Expression ‘paInvalidSampleRate’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2043
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: Expression ‘PaAlsaStreamComponent_InitialConfigure( &self->playback, outParams, self->primeBuffers, hwParamsPlayback, &realSr )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2717
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: Expression ‘PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2838
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: thread ‘portaudio.player’ panicked at ‘called Result::unwrap() on an Err value: “SendError(…)”’, src/libcore/result.rs:997:5
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: ERROR:snips_audio_server_hermes : could not play “b5bb07b3-be67-4d94-8974-1db73fc280ab”
Jun 25 11:34:45 raspberrypi snips-audio-server[1228]: -> caused by: InvalidSampleRate
Jun 25 11:34:45 raspberrypi snips-hotword[1236]: INFO:snips_hotword_lib::audio : Audio thread for site default stopped.
Jun 25 11:35:00 raspberrypi snips-dialogue[1212]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [1ec948bf-5676-4305-a36c-edff6398537c]: closing session which was active: Timeout

Gruss
Detlef

Moin Detlef,

versuche mal bitte via sudo raspi-config im Punkt A4 Audio (Unterpunkt von 7 Adv. Options) auf 1 Force 3.5 jack umzustellen.
In den Logs weiter oben, sieht es so aus, als wenn der snips-audio-server die Ausgabe über den HDMI-Port versucht.
Jun 24 15:17:33 raspberrypi snips-audio-server[1857]: INFO:snips_audio_portaudio : Playing “89ebd097-1530-4f51-b573-5a9fb961f479” using output “bcm2835 ALSA: IEC958/HDMI (hw:0,1)”, wav spec: WavSpec { channels: 2, sample_rate: 22050, bits_per_sample: 16, sample_format: Int }

Am besten auch noch mal sam setup audio laufen lassen und Karte 0, Gerät 0 (ALSA) auswählen, nicht die andere Karte auswählen, wo etwas mit HDMI dran steht.

Ich denke nach der Umstellung müsste der Dienst snips-audio-server neu gestartet werden.

Gruss
Ryan

PS: Falls es dennoch nicht klappt, schaue mal bitte, ob pulseaudio installiert ist. (sudo sudo dpkg -l | grep pulse)

Hallo Ryan,
das geht aber schnell.
Alle Schritte ausgeführt und keine Änderung.

pi@raspberrypi:~ $ sudo dpkg -l | grep pulse
ii libpulse0:armhf 10.0-1+deb9u1 armhf PulseAudio client libraries

Ich habe jetzt mal die Ausgabe auf die Speaker-Buchse an der Matrix Voice umgestellt.
Die Tests speaker und microphone funktionieren.
Die neuen Meldungen sind:
C:\Users\db_ever>sam service log
– Logs begin at Thu 2016-11-03 18:16:43 CET. –
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: INFO:snips_audio_portaudio : Playing “dca89b66-feec-4d0c-a228-aec1f6560f55” using output “default”, wav spec: WavSpec { channels: 2, sample_rate: 22050, bits_per_sample: 16, sample_format: Int }
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: Expression ‘r’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2092
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: Expression ‘PaAlsaStreamComponent_FinishConfigure( &self->playback, hwParamsPlayback, outParams, self->primeBuffers, realSr, outputLatency )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2733
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: Expression ‘PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )’ failed in ‘src/hostapi/alsa/pa_linux_alsa.c’, line: 2838
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: ERROR:snips_audio_server_hermes : could not play “dca89b66-feec-4d0c-a228-aec1f6560f55”
Jun 25 15:00:11 raspberrypi snips-audio-server[616]: -> caused by: UnanticipatedHostError
Jun 25 15:00:11 raspberrypi snips-hotword[468]: INFO:snips_hotword_lib::audio : Audio thread for site default stopped.
Jun 25 15:00:26 raspberrypi snips-dialogue[614]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [82042447-1775-43a4-807f-d7c219cd7f99]: closing session which was active: Timeout
Jun 25 15:00:26 raspberrypi snips-dialogue[614]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword
Jun 25 15:00:26 raspberrypi snips-hotword[468]: INFO:snips_hotword_lib::audio : Audio thread for site default started.
Gruss
Detlef

Hallo,
nun werden die Worte verstanden.
Ich habe folgende Änderung vorgenommen:

sudo nano /etc/snips.toml
Hinzufügen:
alsa_playback = “default”
alsa_capture = “default”

1 Like

Hi,

bei mir war das leider nicht die Lösung hier einmal der Log von “sam watch”

[22:00:38] Watching on localhost:1883 (MQTT)

[22:00:54] [Hotword] detected on site default , for model hey_snips

[22:00:54] [Asr] was asked to stop listening on site default

[22:00:54] [Hotword] was asked to toggle itself ‘off’ on site default

[22:00:54] [Dialogue] session with id ‘b7c50447-fe40-4ae2-9543-3f5bb5498c40’ was started on site default

[22:00:54] [AudioServer] was asked to play a wav of 41.1 kB with id ‘59b1f7de-05a1-4ea9-85d4-9eccdfd33a50’ on site default

[22:01:10] [Dialogue] session with id ‘b7c50447-fe40-4ae2-9543-3f5bb5498c40’ was ended on site default . The session was ended because one of the component didn’t respond in a timely manner

[22:01:10] [Asr] was asked to stop listening on site default

[22:01:10] [Hotword] was asked to toggle itself ‘on’ on site default

Hallo ansch190,

schau mal nachdem Du “sam watch” wieder beendet hast, was “sam service log” meldet.
Vielleicht gibt es da noch Hinweise.

Gruß
Detlef

Hallo,

habe das gleiche Problem wie ansch190.
Was mir aufgefallen ist, dass sobald ich sound-feedback aktiviere, versteht SAM nur noch hey snips, übergibt oder verteht jedoch keine Inhalte mehr. Deaktiviere ich sound-feedback versteht SAM das Gesagte gibt aber keinen Sound aus. Bin noch auf der Suche nach einer Lösung.

Gruss
Cortison