Jump to content

Blindtest - Varför är det sällan ett verktyg vid utvärdering?


shifts

Recommended Posts

Jag är övertygad att man bör målsätta sin förändring med någon egenskap som man saknar i sitt eget system och som man vill tillföra antingen med en nyanskaffning eller tweak av befintlig. Jag uppfattar att man kan göra mycket inom befintlig ram utan att förändra utrustning helt. Högtalarplacering t.ex. Akustik kan också vara omvälvande.  I sådana situationer när förändringar är tydliga och i linje med målsättningen så är frågan om man inte ganska lätt kan köra mellan t.ex högtalarplacering A -> B och åter och göra jämförelsen direkt utan att nödvändigtvis köra detta blint. Om målet att få ett bredare soundstage eller djupare borde förändringen kunna bli tydlig nog. Sedan är alltid den efterkommande subjektiva bedömningen kvar, dvs vad gillar man bäst? Men den bedömningen måste också göras efter ett blindtest.

 

Calm

 

 

Link to comment
Share on other sites

42 minutes ago, calm said:

Jag är övertygad att man bör målsätta sin förändring med någon egenskap som man saknar i sitt eget system och som man vill tillföra antingen med en nyanskaffning eller tweak av befintlig.

 

Ja, alltid när man testar måste man ha ett mål.:thumbsup:

Link to comment
Share on other sites

1 hour ago, Apexorca said:

Ja, alltid när man testar måste man ha ett mål.

Och om man lägger en företagares eller politikers aspekt på det bör mål styras mot en vision där man kan tjecka av om man går i rätt riktning, t ex ”bästa ljud med så få resurser som möjligt” eller ”bäst ljud i termer av stor ljudbild och dynamisk presentation”. Det ger lite styrning åt satta mål.

 

I företag brukar man ställa sk SMART-krav på målformuleringar:

  • De skall vara tydliga mot ett specifikt område (Specific)
  • De skall vara mätbara så att man kan bocka av framsteg och när man är framme (Measurable)
  • Man skall göra klart vem som skall utföra/ansvara för arbetet (Assignable)
  • Målen skall vara realistiska och uppnåbara för de resurser och teknik som finns tillgängliga (Realistc)
  • De skall vara tidsatta för att inte flumma ut och riskera att aldrig komma i mål. (Time)

Sedan är det många som hänger på lite andra krav som t ex att de får inte vara för många, skillnader och förtydligande mellan mål som är kopplade till legala krav, humanistiska mål, avkastningskrav osv.

 

Att koppla SMART-krav till upplevelser är ju lite knepigare. Jag kan inte påstå att jag följer SMART i alla stycken, men ibland försöker jag tänka lite i de banorna. Ett exempel är vad jag vill uppnå och till vilket pris plus vad annat jag skulle kunna uppnå med motsvarande insats inom samma område eller inom något helt annat. Så tänkte jag t ex när jag körde ett race kring olika rör. Det fanns mer att ta ut ur de prylar jag har till en lägre resurskostnad mot att köpa nytt. 

Link to comment
Share on other sites

  • 2 weeks later...

Såvitt jag minns, så har jag endast deltagit i ett blindtest. Det var någon gång på nittiotalet i regi av Ingvar Öhman.
Testet handlade om att lyssna till två digital-versioner av samma utomhusupptagning. Ljuden i upptagningen var väl mest lite vind i några träd och några svagt kvittande fåglar. Vad som tekniskt skilde de två digital-versionerna åt minns jag inte. Möjligen upplösningen. Möjligen Minidisk-kvalitet respektive CD-dito. Det var ju ett "hett" ämne på den tiden". (Åtminstone i delar av den pyttelilla hifi-nörd-ankdammen. :grinsmilingeyes:)

Nå, jag lyckades visst väl över genomsnittet och väl även väl i absoluta tal att höra skillnaden. 

Jag hade mycket hellre velat lyssna på någon ljudkomplex symfoni än det där "vind-kvittret". Och hellre i en akustiskt mer lämpad lokal än den där aulan (eller vad det var) i Tekniska Nämndhuset i Stockholm.

 

Nu är inte skillnadslyssnade något som intresserar mig, men det var intressant att delta ändå. Om än ganska trist...

Mitt fokus försöker jag lägga på annat än skillnadsdetektering som sådan. Skillnader skall ju innebära att någonting bra kan uppnås. Inte bara att en skillnad kan uppfattas. Man kan ju spetsa till det och tänka sig att sitta och lyssna efter skillnader och förändringar mellan MASSOR av olika alternativ. Ponera att det gick att säkerställa åtskillnad mellan många av alternativen dessutom. Men, var det bara skillnader?

Var något av alternativen överhuvudtaget BRA? Eller var alla ganska dåliga? Några var bättre än andra, men inget av dem var bra...

Då har man kanske fastnat i fel fokus: Man har fastnat i skillnadsletande. Men man har tappat bort sökandet efter det som är bra.

 

Man kanske inte ens klarar av att avgöra vad som är riktigt bra?

Man klarar kanske bara av att jämföra, beskriva skillnaderna, sortera och rangordna...

 

Därför försöker jag sedan ett antal år lägga skillnadsfokuset åt sidan och rikta uppmärksamheten mot en annan aspekt:
Kan jag lyssna utan att jag distraheras av tillkortakommanden? Ja eller nej?

Om svaret är nej, så spelar det inte så stor roll om det är "mycket nej" eller "lite mindre nej".

Ambitionen är istället att ärligt kunna svara JA. Det betyder inte att allt därmed är perfekt, men det betyder att det är tillräckligt bra för att tillkortakommandena skall hållas under den gräns där de distraherar mitt lyssnande.

Link to comment
Share on other sites

Jeg har ingen tro på korte "vitenskapelige" trippel, dobbeltblindtester av audio på 5 minutter...

 

Det fungerer på noen ting, men det er mer tidkrevende å vurdere audio som musikk.

 

Blinde A-B tester har jeg mye mer tro på, særlig dersom man bruker mer tid på det...

 

Dobbeltblindtest Abx er/var vel opprinnelig vel ment for medisinsk bruk, både på vin og mat som er andre sanselige områder dette er brukt på feiler de samme testene, og selvom noen er uenige om det er forskjell på stereo og kabler, så er vel alle enige om at det finnes forskjell på mat og vin.... selvom blindester ikke viser markant forskjell på disse.

Link to comment
Share on other sites

Läste just en tråd på ett amerikanskt forum där man hänvisade till ett test av en streamer. Post nr 2 var från en person som skrev att han aldrig läste tester som inte kunde backa upp den upplevda ljudåtergivningen med mätningar. 

Det tycker jag är en superintressant inställning. Om det finns någon mer som delar den åsikten så är jag mycket nyfiken på att vet mer om vilka värden som indikerar  musikalitet eller hur grafen ser ut som visar att man som lyssnare blir berörd av det man hör. 

Link to comment
Share on other sites

Två aspekter på mätningar. Vilka ingendera skall tolkas som att jag ifrågasätter mätningar i sak:

Kan vi vara säkra på att det vi vet att mäta idag också är allt som går att mäta?
Kan det finnas hörbarheter som inte har någon koppling till det vi idag vet att mäta?

 

Invändningen mot ovanstående att "Vad skulle det i så fall vara?" köper jag inte ur ett strikt intellektuellt perspektiv. 

 

Mer allmänt uttryckt:
Hur vet man när man nått den punkt då man vet allt?

 

 

Link to comment
Share on other sites

16 minutes ago, bigblue said:

Om det finns någon mer som delar den åsikten så är jag mycket nyfiken på att vet mer om vilka värden som indikerar  musikalitet eller hur grafen ser ut som visar att man som lyssnare blir berörd av det man hör. 

Graf, jag tror mer på en mentometerknapp:D

 

image.png.14ff557896c2ba044923f1b218120c66.png image.png.9844c74405fdebb9d05fb347f2b5c4b5.png

 

Link to comment
Share on other sites

6 hours ago, bigblue said:

Läste just en tråd på ett amerikanskt forum där man hänvisade till ett test av en streamer. Post nr 2 var från en person som skrev att han aldrig läste tester som inte kunde backa upp den upplevda ljudåtergivningen med mätningar. 

Det tycker jag är en superintressant inställning. Om det finns någon mer som delar den åsikten så är jag mycket nyfiken på att vet mer om vilka värden som indikerar  musikalitet eller hur grafen ser ut som visar att man som lyssnare blir berörd av det man hör. 

Jag tycker det blir ganska svårt att bemöta inlägg som plockas från ett forum till ett annat och på vägen sannolikt även översätts. Men jag får erkänna att jag läser Stereophile och får stor behållning av att de både mäter och lyssnar. Sedan har jag inte sett att de försöker koppla ihop mätresultat med utlåtanden om produkters musikalitet eller hur mycket produkterna berör men däremot andra parametrar av hur man kan uppleva lyssningen; förhöjd diskant, potentiellt hörbar distorsion som kan ge sig uttryck på si eller så sätt etc. Sedan förstår jag långt ifrån alla deras mätningar men kan ju erkänna att jag spontant får större förtroende för och intresse av produkter som får ett gott omdöme av både deras mätningar och lyssningstest. För en del av oss gissar jag helt enkelt bara går igång lite mer på när välljudet är kombinerat med något som kan klassificeras som seriös ingenjörskonst. 

Link to comment
Share on other sites

6 minutes ago, bigblue said:

 

Det har jag full förståelse för. Kopierar därför in den här om det kan underlätta. 

 

antipodes.thumb.png.07685ac718b4f86cbd4b3a9c2c307b3f.png

 

 

Kanske att jag missar något men hen skriver väl ”bara” att hen bara läser recensioner med mätningar och att de flesta andra (recensionerna) är bortkastad tid? Jag upplever det som att du läser in mer än vad som faktiskt står där men rätta mig gärna om jag har fel. 

Link to comment
Share on other sites

Var - ungefär, skulle ni säga - går gränsen där man behöver blindtesta (eller på annat sätt verifiera) att skillnad råder?

Vad är såpass uppenbart att verifiering är onödig?

Kan kanske inbillning aldrig uteslutas?

Några exempel (som såklart kan vara lite lösa i konturerna, men försök bortse från det):

  • Båda / endast den ena högtalaren i drift.
  • "Den fina stereoanläggningen" / "transistorradion".
  • Ljudet av en triangel / ljudet av en kontrabas.
  • Musiken uppspelad normalt / baklänges.
  • Högtalarkabel A / högtalarkabel B.
  • Fåtöljen 2,5 meter från högtalarna / 3 meter från dem.
  • ...

Måste samtliga de ovan listade exemplen blindtestas först, för att kunna besvara frågan?

Finns det några absoluta självklarheter hos vissa av exemplen som det blir närmast löjligt att kräva verifiering av?

Link to comment
Share on other sites

14 hours ago, Strmbrg said:

Två aspekter på mätningar. Vilka ingendera skall tolkas som att jag ifrågasätter mätningar i sak:

Kan vi vara säkra på att det vi vet att mäta idag också är allt som går att mäta?
Kan det finnas hörbarheter som inte har någon koppling till det vi idag vet att mäta?

 

Invändningen mot ovanstående att "Vad skulle det i så fall vara?" köper jag inte ur ett strikt intellektuellt perspektiv. 

 

Mer allmänt uttryckt:
Hur vet man när man nått den punkt då man vet allt?

 

 

 

Mycket bra frågor. 

 

- Hur vet vi att det vi mäter gör att det låter bättre och "mer likt" det vi vill åstadkomma?

- Om vi nu tror att ett det vi mäter påverkar återgivningen, hur vet vi då att det vi sedan gör i konstruktionen för att åtgärda detta värde inte ställer till andra hyss som spelar roll för andra faktorer som kanske spelar mer roll för hur det låter. Detta är ju tex Dan d'Agostino Inne på.

 

Jag förstår att vi har ganska bra koll på hur det vi mäter påverkar ljudet men jag tror det är dumt att tro att vi kan allt om hur detta påverkar med effekter och bieffekter i upplevelsen av musikåtergivning i ett helt stort komplext stereosystem.

Link to comment
Share on other sites

Högtalarlegenden Richard Vandersteen menar att för att flytta gränserna måste man prova saker som inte "make sense"  ibland funkar det inte, men ibland funkar det och det driver utvecklingen framåt. Man måst flytta sig utanför boxen menar han.  Det tyder i alla fall lite på att vi inte kan mäta allt eller ens förstå om det vi mäter är relevant i alla situationer. 

Link to comment
Share on other sites

Min fråga är varför det sällan åtgärdas det uppenbara? I mätningar finns ju skillnader mellan kanalerna i både fas och amplitud samt över frekvens. Fixa det först till kanske 0.1dB noggrannhet så tar man resten därefter. Det viktigaste i resten vill jag säga är rumsakustiken.

 

Link to comment
Share on other sites

8 hours ago, Terminator said:

Kanske att jag missar något men hen skriver väl ”bara” att hen bara läser recensioner med mätningar och att de flesta andra (recensionerna) är bortkastad tid? Jag upplever det som att du läser in mer än vad som faktiskt står där men rätta mig gärna om jag har fel. 

 

Så kan det säkert vara. Det jag var nyfiken på är på vilket sätt mätningar kan hjälpa oss att göra ett "bättre" val av hifi-produkt?

För egen del så vet jag inte vad jag ska leta efter.

Men samtidigt tror jag (i min okunnighet) att gränslandet mellan maskin och människa är varken enkelt eller helt kartlagt.

Därför jag jag svårt att koppla hur en graf som visar X kan indikera att jag som konsument har högre sannolikhet att tycka om produkten. 

För tydlighetens skull pratar jag här om välkonstruerade apparater från duktiga konstruktörer/tillverkare.

 

Bifogar ett exempel här på vad jag menar. Där ser jag att distorsionen inledningsvis är låg och att den mot slutet av kapaciteten sticker iväg uppåt (dåligt). Men då de flesta av oss bara skulle nyttja de första 10 W eller så, så vet jag inte hur jag ska tolka dessa värden och översätta dem till potentiellt "välljud". 

 

IMG_2BFD1BFA2468-1.thumb.jpeg.8ac595e96dd6bd84050f22a4f28c727f.jpeg

Link to comment
Share on other sites

Jag tror att det som skiljer de bra konstruktörerna från de dåliga är att de har goda kunskaper om vad de håller på med och att de kan bland detta med det som ligger utanför boxen så att resultatet blir bättre än vad vi bara kan mäta oss till. Det kan bli ett problem om tex HiFi-press börjar mäta och och läsare börjar jämföra mätningar och tar det som ett kvitto på hur det låter. Dan 'dAgostino har uttryckligen sagt att hans fokus pga detta flyttades från att konstruera så att det låter bra till att konstruera så att det mäter bra. Då lät det sämre. Så i hans nya firma efter Krell backade han tillbaka till FPB-seriens dagar och utvecklade från dem igen. Alltså inte via det som kom senare på Krell tex EVO-serien (Efter typ 2005) som mätte bättre, men om man läser mellan raderna så menar Dan att de lät sämre. HiFi-pressen var alltså en del i detta eftersom de kanske inte riktigt förstod vad mätningar är bra för. Dock blev det säljargument som stod sig bättre än mjuka värden som var svårare att visa i ett test i en tidning. 

Jag tror många märken hamnade i detta under en lång tid och sitter säkert kvar i det också.

Jag vet att tex Mark Jenkins på Antipodes menar att inte ens i hans musikservers är "bästa mätvärdet" alltid det som låter bäst. Han konstruerar och kan ge avkall på bästa mätvärdet för det som låter bäst, läste jag någonstans. 

 

Flera av de legendariska konstruktörerna inom HiFi har jag förstått jobbar så. Jag gissar att tricket således blir att bedöma när man mätt klart och och kan börja trimma med öronen och våga ge avkall på ett mätvärde för bättre återgivning.

Link to comment
Share on other sites

15 minutes ago, bigblue said:

Det jag var nyfiken på är på vilket sätt mätningar kan hjälpa oss att göra ett "bättre" val av hifi-produkt?

 

Det är säkert så att om man har goda kunskaper kan man dra vissa slutsatser om hur en produkt kan bete sig och låta genom att läsa mätvärden.

För mig som inte har denna djupa kunskap men en hel del erfarenhet av att testa och lyssna gör nog bäst i att bedöma med öronen i den set up som produkten skall användas. Jag tror även slutbedömningen för de riktigt kunniga också är bäst med öronen.

 

Link to comment
Share on other sites

1 hour ago, Apexorca said:

Jag tror att det som skiljer de bra konstruktörerna från de dåliga är att de har goda kunskaper om vad de håller på med och att de kan bland detta med det som ligger utanför boxen så att resultatet blir bättre än vad vi bara kan mäta oss till. Det kan bli ett problem om tex HiFi-press börjar mäta och och läsare börjar jämföra mätningar och tar det som ett kvitto på hur det låter. Dan 'dAgostino har uttryckligen sagt att hans fokus pga detta flyttades från att konstruera så att det låter bra till att konstruera så att det mäter bra. Då lät det sämre. Så i hans nya firma efter Krell backade han tillbaka till FPB-seriens dagar och utvecklade från dem igen. Alltså inte via det som kom senare på Krell tex EVO-serien (Efter typ 2005) som mätte bättre, men om man läser mellan raderna så menar Dan att de lät sämre. HiFi-pressen var alltså en del i detta eftersom de kanske inte riktigt förstod vad mätningar är bra för. Dock blev det säljargument som stod sig bättre än mjuka värden som var svårare att visa i ett test i en tidning. 

Jag tror många märken hamnade i detta under en lång tid och sitter säkert kvar i det också.

Jag vet att tex Mark Jenkins på Antipodes menar att inte ens i hans musikservers är "bästa mätvärdet" alltid det som låter bäst. Han konstruerar och kan ge avkall på bästa mätvärdet för det som låter bäst, läste jag någonstans. 

 

Flera av de legendariska konstruktörerna inom HiFi har jag förstått jobbar så. Jag gissar att tricket således blir att bedöma när man mätt klart och och kan börja trimma med öronen och våga ge avkall på ett mätvärde för bättre återgivning.

 

Jag vill minnas att Paul McGowan from PS Audio sa samma sak när de skulle konstruera deras Phono-steg. De la allt krut på att konstruera en apprat som hade så låg THD som möjligt. Gott. Sedan var det dags för öronen att säga sitt - och det lät enligt Paul, hemskt. 

Så de gick tillbaka till ritbordet och började om.

Det är kommentarer som dessa (och från Dan d'Agustino et al) som får mig att fundera på vad vi kan läsa ut av en graf. Lägre tycks ju inte alltid vara bättre - och om så är fallet. Hur vet vi vilken nivå på kurvan som ger ett bättre ljud?

Link to comment
Share on other sites

4 hours ago, bigblue said:

 

Jag vill minnas att Paul McGowan from PS Audio sa samma sak när de skulle konstruera deras Phono-steg. De la allt krut på att konstruera en apprat som hade så låg THD som möjligt. Gott. Sedan var det dags för öronen att säga sitt - och det lät enligt Paul, hemskt. 

Så de gick tillbaka till ritbordet och började om.

 

Ja det stämmer. De trimmade detta Phono-steg med öronen och "skippade de fina mätvärdena" efter att de haft en grundläggande konstruktionsplan som på papperet var bra men inte lät bra

 

Det är nog så att det vi kan mäta inte alltid har den genomslagskraft på återgivningsresultatet som vi tror. Det kan vara faktorer som spelar mer roll som vi inte kan mäta eller så mäter vi fel. Jag vill inte överdriva detta men det är sannolikt något som man borde vara öppen för. Det verkar som de historiskt bästa tillverkarna har lite känsla för det. 

En spaning är att lite nyare tillverkare ibland blir lite väl fokuserade på en ren teknisk konstruktionside.

 

Arnie Nudell var från början var kärnfysiker och laserfysiker. Minst sagt tekniskt och gissa om det går ut på att mäta och räkna.  Han hade stort musikintresse började bygga högtalare som minst sagt tog världen med storm. Målet var att återge livemusikens storlek och dynamik som Arnie hört sedan barnsben då han var med på konserter ffa klassiskt och jazz. Då kom stora servostyrda basmembran ut av denna strävan. Infinity speaker var ca 8 år senare världens största högtalartilverkare. Här var det mycket intuitiva anpassningar och ideer som testades fram för bästa resultat. Resultatet talar för sig själv. 

 

Arnie inspirerade och lärde Paul mcGowan "allt" och de blev senare bästa kompisar som det verkar. 70-talets pionjärer lade grunden till den High-End vi njuter av i dag. Jag skulle vilja höra några stora högtalare från Arnie. Jag tror de fortfarande låter riktigt bra och bättre än en hel del nyproducerat. Hade de på den tiden bara mätt sig fram hade det inte blivit bra tror jag. 

 

4 hours ago, bigblue said:

Det är kommentarer som dessa (och från Dan d'Agustino et al) som får mig att fundera på vad vi kan läsa ut av en graf. Lägre tycks ju inte alltid vara bättre - och om så är fallet. Hur vet vi vilken nivå på kurvan som ger ett bättre ljud?

 

Jag tror en graf på vad det nu är man vill visa kan hålla oss inom vissa råmärken. Men det kommer nog inte finnas en graf som visar på hur det låter och hur man drabbas av känslor när man lyssnar på musik. 

 

 

Link to comment
Share on other sites

3 hours ago, bigblue said:

Men då de flesta av oss bara skulle nyttja de första 10 W eller så, så vet jag inte hur jag ska tolka dessa värden och översätta dem till potentiellt "välljud". 

Det har ju inte så mycket med väljud att göra det de redovisar. Det skriver de inte heller. Mötvärden kan dock ge en en hint om t ex har svårdrivna högtalare. Det är ungefär som prestanda på en bil typ kupéljud, acceleration, vridmoment, förbrukning.

 

Kurvorna visar att distorsionen ligger inom rimliga värden över hela frekvens- och effektområden.  I texten gör de också klart att förstärkaren kan driva de flesta högtalarna osv. Man mäter inte om det låter bra. Ibland skriver de om högtalare att man bör akta sig för allt för klena förstärkare. Det handlar också om prestanda.

 

För att fortsätta liknelsen med bil så tror jag det är få som bara gå på prestanda. Man vill ju också att den skall upplevas bra bakom ratten. Samtidigt vill man ju ha lite hum kring prestanda så att den har förutsättningar för att klara avsedd uppgift. Det är inte annorlunda än med hifi för mig. Sen vill jag dessutom veta vad det är som är speciellt med det jag köper, hur de tänkt och varför.

Link to comment
Share on other sites

Ja, det är inte så mycket om verklig prestanda i specifikationer utan mycket säljprat som inte säger hela sanningen. Jag tror det finns en viss förväntan hos konsumenten att vissa kända begrepp som är viktiga i andra sammanhang tros vara viktiga inom hifi också.

 

Tar man analogin med guld så är rent guld 24 karat värt mest medan legeringar och orenheter gör det mindre värt. Alltså måste ju syrefri koppar och extremt ren koppar låta bättre. Det skadar inte att det är rena material men betydelsen för verklig prestanda kan vara försumbar.

 

Inom ljudåtergivning kollar i alla fall jag efter extremt rak frekvensgång i syfte att försöka säkra upp att båda kanalerna beter sig lika i systemet. Detsamma gäller grupplöptid och indirekt då fasgången. Distortion sneglar jag på förstås, men det går bra med 1%, fast 0.1% är eftersträvansvärt.

 

Har man svårdriven last blir ju också parametrarna när de mäts vid högtalaren ev mycket sämre än de data som står i specifikationerna.

Link to comment
Share on other sites

2 hours ago, Bebop said:

För att fortsätta liknelsen med bil så tror jag det är få som bara gå på prestanda.

 

Jag vill också tro det du skriver stämmer. Samtidigt läser jag med jämna mellanrum forum-trådar på div sajter där det inte är ovanligt att någons personliga reflektion gällande en upplevd förbättring. Till exempel då man investerat i den dyr-kabel. Detta bemöts då med kommentarer typ - det tror jag inte förrän du kan bevisa det. Eller: har du mätningar som kan styrka detta? Vad är det för mätningar man vill se där? Hur ser grafen ut som kan stilla deras oro?

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...