Foveon: The Clever Image Sensor That Has Failed to Catch On

Στις αρχές της δεκαετίας του 2000, η ​​Sigma -μια εταιρεία που είναι συνήθως γνωστή στη φωτογραφική κοινότητα ως κατασκευαστής φακών- κυκλοφόρησε έναν νέο τύπο αισθητήρα κάμερας που ονομάζεται Foveon. Αυτός ο νέος αισθητήρας τύπου, που κατοχυρώθηκε με δίπλωμα ευρεσιτεχνίας το 1999, διαθέτει μια καινοτόμο τεχνολογία αντίληψης χρώματος: μια στοίβα 3 επιπέδων φωτοευαίσθητων διόδων.

Στα χαρτιά, αυτή η τεχνολογία υποσχέθηκε να ξεπεράσει τους αισθητήρες CMOS όσον αφορά την ακρίβεια των χρωμάτων, τον θόρυβο χαμηλού φωτισμού και την ευκρίνεια της εικόνας. Αυτό το άρθρο εξηγεί γιατί, αν και είναι έξυπνη ιδέα, η τεχνολογία του Foveon δεν πέτυχε ποτέ πραγματικά στη βιομηχανία της φωτογραφίας.

Αισθητήρας APS-C Foveon X3 Quattro CMOS.

Επιστροφή στα Βασικά: Πώς συλλαμβάνει το χρώμα η κάμερα

Το πυρίτιο είναι ευρέως γνωστό ως υλικό ημιαγωγών και χρησιμοποιείται ως τέτοιο σε πολλά ηλεκτρονικά κυκλώματα. Για τους φωτογράφους, το κύριο μέλημα με τη σιλικόνη είναι ότι είναι ένα φωτοευαίσθητο υλικό.

Για να είμαστε πιο συγκεκριμένοι, το πυρίτιο απορροφά φως για οποιοδήποτε μήκος κύματος μεταξύ 400 nm και 1100 nm. Τα καλά νέα είναι ότι αυτό το εύρος καλύπτει το φάσμα του ορατού φωτός (~400 nm έως 750 nm) και ακόμη και λίγο από το φάσμα του κοντινού υπέρυθρου. Τα κακά νέα είναι ότι το πυρίτιο από μόνο του δεν κάνει διάκριση μεταξύ του χρώματος του φωτός και συσσωρεύει μόνο φωτόνια στην περιοχή 400-1100 νανόμετρων.

Το πρώτο βήμα για τη βελτίωση της ποιότητας της εικόνας είναι η προσθήκη ενός φίλτρου για την αφαίρεση του υπέρυθρου φωτός (μεταξύ 750nm και 1100nm) πριν φτάσει στον αισθητήρα. Το προκύπτον σύστημα σχηματίζει έναν μονόχρωμο αισθητήρα κάμερας (ο οποίος παρέχει ασπρόμαυρες εικόνες).

Από εκεί, ο πιο συνηθισμένος τρόπος για να συλλέξετε κάποιες πληροφορίες χρώματος είναι να χρησιμοποιήσετε μια μήτρα φίλτρου χρώματος (CFA). Αυτό το φίλτρο οργανώνεται συνήθως σύμφωνα με το μοτίβο της Bayer (από το όνομα του μηχανικού της Kodak) χρησιμοποιώντας φίλτρα κόκκινου, πράσινου, πράσινου και μπλε.

Προβάλετε ένα προφίλ φίλτρου Bayer στον αισθητήρα εικόνας. Εικονογράφηση από την Cburnett και άδεια σύμφωνα με το CC BY-SA 3.0.

Χάρη σε αυτά τα τρία φίλτρα, μπορεί κανείς να επαναφέρει τις πληροφορίες χρώματος στην εικόνα. Ωστόσο, η διαδικασία έχει το κόστος κάποιας ανάλυσης εικόνας. Για ένα δεδομένο “κόκκινο” εικονοστοιχείο, κάποιος πρέπει να εκτελέσει μια παρεμβολή για να βρει τις πράσινες και μπλε πληροφορίες που λείπουν. Υπάρχουν πολλοί αλγόριθμοι παρεμβολής, αλλά η διαδικασία σχεδόν πάντα καταλήγει σε κάποια μορφή χρωματικού τεχνουργήματος και εξομάλυνσης εικόνας.

Οι συστοιχίες φίλτρων χρώματος, εκτός του ότι είναι ανακριβείς, απορροφούν επίσης πολλά φωτόνια στη διαδικασία συλλογής κάποιων χρωματικών πληροφοριών. Η απορρόφηση ποικίλλει ανάλογα με την επιλογή του φίλτρου και το περιεχόμενο της εικόνας, αλλά είναι γενικά αποδεκτό ότι η ροή φωτός διαιρείται με έναν παράγοντα 3 πριν φτάσει στον αισθητήρα. Αυτό είναι 1,5 στάσεις φωτός.

Η έξυπνη ιδέα πίσω από την τεχνολογία Foveon

Συμβαίνει ότι ένα συγκεκριμένο φωτόνιο, ανάλογα με το χρώμα του, διανύει μια ορισμένη απόσταση σε πυρίτιο πριν απορροφηθεί. Αυτή η «απόσταση ταξιδιού» σχετίζεται με την ενέργεια του φωτονίου, η οποία εξαρτάται από το μήκος κύματός του. Τα φωτόνια με μικρό μήκος κύματος (μπλε φως, υπεριώδης ακτινοβολία κ.λπ.) είναι πιο ενεργητικά από τα φωτόνια με μεγαλύτερο μήκος κύματος (κόκκινο φως, υπέρυθρο φως κ.λπ.) και επομένως απορροφώνται μετά από μια μικρότερη εκδρομή στο πυρίτιο.

“Το βάθος απορρόφησης είναι το αντίστροφο του συντελεστή απορρόφησης. Το βάθος απορρόφησης, για παράδειγμα, 1 um σημαίνει ότι η ένταση του φωτός έχει μειωθεί στο 36% (1/e) της αρχικής του τιμής.” Διάγραμμα των Christiana Hunsberg και Stewart Bowden από το State University της Αριζόνα.

Δεδομένου ότι το βάθος απορρόφησης στο πυρίτιο παρέχει μια εκτίμηση του μήκους κύματος του φωτονίου, η μέτρηση του βάθους απορρόφησης παρέχει θεωρητικά πληροφορίες χρώματος. Η έξυπνη ιδέα των αισθητήρων Foveon είναι να χρησιμοποιούν “φίλτρα βάθους” αντί για φίλτρα χρώματος δίπλα-δίπλα.

Απορρόφηση εξαρτώμενη από το μήκος κύματος σε πυρίτιο και αισθητήρας Foveon X3. Εικονογράφηση από Anoneditor και άδεια σύμφωνα με το CC BY-SA 3.0.

Σε χαρτί, τουλάχιστον, η αφαίρεση οποιουδήποτε φίλτρου χρώματος θα πρέπει να αυξήσει τη ροή φωτός που πέφτει στον αισθητήρα και να αφαιρέσει τα ελαττώματα που σχετίζονται με τα φίλτρα χρώματος.

Όταν οι αισθητήρες Foveon εμφανίστηκαν για πρώτη φορά στην αγορά το 2002 στη Sigma SD9 DSLR, οι περισσότερες ψηφιακές φωτογραφικές μηχανές απείχαν πολύ από την ανάλυση 10MPx. Η Canon EOS-1D είχε 4,2 megapixel και η Nikon D100 είχε κάμερα 6 megapixel. Δεδομένου ότι οι συστοιχίες φίλτρων χρώματος απαιτούν αριθμητικό συμπλήρωμα, για έναν ορισμένο αριθμό pixel, η συστοιχία φίλτρων χρώματος έχει προσφέρει μια τεράστια αναβάθμιση στην ευκρίνεια.

Η Sigma προσπάθησε στην πραγματικότητα να εμπορευματοποιήσει αυτή τη διαφορά στην ποιότητα της εικόνας υποστηρίζοντας ότι η SD9 είχε εικόνα εξόδου 3,43 MP αλλά “10,3 εκατομμύρια ενεργά pixel”, που σημαίνει ότι τα pixel της είχαν 3 φορές καλύτερη απόδοση. Αρκετές ακαδημαϊκές εργασίες έχουν ήδη βρει ότι οι αισθητήρες Foveon προσφέρουν αισθητά υψηλότερη ανάλυση χάρη στην έλλειψη παρεμβολής και χρωματικών τεχνουργημάτων γύρω από αιχμηρές άκρες. Από αυτή την άποψη, οι αισθητήρες Foveon παρέχουν ένα σαφές και μετρήσιμο όφελος στον χρήστη.

Οι ερευνητές διαπίστωσαν ότι οι αισθητήρες Foveon έχουν υψηλότερη ανάλυση από τους αισθητήρες Bayer. Γράφημα από «Χωρική απόκριση συχνότητας αισθητήρων έγχρωμης εικόνας: φίλτρα χρώματος Bayer και Foveon X3» των Paul M. Hubel, John Liu και Rudolph J. Guttosch.

Ένα τελευταίο σημείο που επισημαίνει η Sigma είναι ότι οι αισθητήρες Foveon είναι ανώτεροι από τους αισθητήρες έγχρωμων φίλτρων όσον αφορά την ακρίβεια χρώματος. Ο ισχυρισμός εξηγείται από την έλλειψη πληροφοριών για το χρώμα. Στην πραγματικότητα, για ένα δεδομένο εικονοστοιχείο Foveon, τα δεδομένα κόκκινου, πράσινου και μπλε καταγράφονται στην ίδια θέση, σε αντίθεση με τη μήτρα του φίλτρου χρώματος.

Τουλάχιστον σε χαρτί, ο αισθητήρας Foveon τα έχει όλα: καλύτερη ροή φωτός σημαίνει καλύτερη απόδοση σε χαμηλό φωτισμό, καλύτερη ακρίβεια χρωμάτων και καλύτερη ευκρίνεια εικόνας. Αλλά οι προδιαγραφές του χαρτιού δεν λένε ποτέ όλη την ιστορία…

Τι φταίει η φαεινή ιδέα του Foveon;

Η πραγματική ερώτηση από εκεί καταλήγει πραγματικά σε αυτό: Εφόσον η ιδέα πίσω από τους αισθητήρες Foveon είναι αρκετά έξυπνη, γιατί να μην χρησιμοποιούμε όλοι αισθητήρες Foveon;

η απόφαση

Ένα μέρος του ενδιαφέροντος για την τεχνολογία Foveon εξαφανίστηκε με την ανάπτυξη αισθητήρων CMOS. Η δραματική αύξηση στην πυκνότητα των εικονοστοιχείων μείωσε ένα από τα κύρια σημεία πώλησης των αισθητήρων Foveon. Σίγουρα, δεν είναι πραγματικά μια σύγκριση μήλου με μήλο, καθώς ο αριθμός των pixel συμβάλλει μόνο ένα κλάσμα της τελικής ποιότητας εικόνας (μαζί με τον φακό, την ποσότητα του διαθέσιμου φωτός κ.λπ.). Δεδομένου ότι ακόμη και τα smartphone μπορούν να προσφέρουν φωτογραφίες με ανάλυση τουλάχιστον 20 megapixel, το Foveon είναι λιγότερο ελκυστικό από ό,τι στις αρχές της δεκαετίας του 2000.

το χρώμα

Το χρωματικό πλεονέκτημα του αισθητήρα Foveon είναι αναμφισβήτητο στη θεωρία, αλλά προσφέρει λίγα πρακτικά οφέλη. Εκτός από βαθμονομημένες έγχρωμες οθόνες και περιβάλλοντα εργαστηρίου, η διαφορά στην ακρίβεια των χρωμάτων είναι αρκετά μικρή ώστε να περνά απαρατήρητη από τους περισσότερους περιστασιακούς φωτογράφους. Είναι σίγουρα πιο λεπτή από την επίδραση των σφαλμάτων ισορροπίας λευκού ή των δημιουργικών φίλτρων Instagram.

Καμπύλες απόκρισης των αισθητήρων Bayer (αριστερά) και Foveon (δεξιά). Charts μέσω του Boris van Schouten.

Θόρυβος

Αυτό είναι το πιο αμφιλεγόμενο σημείο από όλα. Στα χαρτιά, οι αισθητήρες του Foveon θα πρέπει να συλλέγουν περίπου 3 φορές περισσότερο φως, κάτι που θα μεταφράζεται σε 1,7 φορές βελτίωση στην αναλογία σήματος προς θόρυβο. Υποθέτοντας δηλαδή ότι ο θόρυβος της βολής είναι κυρίαρχος. Ωστόσο, αποδεικνύεται ότι σε πρακτικές συγκρίσεις, η απόδοση των αισθητήρων Foveon σε χαμηλό φωτισμό υπολείπεται. Ακόμη και ο γενικός διευθυντής του Foveon, Shri Ramaswamy, το παραδέχτηκε σε μια συνέντευξη το 2014:

«Ένας περιορισμός της προσέγγισης του Foveon είναι ότι ο θόρυβος της εικόνας είναι υψηλότερος από τους συμβατικούς αισθητήρες», είπε. «Αυτό πιθανότατα οφείλεται εν μέρει σε αναποτελεσματικότητα της ίδιας της αρχιτεκτονικής του αισθητήρα -ίσως λίγο φως χάνεται στις εσωτερικές δομές που χωρίζουν τα στρώματα- και επίσης εν μέρει στην επεξεργασία που πρέπει να γίνει για να παραχθούν καθαρά χρώματα από τα κάπως μικτά σήματα ότι το τσιπ είναι στην πραγματικότητα συλλαμβάνει».

Οι αισθητήρες CMOS και οι αισθητήρες Foveon μοιράζονται ένα παρόμοιο σχεδιαστικό πρόβλημα: κάποια διαρροή φωτός από το ένα pixel στο άλλο. Στους αισθητήρες CMOS, το πρόβλημα της αλληλεπίδρασης επιλύεται χρησιμοποιώντας κατακόρυφες δομές απομόνωσης μεταξύ φωτοδιόδων.

Ωστόσο, στους αισθητήρες Foveon δεν μπορεί να εφαρμοστεί το ίδιο κόλπο (διαφορετικά θα λάβετε μόνο πληροφορίες μπλε χρώματος). Έτσι, οι αισθητήρες Foveon τείνουν να υποφέρουν από διαρροή φωτονίων από τη μια οπτική διπλή στιβάδα στην άλλη.

Σχηματικές όψεις διατομής εικονοστοιχείων. (α) είναι ένα εικονοστοιχείο ελέγχου και (β) είναι ένα βελτιστοποιημένο εικονοστοιχείο για διασταυρούμενη ομιλία. Εικονογραφήσεις από “Τεχνολογία επεξεργασίας αισθητήρα εικόνας CMOS με φωτεινά pixel 45 nm.”

Επεξεργασία εικόνας: το πρόβλημα που κρύβεται πίσω από ασυνήθιστους αισθητήρες

Ένα κοινό μειονέκτημα με όλους τους “ασυνήθιστους” συνδυασμούς χρωμάτων (είτε πρόκειται για Fuji X-Trans, φίλτρα RGBW ή Foveon) είναι ότι η επεξεργασία εικόνας επηρεάζεται επίσης από την επιλογή. Αν και τα φίλτρα Bayer μπορεί να μην είναι ο καλύτερος τρόπος για να καταγράψετε χρώματα, υπάρχουν εδώ και αρκετές δεκαετίες και κυριαρχούν αρκετά στην αγορά των αισθητήρων. Ως αποτέλεσμα, υπάρχει ένα ισχυρό κίνητρο για τους ερευνητές και τις εταιρείες επεξεργασίας εικόνας να τελειοποιήσουν όλους τους αλγόριθμους για αυτόν τον τύπο αισθητήρα.

Για παράδειγμα, η αφαίρεση θορύβου γίνεται συνήθως με κάποιες υποθέσεις σχετικά με στατιστικά στοιχεία σχετικά με τα συλλεγόμενα φωτόνια που δεν μπορούν να εφαρμοστούν απευθείας στους αισθητήρες Foveon. Δυστυχώς, λόγω του μεριδίου των αισθητήρων Foveon που χρησιμοποιούνται, οι περισσότερες εταιρείες επεξεργασίας εικόνας δεν έχουν κίνητρο να υποστηρίξουν αρχεία Foveon, πόσο μάλλον να αναπτύξουν αποκλειστικούς αγωγούς επεξεργασίας εικόνας για τέτοιους αισθητήρες.

Η τάση επιδεινώνεται με τους αλγόριθμους που βασίζονται στη μηχανική μάθηση. Ειλικρινά, οι αλγόριθμοι μηχανικής μάθησης είναι τόσο καλοί όσο τα δεδομένα που χρησιμοποιούνται για την εκπαίδευσή τους (από άποψη ποσότητας και ποιότητας). Δεδομένου ότι υπάρχουν χίλιες φορές περισσότερες εικόνες από συστοιχίες φίλτρων Bayer από το Foveon, οι πρώτοι αισθητήρες θα επωφεληθούν από καλύτερους αλγόριθμους από τους δεύτερους.

Άλλα ζητήματα μάρκετινγκ

Τέλος, πρέπει να απευθυνθούμε στον ελέφαντα στο δωμάτιο. Ο φωτογραφικός εξοπλισμός δεν πωλείται πάντα για τεχνικούς λόγους. Τιμολόγηση, μάρκετινγκ, συστήματα περιβαλλοντικών φακών, branding – υπάρχουν πολλοί παράγοντες για την επιτυχία μιας τεχνολογίας.

Η Sigma προσπάθησε να παράσχει έναν αισθητήρα διαφορετικό από οτιδήποτε άλλο, αλλά η εταιρεία έπρεπε να δώσει δύο μάχες ταυτόχρονα. Το πρώτο είναι η απόδειξη ποιότητας εικόνας των αισθητήρων Foveon. Το δεύτερο είναι να αποδείξουν ότι οι κάμερές τους, ως κατασκευαστές φωτογραφικών μηχανών, ξεπέρασαν τις επιδόσεις των φωτογραφικών μηχανών Canon ή Nikon.

Το Foveon θα μπορούσε να είναι το μυστικό όπλο της Sigma στην ανταγωνιστική βιομηχανία φωτογραφικών μηχανών. Αλλά η διαφορά στην απόδοση μεταξύ των συμβατικών αισθητήρων και των αισθητήρων Foveon δεν είναι ξεκάθαρη. Δεν είναι αρκετά προφανές, τουλάχιστον, να προσελκύσει νέους φωτογράφους στη μάρκα Sigma.

Θα επιστρέψει ο αισθητήρας Foveon;

Η Sigma έχει αρχίσει να αναπτύσσει τον αισθητήρα πλήρους κάδρου Foveon. Το έργο βρίσκεται σε πρώιμο στάδιο πρωτοτύπου σύμφωνα με την τελευταία δήλωση της Sigma. Φαίνεται πιθανό ότι το έργο θα παραμείνει κολλημένο στο στάδιο του πρωτοτύπου και δεν θα φτάσει ποτέ στην αγορά. Στην καλύτερη περίπτωση, από αυτό το ημερολόγιο, φαίνεται μη ρεαλιστικό να περιμένουμε έναν αισθητήρα σε μεγάλες ποσότητες πριν από το 2024.

Ως εταιρεία, η Sigma έχει μια καλή φήμη για την κατασκευή φακών και θα ήθελε να επεκτείνει τις δραστηριότητές της σε κάμερες και αισθητήρες. Ωστόσο, η κάμερα είναι πολύ περισσότερα από έναν απλό αισθητήρα. Η πραγματική πρόκληση του Sigma μπορεί να είναι η έλλειψη επεξεργασίας εικόνας υψηλής ποιότητας. Η Sigma έπρεπε επίσης να δημιουργήσει ένα πρόσθετο Adobe Photoshop για να ανοίξει αρχεία Foveon.

Αν και δεν είναι αδύνατο για τη Sigma να κυκλοφορήσει μια νέα κάμερα με αισθητήρα Foveon πλήρους κάδρου, υπάρχει ακόμη πολύς δρόμος για την πώληση της τεχνολογίας εκτός της τρέχουσας κοινότητας του Foveon, πόσο μάλλον να γίνει βιομηχανικό πρότυπο.


Σχετικά με τον ΣυγγραφέαΟ Timothee Cognard είναι εικαστικός ειδικός και φωτογράφος με έδρα το Παρίσι της Γαλλίας.

Leave a Comment